国产欧美日韩精品a在线观看-国产欧美日韩精品一区二区三区-国产欧美日韩精品综合-国产欧美中文字幕-一区二区三区精品国产-一区二区三区精品国产欧美

這兩年，頻頻有專家警示深度學(xué)習(xí)即將進入寒冬。而同時，一個名叫“類腦智能”的詞匯火起來，這個概念說的是一種比目前深度學(xué)習(xí)更加接近人腦的智能。這背后的故事是，深度學(xué)習(xí)的大佬，目前已經(jīng)注意到深度學(xué)習(xí)的原創(chuàng)性進展面臨瓶頸，甚至呼吁全部重來。為了拯救這種趨勢，模擬人腦再次成為一種希望。然而這一思路是否經(jīng)得住深度推敲?  我本人做過多年計算神經(jīng)科學(xué)和AI，做一個拋磚引玉的小結(jié)。

AI發(fā)展的危機人工智能，目前多被理解成一個領(lǐng)域領(lǐng)應(yīng)用的工程學(xué)科，從自動安防系統(tǒng)到無人駕駛是它的疆土，而模式識別和計算機專家，是這片陸地的原住民。目前的人工智能事實上以工程思維為主，從當(dāng)下人工智能的主流深度學(xué)習(xí)來看，打開任何一篇論文，映入眼簾的是幾個知名數(shù)據(jù)集的性能比較，無論是視覺分類的ImageNet，Pascal Vol，還是強化學(xué)習(xí)的Atari game。各種各樣的bench mark和曲線，讓我們感覺像是一個CPU或者數(shù)碼相機的導(dǎo)購指南。

那么，是否這些在這些流行數(shù)據(jù)庫跑分最高的“智能工具"就更智能？這可能取決于對”智能“ 本身的定義。如果你問一個認(rèn)知專家“智能”是不是ImageNet的錯誤率， 那么他一定會覺得相當(dāng)好笑。一個人可能在識別圖片的時候由于各種勞累和馬虎，在這個數(shù)據(jù)集的錯誤率高于機器。但是只要你去和它談任何一個圖片它所理解的東西，比如一個蘋果，你都會震驚于其信息之豐富，不僅包含了真實蘋果的各種感官，還包含了關(guān)于蘋果的各種文學(xué)影視，從夏娃的蘋果，到白雪公主的蘋果。應(yīng)該說，人類理解的蘋果更加接近概念網(wǎng)絡(luò)里的一個節(jié)點，和整個世界的所有其它概念相關(guān)聯(lián)，而非機器學(xué)習(xí)分類器眼里的n個互相分離的“高斯分布”。

如果我們認(rèn)為，”智能“ 是解決某一類復(fù)雜問題的能力，是否我們就可以完全不care上述那種”理解“呢 ？ 這樣的智能工具，頂多是一些感官的外延，而”感官“ 是否可以解決復(fù)雜問題呢？一個能夠準(zhǔn)確的識別1000種蘋果的機器，未必能有效的利用這樣的信息去思考如何把它在圣誕節(jié)分作為禮品分發(fā)給公司的員工，或者取悅你的女友。沒有”理解“ 的智能，將很快到達解決問題復(fù)雜度的上限。缺少真正的理解，甚至連做感官有時也會捉襟見肘，你在圖像里加入各種噪聲，會明顯的干擾分類的準(zhǔn)確性，這點在人類里并不存在。比如下圖的小狗和曲奇，你可以分出來，AI很難。

”語言“ 在人類的智能里享有獨一無二的特殊性，而剛剛的”理解“問題，背后的本質(zhì)是目前深度學(xué)習(xí)對語言的捉襟見肘。雖然我們可以用強大的LSTM生成詩歌(下圖)，再配上注意力機制和外顯記憶與人類對話，也不代表它能理解人類的這個語言系統(tǒng)。目前機器對自然語言處理的能力遠不及視覺（當(dāng)下的圖卷積網(wǎng)絡(luò)或可以這個領(lǐng)域做出貢獻）。

更加糟糕的還有強化學(xué)習(xí)，深度強化學(xué)習(xí)已經(jīng)戰(zhàn)勝了最強大的人類棋手。但是強化學(xué)習(xí)卻遠非一種可靠的實用方法。這里面最難的在于目前的強化學(xué)習(xí)還做不到可擴展，也就是從一個游戲的問題擴展到真實的問題時候會十分糟糕。一個已經(jīng)學(xué)的很好的強化學(xué)習(xí)網(wǎng)絡(luò)，可以在自己已經(jīng)學(xué)到的領(lǐng)域所向披靡，然而在游戲里稍微增加一點變化，神經(jīng)網(wǎng)絡(luò)就不知所措。我們可以想象成這是泛化能力的嚴(yán)重缺失，在真實世界里，這恰恰一擊致命。

游戲里的王者不代表真實世界能用

事實上在很長時間里，人工智能的過分依賴工科思維恰恰給它的危機埋下了伏筆，在人工數(shù)據(jù)上破記錄， 并不代表我們就會在剛說的“理解”上做進步。這更像是兩個不同的進化方向。其實，關(guān)于智能的更深刻的理解，早就是認(rèn)知科學(xué)家，心理學(xué)家和神經(jīng)科學(xué)家的核心任務(wù)。如果我們需要讓人工智能進步，向他們?nèi)〗?jīng)就看起來很合理。

腦科學(xué)與人工智能合作與分離的歷史

雖然看起來模擬生物大腦是達到更高層次人工智能的必由之路，但是從當(dāng)下的人工智能學(xué)者的角度，這遠非顯然。這里的淵源來自人工智能的早期發(fā)展史，應(yīng)該說深度學(xué)習(xí)來自于對腦科學(xué)的直接取經(jīng)，然而它的壯大卻是由于對這條道路的背離。我們可以把這個歷史概括為兩次合作一次分離。

第一次合作： 深度學(xué)習(xí)的前身-感知機。模擬人類大腦的人工智能流派又稱為連接主義，最早的連接主義嘗試就是模擬大腦的單個神經(jīng)元。Warren McCulloch 和 WalterPitts在1943 提出而來神經(jīng)元的模型，這個模型類似于某種二極管或邏輯門電路。事實上，人們很快發(fā)現(xiàn)感知機的學(xué)習(xí)有巨大的局限性，Minksky等一批AI早期大師發(fā)現(xiàn)感知機無法執(zhí)行“異或”這個非常基本的邏輯運算，從而讓人們徹底放棄了用它得到人類智能的希望。 對感知機的失望導(dǎo)致連接主義機器學(xué)習(xí)的研究陷入低谷達15年， 直到一股新的力量的注入。

第二次合作：這次風(fēng)波，來自一群好奇心極強的物理學(xué)家，在20世紀(jì)80年代，hopefiled提出了它的 Hopefield 網(wǎng)絡(luò)模型，這個模型受到了物理里的Ising模型和自旋玻璃模型的啟發(fā)，Hopefield發(fā)現(xiàn)，自旋玻璃和神經(jīng)網(wǎng)絡(luò)具有極大的相似性。每個神經(jīng)元可以看作一個個微小的磁極，它可以一種極為簡單的方法影響周圍的神經(jīng)元，一個是興奮（使得其他神經(jīng)元和自己狀態(tài)相同），一個是抑制（相反）。如果我們用這個模型來表示神經(jīng)網(wǎng)絡(luò)，那么我們會立刻得到一個心理學(xué)特有的現(xiàn)象：關(guān)聯(lián)記憶。比如說你看到你奶奶的照片，立刻想到是奶奶，再聯(lián)想到和奶奶有關(guān)的很多事。這里的觀點是，某種神經(jīng)信息（比如奶奶）對應(yīng)神經(jīng)元的集體發(fā)放狀態(tài)（好比操場上正步走的士兵），當(dāng)奶奶的照片被輸入進去，它會召喚這個神經(jīng)元的集體狀態(tài)，然后你就想到了奶奶。

由于這個模型可以模擬心理學(xué)的現(xiàn)象，人們開始重新對模擬人腦的人工智能報以希望。人們從不同領(lǐng)域開始涌入這個研究。在這批人里，發(fā)生了一個有趣的分化。有的人沿著這個路數(shù)去研究真實大腦是怎么思考的，有的人則想直接用這個模型制造機器大腦，前者派生出了計算神經(jīng)科學(xué)，后者則導(dǎo)致了聯(lián)結(jié)主義機器學(xué)習(xí)的復(fù)興， 你可以理解為前者對貓感興趣，后者只對機器貓感興趣，雖然兩者都在那里寫模型。CNN和RNN分別在80年中后期被發(fā)現(xiàn)， 應(yīng)該說，CNN的結(jié)構(gòu)是直接借鑒了Husel和Wiesel發(fā)現(xiàn)的視覺皮層處理信息的原理，而RNN則是剛剛說到的Hopefield網(wǎng)絡(luò)的一個直接進化。

AI與腦科學(xué)的分離：90年代后人工智能的主流是以支持向量機為代表的統(tǒng)計機器學(xué)習(xí)，而非神經(jīng)網(wǎng)絡(luò)。在漫長的聯(lián)結(jié)主義低谷期， Hinton堅信神經(jīng)網(wǎng)絡(luò)既然作為生物智能的載體，它一定會稱為人工智能的救星，在它的努力下，Hopefield網(wǎng)絡(luò)很快演化稱為新的更強大的模型玻爾茲曼機，玻爾茲曼機演化為受限玻爾茲曼機， 自編碼器，堆疊自編碼器，這已經(jīng)很接近當(dāng)下的深度網(wǎng)絡(luò)。而深度卷積網(wǎng)絡(luò)CNN則連續(xù)打破視覺處理任務(wù)的記錄，宣布深度學(xué)習(xí)時代開始。

然而，如果你認(rèn)為這一股AI興起的風(fēng)波的原因是我們對大腦的借鑒，則一定會被機器學(xué)習(xí)專家diss，恰恰相反，這波深度學(xué)習(xí)的崛起來自于深度學(xué)習(xí)專家對腦科學(xué)的背離。CNN雖然直接模擬了大腦視皮層結(jié)構(gòu)的模擬，利用了層級編碼，局部網(wǎng)絡(luò)連接，池化這樣和生物直接相關(guān)的原理。但是，網(wǎng)絡(luò)的訓(xùn)練方法，卻來自一種完全非生物的方法。由于信息存儲在無數(shù)神經(jīng)元構(gòu)成的網(wǎng)絡(luò)連接里，如何讓它學(xué)進去，也是最難的問題。很久以前，人們使用的學(xué)習(xí)方法是Hebian learning 的生物學(xué)習(xí)方法，這種方法實用起來極為困難。Hinton等人放棄這條道路而使用沒有生物支撐但更加高效的反向傳播算法，使得最終訓(xùn)練成功。從此數(shù)據(jù)猶如一顆顆子彈打造出神經(jīng)網(wǎng)絡(luò)的雛形 ，雖然每次只改一點點，最終當(dāng)數(shù)據(jù)的量特別巨大，卻發(fā)生一場質(zhì)變。

CNN能夠在2012年而不是2011或者2010年開始爆發(fā)是因為那一年人們提出了Alexnet。而Alexnet比起之前的Lenet一個關(guān)鍵性的微小調(diào)整在于使用Relu，所謂線性整流單元替換了之前的Sigmoid作為激活函數(shù)。Simoid 函數(shù)才是更加具有生物基礎(chǔ)的學(xué)習(xí)函數(shù)，然而能夠拋棄模擬大腦的想法使用Relu，使得整個網(wǎng)絡(luò)的信息流通通暢了很多。

深度學(xué)習(xí)另一條主線，沿著讓機器聽懂人類的語言，一種叫LSTM的神經(jīng)網(wǎng)絡(luò)，模擬了人類最奇妙的記憶能力，并卻開始處理和自然語言有關(guān)的任務(wù)，LSTM框架的提出依然是沒有遵循大腦的結(jié)構(gòu)，而是直接在網(wǎng)絡(luò)里引入類似邏輯門的結(jié)構(gòu)控制信息。

由此我們看到，神經(jīng)網(wǎng)絡(luò)雖然在誕生之初多次吸收了生物學(xué)的原理本質(zhì)，而其最終的成功卻在于它大膽的脫離生物細(xì)節(jié)，使用更加講究效率的數(shù)理工科思維。生物的細(xì)節(jié)千千萬，有一些是進化的副產(chǎn)品，或者由于生物經(jīng)常挨餓做出的妥協(xié)，卻遠非智能的必須，因此對它們的拋棄極大的解放了人工智能的發(fā)展。

腦科學(xué)究竟能否開啟深度學(xué)習(xí)時代的下個階段

那么生物神經(jīng)網(wǎng)絡(luò)究竟可不可以啟發(fā)人工智能呢？剛剛的分析我們看到生物的細(xì)節(jié)并不一定對人工智能有幫助，而生物大腦計算的根本原理卻始終在推動深度學(xué)習(xí) 。正如CNN的發(fā)展直接使用了層級編碼的原理，然后根據(jù)自己計算的需求重新設(shè)定了細(xì)節(jié)，無論如何變化，生物視覺處理和CNN背后的數(shù)學(xué)核心卻始終保持一致。

那么目前的深度學(xué)習(xí)工具用到了多少生物大腦計算的基本原理呢，答案是，冰山一角。如果說人工智能要繼續(xù)革命，那么無疑還要繼續(xù)深挖這些原理，然后根據(jù)這些原則重新設(shè)定細(xì)節(jié)。答案很簡單，宇宙的基本定律不會有很多，比如相對論量子論這樣的根本原理幾乎統(tǒng)治物理世界。如果生物大腦使用一套原理實現(xiàn)了智能，那么很可能人工智能也不會差很遠。即使細(xì)節(jié)差距很大，那個根本的東西極有可能是一致的。

這樣的數(shù)學(xué)原理應(yīng)該不會有很多條，因為人腦的結(jié)構(gòu)一個驚人的特點就是雖然腦區(qū)非常不同，但不同腦區(qū)的構(gòu)造卻極為相似，這種相似性顯示了大腦不同腦區(qū)使用類似的基本原理。我們目前的深度學(xué)習(xí)算法，無論是CNN還是RNN，都只是發(fā)現(xiàn)了這個基本原理的某個局部。發(fā)現(xiàn)這個基本原理，恰恰是計算神經(jīng)科學(xué)的使命。對于智能這個上帝最杰出的作品，我們能做的只有盲人摸象，目前摸到的東西有一些已經(jīng)被用到了人工智能里，有些則沒有，我們隨便舉幾個看看。

確定已經(jīng)被應(yīng)用的原理：

1，層級編碼原理（Hierarchical coding)：生物神經(jīng)網(wǎng)絡(luò)最基本的結(jié)構(gòu)特點是多層，無論是視覺，聽覺，我們說基本的神經(jīng)回路都有層級結(jié)構(gòu)，而且經(jīng)常是六層。這種縱深的層級，對應(yīng)的編碼原理正是從具體特征到抽象特征的層級編碼結(jié)構(gòu)。最有名的莫過于祖母細(xì)胞，這一思路直接催生了以CNN為代表的深度學(xué)習(xí)。

皮層網(wǎng)絡(luò)的構(gòu)成往往是6層結(jié)構(gòu)，在不同的腦區(qū)反復(fù)出現(xiàn)

層級編碼假設(shè)

2，集群編碼原理 (Distributed coding)：一個與層級編碼相對應(yīng)的生物神經(jīng)編碼假設(shè)是集群編碼，這里說的是一個抽象的概念，并非對應(yīng)某個具體的神經(jīng)元，而是被一群神經(jīng)元所表述。這種編碼方法，相比層級編碼，會更具備魯棒性，或更加反脆弱，因為刪除一些細(xì)胞不會造成整體神經(jīng)回路的癱瘓。集群編碼在深度學(xué)習(xí)里的一個直接體現(xiàn)就是詞向量編碼，word2vect，詞向量編碼并沒有采取我們最常想到的每個向量獨立的獨熱編碼，而是每個向量里有大量非零的元素，如此好比用一個神經(jīng)集群表述一個單詞，帶來的好處不僅是更加具有魯棒性，而且我們無形中引入了詞語之間本來的互相關(guān)聯(lián)，從而使得神經(jīng)網(wǎng)絡(luò)更好的吸收語義信息，從而增加了泛化能力。在此處，每個詞語概念都有多個神經(jīng)元表達，而同一個神經(jīng)元，可以參與多個概念的描述。這與之前說的每個概念比如祖母對應(yīng)一個特定的神經(jīng)元有比較大的區(qū)別。

然而目前的深度學(xué)習(xí)依然缺乏對集群編碼更深刻的應(yīng)用，這點上來看，計算神經(jīng)科學(xué)走的更遠，我們使用RNN內(nèi)在的動力學(xué)特性，可以編碼很多屬性。

局部被應(yīng)用或沒有被應(yīng)用的原理：

1，cortical minicolumn：皮層內(nèi)的神經(jīng)元都采取簇狀結(jié)構(gòu)，細(xì)胞之間不是獨立的存在，而是聚集成團簇，猶如一個微型的柱狀體。這些柱狀體成為信息傳輸?shù)幕締卧＿@種驚人一致的皮層內(nèi)結(jié)構(gòu)，背后的認(rèn)知原理是什么呢？ 目前還沒有定論。但是Hinton已經(jīng)把類似的結(jié)構(gòu)用到了Capsule Network，在那里，每個Capsule對應(yīng)一個簇狀體，而它們有著非常明確的使命，就是記錄一個物體的不同屬性，由于一個Capsule有很多神經(jīng)元構(gòu)成，它也可以看作一個神經(jīng)元向量，如果它用來記錄一組特征，則可以對付向旋轉(zhuǎn)不變性這種非常抽象的性質(zhì)。

神經(jīng)簇細(xì)胞，每個神經(jīng)簇有80-120個神經(jīng)元，猶如大腦認(rèn)知的基本單元，你可以把某個組成神經(jīng)簇的細(xì)胞集團看成矢量神經(jīng)元

Dynamic Routing Between CapsulesCapsule Network (Hinton)每個Capsule取代之前的單個神經(jīng)元，能夠同時感知物體的多個屬性，如長度，寬度，角度，最終通過多個特征確定物體存在的概率，因此比卷積網(wǎng)絡(luò)具備表述更多不變性的能力，比如旋轉(zhuǎn)不變性

2，興奮抑制平衡：生物神經(jīng)系統(tǒng)的各個組成部分，尤其是靠近深層的腦區(qū)，都具有的一個性質(zhì)是興奮性和抑制性神經(jīng)元的信號互相抵消，猶如兩個隊伍拔河，兩邊勢均力敵（最終和為零）。這使得每個神經(jīng)元接受的信息輸入都在零附近，這帶來的一個巨大的好處是神經(jīng)元對新進入信號更加敏感，具有更大的動態(tài)范圍。這個原理已經(jīng)被深度學(xué)習(xí)悄悄的介入了，它的直接體現(xiàn)就是極為實用的batch normalization，輸入信號被加上或減去一個值從而成為一個零附近的標(biāo)準(zhǔn)高斯分布（這和興奮抑制平衡效果類似），從而大大提升了網(wǎng)絡(luò)梯度傳輸?shù)男省?/p>

3，動態(tài)網(wǎng)絡(luò)連接：生物神經(jīng)系統(tǒng)的神經(jīng)元和神經(jīng)元之間的連接-突觸本身是隨放電活動變化的。當(dāng)一個神經(jīng)元經(jīng)過放電，它的活動將會引起細(xì)胞突觸鈣離子的濃度變化，從而引起兩個神經(jīng)元間的連接強度變化。這將導(dǎo)致神經(jīng)網(wǎng)絡(luò)的連接權(quán)重跟著它的工作狀態(tài)變化，計算神經(jīng)科學(xué)認(rèn)為動態(tài)連接的神經(jīng)網(wǎng)絡(luò)可以承載工作記憶，而這點并沒有被目前的深度學(xué)習(xí)系統(tǒng)很好利用。

Synaptic Theory of Working Memory （Science）

4 Top down processing:目前深度學(xué)習(xí)使用的網(wǎng)絡(luò)以前向網(wǎng)絡(luò)為主（bottom up），而事實上，在生物大腦里，不同腦區(qū)間反饋的連接數(shù)量超過前向的連接，這些連接的作用是什么？一個主流的觀點認(rèn)為它們是從高級腦區(qū)向感官的反向調(diào)節(jié)（top down），如同我們所說的相由心生， 而不是相由眼生。同一個圖片有美女拿著蛋糕，可能一個你在饑腸轆轆的時候只看到蛋糕而吃飽了就只看到美女。我們所看到的，很大程度上取決于我們想要看到什么，以及我們的心情 。這點對我們的生存無疑十分重要，你顯然不是在被動的認(rèn)知和識別物體，你的感知和認(rèn)知顯然是統(tǒng)一的。你在主動的搜索對你的生存有利的物體，而非被動的感覺外界存在。這一點目前深度學(xué)習(xí)還完全沒有涉及。一個引入相應(yīng)的機制的方法是加入從深層神經(jīng)網(wǎng)絡(luò)返回輸入層的連接，這樣深層的神經(jīng)活動就可以調(diào)控輸出層的信息處理， 這可能對真正的“理解”有著極為重大的意義。

給卷積神經(jīng)網(wǎng)絡(luò)加入從輸出端返回輸入端的連接，是一個深度學(xué)習(xí)未來的重要方向Deep Convolutional Neural Networks as Models of the Visual System

7，Grid Cells： 海馬柵格細(xì)胞是一組能夠集群表征空間位置的細(xì)胞，它們的原理類似于對物體所在的位置做了一個傅里葉變換，形成一組表征物體空間位置的坐標(biāo)基。為什么要對空間里物體的位置做一次傅里葉變換，這里包含的原理是對任何環(huán)境中的物體形成通用的空間表示，在新的環(huán)境里也可以靈活的學(xué)習(xí)物體的位置，而不是一下子成為路癡。

Grid Cell被用在強化學(xué)習(xí)里，使得我們可以得到更加強大的導(dǎo)航能力。

我們對柵格細(xì)胞的認(rèn)知可能只是更大的神經(jīng)編碼原則的一個局部，正如同傅里葉變換和量子力學(xué)之間存在著隱秘的聯(lián)系。雖然柵格網(wǎng)絡(luò)，目前已經(jīng)被Deepmind用于空間導(dǎo)航任務(wù)，但是目前AI所應(yīng)用的應(yīng)該只是這一原理的冰山一角。

8 Dale Principle：Dale Principle 說的是興奮型和抑制型神經(jīng)元是完全分開的，猶如動物分雌雄。興奮性神經(jīng)元只對周圍神經(jīng)元發(fā)放正向反饋（只分泌興奮性遞質(zhì)， 如Glutamine），讓其它神經(jīng)元一起興奮，而抑制型神經(jīng)元只發(fā)放負(fù)向反饋（只分泌抑制型遞質(zhì)，如GABA），取消其它神經(jīng)元的興奮。目前的深度學(xué)習(xí)網(wǎng)絡(luò)不會對某個神經(jīng)元的連接權(quán)重做如此限制，每個神經(jīng)元均可向周圍神經(jīng)元發(fā)放正或負(fù)的信號。這一原理到底對AI有沒有作用目前未知。

8 Routing by Inhibitory cells ：生物神經(jīng)系統(tǒng)包含種類豐富的抑制型神經(jīng)元，它們往往在生物神經(jīng)網(wǎng)絡(luò)起到調(diào)控功能，如同控制信息流動的路由器，在合適的時候開啟或關(guān)閉某個信號。當(dāng)下的AI直接用attention的機制，或者LSTM里的輸入門來調(diào)控是否讓某個輸入進入網(wǎng)絡(luò)，其它一點類似路由器的作用，但是種類和形式的多樣性遠不及生物系統(tǒng)。

9 臨界：大腦的神經(jīng)元組成一個巨大的喧鬧的動力系統(tǒng)，根據(jù)很多實驗數(shù)據(jù)發(fā)現(xiàn)，這個動力系統(tǒng)處于平衡和混沌的邊緣，被稱為臨界。在臨界狀態(tài)，神經(jīng)元的活動是一種混亂和秩序的統(tǒng)一體，看似混亂，但是隱含著生機勃勃的秩序。臨界是不是也可以用于優(yōu)化目前的深度學(xué)習(xí)系統(tǒng)，是一個很大的課題。

10，自由能假說：這個假定認(rèn)為大腦是一臺貝葉斯推斷機器。貝葉斯推斷和決策的核心即由最新采納的證據(jù)更新先驗概率得到后驗概率。認(rèn)知科學(xué)的核心（Perception）就是這樣一個過程。

這里再說兩句認(rèn)知，認(rèn)知的過程用機器學(xué)習(xí)的語言說就是用大腦的內(nèi)部變量來模擬外部世界，并希望建立內(nèi)部世界和外部的一個一一映射關(guān)系。這里我們說認(rèn)知的模型是一個概率模型，并且可以被一系列條件概率所描述。如果用一個形象的比喻來說，你可以把你的大腦看成一個可以自由打隔斷的巨大倉庫，你要把外部世界不同種類的貨放進不同的隔斷，你的大腦內(nèi)部運作要有一種對外界真實變化的推測演繹能力，即隨時根據(jù)新的證據(jù)調(diào)整的能力，你和外界世界的模型匹配的越好，你的腦子就運轉(zhuǎn)越有效率。認(rèn)知是對外部世界運動的一種編碼，你可以立刻聯(lián)想到機器學(xué)習(xí)里的表征方法（representation），如果你熟悉RNN或CNN的embeding過程，就會有一種豁然開朗的感覺。這個假說的理論如果成立，我們機器學(xué)習(xí)目前應(yīng)當(dāng)使用的只是冰山一角，可以參考強化學(xué)習(xí)種的有模型學(xué)習(xí)。更多內(nèi)容見大腦的自由能假說-兼論認(rèn)知科學(xué)與機器學(xué)習(xí)

11 一些未被量化的心理學(xué)和認(rèn)知科學(xué)領(lǐng)地，比如意識。意識可以理解為自我對自我本身的感知。關(guān)于意識的起源，已經(jīng)成為一個重要的神經(jīng)科學(xué)探索方向而非玄學(xué)，最近的一些文章指出（The controversial correlates of consiousness - Science 2018），意識與多個腦區(qū)協(xié)同的集體放電相關(guān)。但是，關(guān)于意識的一個重大疑團是它對認(rèn)知和智能到底有什么作用，還是一個進化的副產(chǎn)物。如果它對智能有不可替代的作用，那么毫無疑問， 我們需要讓AI最終擁有意識。一個假說指出意識與我們的社會屬性相關(guān)，因為我們需要預(yù)測它人的意圖和行動，就需要對它人的大腦建模，從而派生了對自己本身大腦的感知和認(rèn)知，從而有了意識。那么我們究竟需要不需要讓AI之間能夠互相交流溝通形成組織呢？這就是一個更有趣的問題了。

深度學(xué)習(xí)對腦科學(xué)的啟發(fā)：

反過來，深度學(xué)習(xí)的某些發(fā)現(xiàn)也在反向啟發(fā)腦科學(xué)，這點正好對應(yīng)費曼所說的，如果你要真正理解一個東西，請你把它做出來。由于深度學(xué)習(xí)的BP算法太強大了，它可以讓我們在不care任何生物細(xì)節(jié)的情況下任意的改變網(wǎng)絡(luò)權(quán)重，這就好比給我們了一個巨大的檢測各種理論假設(shè)的東西。由于當(dāng)下對大腦連接改變的方式我們也只理解了冰山一角，我們可以先丟下細(xì)節(jié)，直接去檢驗所有可能的選項。這點上看， 用深度學(xué)習(xí)理解大腦甚至更加有趣。

就那剛剛講的興奮抑制平衡來看，最初人們對興奮抑制平衡作用的理解更多停留在它通過對信號做一個信息增益，而在深度學(xué)習(xí)興起后 ，我們越來越多的把它的功能和batch normalization 聯(lián)系起來，而batch normalization更大的作用在于對梯度消失問題的改進，而且提高了泛化性能，這無疑可以提示它的更多功能。而最近的一篇文章甚至直接將它和LSTM的門調(diào)控機制聯(lián)系起來。抑制神經(jīng)元可以通過有條件的發(fā)放對信息進行導(dǎo)流，正如LSTM種的輸入門，輸出門的作用，而互相連接的興奮神經(jīng)元則作為信息的載體（對應(yīng)LSTM中央的循環(huán)神經(jīng)網(wǎng)絡(luò)）

Cortical Microcircuit as gated recurrent networks DeepMind LSTM 和皮層通用回路具有極為密切的相關(guān)性

我們距離通用人工智能可能還有多遠？

其實人工智能的目標(biāo)就是找尋那個通用人工智能，而類腦計算是實現(xiàn)它的一個重要途徑 。通用智能和當(dāng)下的智能到底有什么實質(zhì)性的區(qū)別，作為本文結(jié)尾，我們來看一下：

對數(shù)據(jù)的使用效率：比如大腦對數(shù)據(jù)的應(yīng)用效率和AI算法并非一個等級，你看到一個數(shù)據(jù)，就可以充分的提取里面的信息，比如看到一個陌生人的臉，你就記住他了，但是對于目前的AI算法，這是不可能的，因為我們需要大量的照片輸入讓他掌握這件事。我們可以輕松的在學(xué)完蛙泳的時候?qū)W習(xí)自由泳，這對于AI，就是一個困難的問題，也就是說，同樣的效率，人腦能夠從中很快提取到信息，形成新的技能，AI算法卻差的遠。

這是為什呢？可能這里的掛件體現(xiàn)在一種被稱為遷移學(xué)習(xí)的能力。雖然當(dāng)下的深度學(xué)習(xí)算法也具備這一類舉一反三的遷移學(xué)習(xí)能力，但是往往集中在一些真正非常相近的任務(wù)里，人的表現(xiàn)卻靈活的多。這是為什么呢？也許， 目前的AI算法缺少一種元學(xué)習(xí)的能力。和為元學(xué)習(xí)，就是提取一大類問題里類似的本質(zhì)，我們?nèi)祟惙浅Ｈ菀赘傻囊粋€事情。到底什么造成了人工神經(jīng)網(wǎng)絡(luò)和人的神經(jīng)網(wǎng)路的差距，還是未知的，而這個問題也構(gòu)成一個非常主流的研究方向。

能耗比：如果和人類相比，人工智能系統(tǒng)完成同等任務(wù)的功耗是人的極多倍數(shù)（比如阿法狗是人腦消耗的三百倍，3000MJ vs 10MJ 5小時比賽）。如果耗能如此劇烈，我們無法想象在能源緊張的地球可以很容易大量普及這樣的智能。那么這個問題有沒有解呢？ 當(dāng)然有，一種，是我們本身對能量提取的能力大大增強，比如小型可控核聚變實用化。另一種，依然要依靠算法的進步，既然人腦可以做到的，我們相信通過不斷仿生機器也可以接近。這一點上我們更多看到的信息是，人工智能的能耗比和人相比，還是有很大差距的。

不同數(shù)據(jù)整合：我們離終極算法相差甚遠的另一個重要原因可能是現(xiàn)實人類在解決的AI問題猶如一個個分離的孤島，比如說視覺是視覺，自然語言是自然語言，這些孤島并沒有被打通。相反，人類的智慧里，從來就沒有分離的視覺，運動或自然語言，這點上看，我們還處在AI的初級階段。我們可以預(yù)想，人類的智慧是不可能建立在一個個分離的認(rèn)知孤島上的，我們的世界模型一定建立在把這些孤立的信息領(lǐng)域打通的基礎(chǔ)上，才可以做到真正對某個事物的認(rèn)知，無論是一個蘋果，還是一只狗。

溝通與社會性：另外，人類的智慧是建立在溝通之上的，人與人相互溝通結(jié)成社會，社會基礎(chǔ)上才有文明，目前的人工智能體還沒有溝通，但不代表以后是不能的，這點，也是一個目前的AI水平與強AI（超級算法）的距離所在。

有的人認(rèn)為，我們可以直接通過模擬大腦的神經(jīng)元，組成一個和大腦類似復(fù)雜度的復(fù)雜系統(tǒng)，讓它自我學(xué)習(xí)和進化，從而實現(xiàn)強AI。從我這個復(fù)雜系統(tǒng)專業(yè)的角度看，這還是一個不太現(xiàn)實的事情。因為復(fù)雜系統(tǒng)里面最重要的是涌現(xiàn)，也就是說當(dāng)組成一個集合的元素越來越多，相互作用越來越復(fù)雜，這個集合在某個特殊條件下會出現(xiàn)一些特殊的總體屬性，比如強AI，自我意識。但是我們幾乎不可能指望只要我們堆積了那么多元素，這個現(xiàn)象（相變）就一定會發(fā)生。

至于回到那個未來人工智能曲線發(fā)展展望的話題，我們可以看到，這些不確定的因素都會使得這條發(fā)展曲線變得不可確定。然而有一點是肯定的，就是正在有越來越多非常聰明的人，開始迅速的進入到這個領(lǐng)域，越來越多的投資也在進來。這說明，AI已經(jīng)是勢不可擋的稱為人類歷史的增長極，即使有一些不確定性，它卻不可能再進入到一個停滯不前的低谷了，我們也許不會一天兩天就接近終極算法，但卻一定會在細(xì)分領(lǐng)域取得一個又一個突破。無論是視覺，自然語言，還是運動控制。

能否走向通用人工智能的確是人工智能未來發(fā)展最大的變數(shù)，或許，我們真正的沉下心來去和大腦取經(jīng)還是可以或多或少的幫助我們。因為本質(zhì)上，我們在人工智能的研究上所作的，依然是在模擬人類大腦的奧秘。我們越接近人類智慧的終極算法，就越能得到更好的人工智能算法。

來源：混沌巡洋艦