做夢是人工智能正常的現(xiàn)象嗎
所有人都會做夢。人在睡眠的時候,腦細胞同樣也進入了休息和放松的狀態(tài),但有一部分腦細胞并沒有完全休息,一些微弱的刺激就會引發(fā)它們的活動,從而讓人們進入夢境。
在大多數(shù)情況下,夢是使人愉快的。當(dāng)我們睡覺時,我們記憶中的視覺和音頻碎片結(jié)合成無意義的片段和全新的故事。松散的回憶瞬間融合了生動、形象的場景,在夢中我們會與已知人物形成的角色進行互動。
做夢并不是睡眠的副產(chǎn)品,而是我們大腦工作的必要過程之一。做夢時,我們的大腦過濾了清醒時收集的信息,然后神經(jīng)系統(tǒng)開始發(fā)揮作用——拋棄不相關(guān)的東西,鞏固重要的東西,以及形成和儲存記憶,這些機制在整個哺乳動物界幾乎都是相同的并且非常行之有效。
那么問題來了:人工智能也需要同樣的機制來過濾、處理信息嗎?
意大利的一組科研人員在數(shù)學(xué)模型上模擬了這個過程,并將其輸入了一個人工智能系統(tǒng),結(jié)果得出了一種算法,即通過強制它們進入離線睡眠狀態(tài)來擴展人工智能網(wǎng)絡(luò)的存儲容量,在此期間它們強化有用的存儲信息并刪除了不相關(guān)的信息。
Adriano Barra是意大利薩蘭托大學(xué)的理論物理學(xué)家。Barra與他的同事Elena Agliari和Alberto Fachechi正在研究大腦這樣復(fù)雜的系統(tǒng),并為人類大腦制作了神經(jīng)生物學(xué)的數(shù)學(xué)模型。
“我們的理論物理學(xué)家比工程師有著一些優(yōu)勢,”Barra說?!坝捎跀?shù)學(xué)模型是相同的,所以我們可以將我們的結(jié)果應(yīng)用于人工智能。我們是神經(jīng)生物學(xué)和工程學(xué)之間的橋梁。”
在搞清楚“做夢模型”能為人工智能帶來什么之前,我們先要了解一下現(xiàn)在的人工智能神經(jīng)網(wǎng)絡(luò)的一些問題。
人工智能神經(jīng)網(wǎng)絡(luò)的經(jīng)典藍圖之一是Hopfield模型。它由John Hopfield于1982年開發(fā),這個模型描述了人工智能神經(jīng)網(wǎng)絡(luò)如何模仿真實大腦的模式識別等機制來學(xué)習(xí)和檢索信息。這個模型雖然發(fā)明于30多年前,但是一直沿用至今,并且在機器學(xué)習(xí)、聯(lián)想記憶、模式識別、優(yōu)化計算等方面依然存在著廣泛的應(yīng)用,是現(xiàn)今人工智能進行深度學(xué)習(xí)的重要理論基礎(chǔ)之一。
Hopfield神經(jīng)網(wǎng)絡(luò)是一種單層互相全連接的反饋型神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)中的每一個神經(jīng)元都將自己的輸出通過連接權(quán)傳送給所有其他神經(jīng)元,同時又接收著其他神經(jīng)元傳遞過來的信息。Hopfield神經(jīng)網(wǎng)絡(luò)最受歡迎的學(xué)習(xí)規(guī)則是赫布學(xué)習(xí)法,它提出了在學(xué)習(xí)過程中如何加強神經(jīng)元之間的突觸(一個神經(jīng)元的沖動傳到另一個神經(jīng)元或傳到另一細胞間的相互接觸的結(jié)構(gòu))。赫布學(xué)習(xí)法對全球的人腦研究做出了巨大的貢獻,對現(xiàn)今的神經(jīng)科學(xué)、認知科學(xué)、計算機科學(xué)、行為科學(xué)等研究產(chǎn)生著深遠的影響。
然而,這個經(jīng)典藍圖存在一個缺點,通常情況下它只能存儲有限數(shù)量的信息。以數(shù)學(xué)的方式表示,即該對稱網(wǎng)絡(luò)的最大存儲容量為 α~0.14。但是,理論極限是1,或α= 1。
處于“清醒”或在線狀態(tài)的人工智能神經(jīng)網(wǎng)絡(luò)總是在學(xué)習(xí)新的信息模式。然而,除了理想的模式,他們還收集不相關(guān)的,甚至是假的模式。神經(jīng)網(wǎng)絡(luò)可以通過網(wǎng)絡(luò)儲存重要的模式,但存儲錯誤不可避免地會出現(xiàn),導(dǎo)致不相關(guān)的假模式同樣被儲存。
舉一個例子,在飲料中可口可樂是紅色包裝,雪碧是綠色包裝,在人工智能神經(jīng)網(wǎng)絡(luò)儲存有關(guān)這些飲料的詳細信息同時,也會收集到一些冗余的信息例如,紅色罐子包裝的茶葉,綠色瓶裝的花露水等等。最終達到最大容量0.14 。
事實上我們可以將人類的大腦視作為一臺精密的人工智能儀器,處于清醒狀態(tài)的我們接收外部的信息并將其儲存于大腦(硬盤)于是形成了記憶。我們也會接觸到一些“無用“(與我們的生活不相關(guān)的)信息,這些信息同樣會被儲存于我們的大腦。我們大腦的容量同樣有限。但這大多不會影響我們的決策(大腦依據(jù)有用信息運算出來的結(jié)果)。
同樣,在人工智能神經(jīng)網(wǎng)絡(luò)中,有限的容量并不能阻止人工智能執(zhí)行特定的任務(wù),但是這些無用的數(shù)據(jù)會堵塞寶貴的空間,這是浪費和低效的。意大利團隊的解決方案是,利用一種算法,它會迫使網(wǎng)絡(luò)進入離線階段,與哺乳動物睡眠相呼應(yīng),用于強化重要記憶并消除不相關(guān)記憶。如果不能及時擺脫虛假錯誤的信息,短時間內(nèi)影響不大,但隨時時間的推移,錯誤信息越來越多,神經(jīng)網(wǎng)絡(luò)或許就不再能區(qū)分可樂和雪碧。
哺乳動物的大腦也在不斷收集新的信息模式。但就像一艘不分青紅皂白拖著海床生物的漁船一樣,他們的大腦也汲取了不重要的細節(jié)。
“當(dāng)你醒著時,你會被動地存儲大量信息,你真的不需要它而且真的不想存儲它,“Barra說,“所以,我們需要通過睡眠來擺脫清醒時收集的虛假或者無用信息?!?/p>
在快速眼動(REM)睡眠期間,即做夢的睡眠階段,我們的大腦正忙著擦除無關(guān)的記憶。這也為存儲新的信息提供了空間。在慢波(SW)睡眠中,重要的記憶得到加強。雖然大多數(shù)夢境發(fā)生在REM期間,但我們也可能會遇到在SW睡眠期間難以回憶的模糊夢境。難以回憶的信息,其實就是我們大腦在睡眠的時候為我們刪除的無用信息。哺乳動物的大腦使用睡眠和做夢的高效機制來清理大腦的存儲空間,研究小組對這一事實的分析就是他們研究算法的起點。他們通過神經(jīng)生物學(xué)論文分析大腦在睡眠時的現(xiàn)象,并嘗試用數(shù)學(xué)方式對其進行建模?!叭绻覀儗⑦@個數(shù)學(xué)模型應(yīng)用于Hopfield模型,會發(fā)生什么呢?”Barra問道。
他們的回答以論文的形式發(fā)表于四月的《Neural Networks》 (《神經(jīng)網(wǎng)絡(luò)》)上。在新框架下,人工網(wǎng)絡(luò)于在線或清醒會話期間,會學(xué)習(xí)和存儲信息。但是,當(dāng)存儲容量達到0.14時,網(wǎng)絡(luò)將被強制進入離線或休眠狀態(tài)。這個睡眠狀態(tài)用于刪除不相關(guān)的信息并整合重要的東西,或者更專業(yè)地,用于“虛假模式去除和純模式(對于執(zhí)行任務(wù)有用的信息模式)增強”。通過實施新的離線方案,團隊能夠釋放存儲空間并將容量增加到1。
進化以及自然選擇,已經(jīng)為現(xiàn)代哺乳動物提供了大腦在睡眠狀態(tài)下識別信息的標(biāo)準(zhǔn),但人工智能神經(jīng)網(wǎng)絡(luò)則需要人類來承擔(dān)這項任務(wù)?!八晕覀儽仨殞ι窠?jīng)網(wǎng)絡(luò)說,這些信息很重要,要注意它,那些并不重要,要把它們刪掉,”巴拉說,“他們沒有重要性的概念?!?/p>
所以,我們的答案是,人工智能同樣需要睡眠。隨著數(shù)學(xué)模型基本構(gòu)建完成,Barra的工作已經(jīng)告一段落,進入了軟件工程師實施算法的階段?;蛟S,Barra也可以小睡一會了。