神經(jīng)網(wǎng)絡(luò)有什么天生的性質(zhì)
眾所周知,動物與生俱來就有獨特能力和傾向,馬出生后幾個小時就能走路,鴨子孵化后很快就能游泳,而人類嬰兒會自動被臉吸引。大腦已經(jīng)進化到只需很少或根本沒有經(jīng)驗就能承擔起這個世界,許多研究人員希望在人工智能中重現(xiàn)這種自然能力。
新研究發(fā)現(xiàn),人工智能也能進化出類似人和動物那種與生俱來的能力。人工神經(jīng)網(wǎng)絡(luò)可以進化為無需學習即可執(zhí)行任務(wù)。該技術(shù)可能會讓AI更擅長處理各種任務(wù),例如為照片加標簽或駕駛汽車。
人工神經(jīng)網(wǎng)絡(luò)靠的是小型計算節(jié)點(即神經(jīng)元)之間傳遞信息,網(wǎng)絡(luò)通常通過調(diào)整神經(jīng)元之間連接的“權(quán)重”或強度來學習執(zhí)行諸如玩游戲或識別圖像之類的任務(wù)。一種稱為神經(jīng)體系結(jié)構(gòu)搜索的技術(shù)會嘗試許多網(wǎng)絡(luò)形狀和大小,以便針對特定目的找到更好的神經(jīng)網(wǎng)絡(luò)。
新方法使用相同的搜索技術(shù)來查找權(quán)重無關(guān)緊要的網(wǎng)絡(luò),對于這樣的網(wǎng)絡(luò),網(wǎng)絡(luò)的整體形狀決定了它的智能,可能使其特別適合某些任務(wù)。
計算機科學家Adam Gaier說:“如果動物具有所有這些固有的行為,并且某些神經(jīng)網(wǎng)絡(luò)在沒有大量訓練的情況下就能很好地發(fā)揮作用,那么我們想知道我們能將這一想法推進多遠?!彼诠雀璐竽X工作期間以第一作者發(fā)表該論文。
該過程從一組非常簡單的網(wǎng)絡(luò)開始,這些網(wǎng)絡(luò)將輸入(例如,來自機器人傳感器的數(shù)據(jù))鏈接到行為輸出。它針對問題類型對網(wǎng)絡(luò)進行評估,對網(wǎng)絡(luò)性能進行優(yōu)化,通過增加神經(jīng)元或者說更改神經(jīng)元對求輸入的敏感程度來實現(xiàn)突變。在評估階段,系統(tǒng)會為網(wǎng)絡(luò)的所有權(quán)重分配一個共享的隨機數(shù)。(實際上是使用多個隨機數(shù)進行計算,最后將結(jié)果取平均值。)
這種神經(jīng)網(wǎng)絡(luò)稱為重量不可知神經(jīng)網(wǎng)絡(luò)(WANNs),這些神經(jīng)網(wǎng)絡(luò)選取的節(jié)點都再任務(wù)中表現(xiàn)出色并且網(wǎng)絡(luò)結(jié)構(gòu)簡單。雖然處理這個領(lǐng)域的典型任務(wù)網(wǎng)絡(luò)可能具有數(shù)千個神經(jīng)元和權(quán)重,但WANNs僅有少數(shù)神經(jīng)元和一個權(quán)重。
盡管如此,WANNs依舊表現(xiàn)出色。研究團隊將WANNs與標準網(wǎng)絡(luò)體系結(jié)構(gòu)進行了比較,這些標準網(wǎng)絡(luò)體系結(jié)構(gòu)根據(jù)經(jīng)驗調(diào)整權(quán)重,可以完成三個模擬任務(wù):駕駛賽車,使兩足機器人行走,控制輪式推車以平衡桿位。
谷歌大腦研究人員通過精簡神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),在前幾代中發(fā)現(xiàn)了最小架構(gòu)的神經(jīng)網(wǎng)絡(luò)能夠控制此處所示的雙足機器人,即使它的得分不高。
WANNs的得分大約是訓練有素的神經(jīng)網(wǎng)絡(luò)的六分之一到一半,當研究人員分配最佳權(quán)重而不是隨機權(quán)重時,則得分介于訓練后的神經(jīng)網(wǎng)絡(luò)得分的三分之二至五分之四。如果經(jīng)過進化,WANNs的訓練強度與更大的標準網(wǎng)絡(luò)相同,則它們的性能會不相上下。
在涉及識別手寫數(shù)字的任務(wù)中,WANN的準確率超過90%(相比之下,接受該任務(wù)訓練的較大網(wǎng)絡(luò)的準確率則為99%),該研究于上個月在加拿大溫哥華的神經(jīng)信息處理系統(tǒng)(NeurIPS)會議上發(fā)表。
沒有參與這項研究的優(yōu)步人工智能實驗室的計算機科學家劉珊珊(Rosanne Liu)說:“它們使整個事情能正常運轉(zhuǎn)的事實令人印象深刻?!逼渌藝L試建立不依賴權(quán)重的網(wǎng)絡(luò)最終宣告失敗。Gaier說,這一突破最初是一個漏洞,該漏洞將所有權(quán)重分配了相同的數(shù)字,最終簡化了搜索架構(gòu)。
盡管WANNs的性能并不能取代訓練有素的大型網(wǎng)絡(luò),但該方法為尋找專門適合各種任務(wù)的網(wǎng)絡(luò)架構(gòu)開辟了一條新途徑,即大腦的各個部分針對特定目的的接線方式不同。例如,卷積神經(jīng)網(wǎng)絡(luò)具有適合圖像識別的架構(gòu),可以反映大腦視覺皮層的結(jié)構(gòu)。Gaier相信,還有更多的構(gòu)建基塊,可以使AI從一開始就很聰明。