人工智能(AI)系統(tǒng)能夠學會一款雅達利(Atari)游戲，然后利用這些知識再學習另一款游戲。

2014年當DeepMind的機器學習系統(tǒng)學會玩雅達利游戲時，突然引人矚目地躍入公眾視線。這套系統(tǒng)可以把游戲打通關，得分比人類還高，但卻不記得它是怎樣做到的。

該系統(tǒng)玩每一款雅達利游戲時，都要單獨創(chuàng)建一組神經(jīng)網(wǎng)絡，因此，如果不能同時為人工智能輸入《空間入侵者》(Space Invaders)和《打磚塊》(Breakout)的信息，就不能在同一個系統(tǒng)上玩這兩款游戲。現(xiàn)在，一組DeepMind和倫敦帝國理工學院的研究人員已經(jīng)創(chuàng)建了一種算法，允許該系統(tǒng)的神經(jīng)網(wǎng)絡自主學習，保留信息，并再次使用它。

“以前我們有一個系統(tǒng)可以學著玩任何游戲，但它一次只能學會玩一款游戲，“DeepMind的研究科學家詹姆斯·基爾克帕特里克(James Kirkpatrick)說，他是該系統(tǒng)最新研究論文的主筆。“在此我們展示了一個系統(tǒng)，可以一個接一個地學習玩幾個游戲。”

這篇論文發(fā)表在美國國家科學院學報上，解釋了DeepMind的AI系統(tǒng)如何運用有監(jiān)督學習和強化學習測試等方式來不斷學習。該公司的博客文章也對此做了說明。

計算機科學家在論文中寫道：“不斷完成學習任務而不遺忘的能力是生物和人工智能的核心組成部分。”基爾克帕特里克說，如今，神經(jīng)網(wǎng)絡和人工智能中的“重大缺陷”已無法從一個任務傳遞到下一個任務。

研究小組表示，已經(jīng)能夠在“突觸整合”的基礎上展示“持續(xù)學習”，在人腦中，這個過程被描述為“學習和記憶的基礎”。

為了讓AI系統(tǒng)擁有記憶，DeepMind研究人員開發(fā)了一種名為“彈性權重固化”(EWC)的算法。論文指出，“我們的方法是通過有選擇性地減慢高權重任務的學習速度來記住舊的任務。”基爾克帕特里克解釋說，該算法可以選擇在游戲中成功通關的做法，并把最有用的部分保留下來。

“我們只允許它們(在游戲間)非常緩慢地做出改變，”他說，“如此一來，我們就有了學習新任務的空間，但是我們所進行的改變不會覆蓋我們以前學過的東西。”

為了對算法進行測試，DeepMind采用了深度神經(jīng)網(wǎng)絡，它被稱為Deep Q網(wǎng)絡(DQN)，以前曾被用來征服雅達利游戲。然而，這一次DQN使用的是“增強的”EWC算法。研究人員隨機選擇了十款雅達利游戲來測試算法和神經(jīng)網(wǎng)絡，AI的表現(xiàn)足以與人類玩家相媲美。每款游戲被玩過2000萬次之后，系統(tǒng)自動切換到下一款雅達利游戲。

“以前，DQN不得不單獨學習如何玩一款游戲，”文章寫道。“DQN在EWC的助力下功能大增，可以不再經(jīng)歷災難性的遺忘過程，連續(xù)不斷地學會玩很多游戲。”

從本質(zhì)上講，使用EWC算法的深度神經(jīng)網(wǎng)絡能夠學習玩一個游戲，然后將已學會的知識加以轉換，再去玩下一個全新的游戲。

然而，這套系統(tǒng)還不完美。雖然它能夠學習以前的經(jīng)驗，并保留最有用的信息，但它的神經(jīng)網(wǎng)絡無法像只完成一個游戲那樣運轉良好。

“當下，我們已經(jīng)證明了AI系統(tǒng)能夠不斷學習，但我們還無法證明它的學習效率有所提高，”基爾克帕特里克說。“下一步我們將利用和規(guī)范連續(xù)學習，嘗試和改善它在現(xiàn)實世界的學習活動。”