新的一年，DeepMind準(zhǔn)備讓AI學(xué)會(huì)“放煙花”

在星際爭(zhēng)霸 2 的

首掣人機(jī)大戰(zhàn)”

結(jié)束后不久，DeepMind 又宣布即將投身另一個(gè)游戲“煙花”。與以往不同的是，這是一款非完整信息、多人合作的游戲。研究人員相信這項(xiàng)研究可以帶來全新的技術(shù)，引導(dǎo) AI 學(xué)會(huì)自我學(xué)習(xí)以及與人類合作的新方法。

近日，DeepMind 與 Google Brain 團(tuán)隊(duì)合作發(fā)布了 Hanabi 學(xué)習(xí)環(huán)境（HLE）的代碼和論文，這是一個(gè)基于流行紙牌游戲的多智能體學(xué)習(xí)和即時(shí)通信研究平臺(tái)。HLE 為 AI 智能體提供了一個(gè)游戲界面，并附帶了一個(gè)基于 Dopamine 框架的學(xué)習(xí)智能體。

項(xiàng)目 GitHub：https://github.com/deepmind/hanabi-learning-environment

《Hanabi》是以日文命名，中文的直接轉(zhuǎn)寫為“花火”，顧名思義就是煙花的意思，它由法國(guó)人 Antoine Bauza 設(shè)計(jì)。這是一款 2-5 人的合作游戲，玩家們嘗試通過以正確的順序在桌面上放置卡牌創(chuàng)造完美的煙花。

在 Hanabi 中，共有五張不同顏色的卡片序列。讓游戲變得有趣的是玩家可以看到隊(duì)友的牌，但不能看到他們自己的牌。溝通在很大程度上通過“提示”動(dòng)作發(fā)生，其中一個(gè)人告訴另一個(gè)關(guān)于他們的牌的事情，以便他們知道要玩什么或丟棄。由于可以提供有限數(shù)量的提示，優(yōu)秀的玩家可以進(jìn)行戰(zhàn)略性溝通并利用慣例，例如“首先丟棄最舊的卡片”。

頂級(jí) Hanabi 溝通戰(zhàn)略是“finesse”：finesse 是一個(gè)隊(duì)友的舉動(dòng)，乍一看似乎很糟糕（對(duì)我們而言），但如果我們假設(shè)隊(duì)友知道我們不知道的事情，實(shí)際上是很棒的。假設(shè)我們的同伴玩得很好，我們可以排除這個(gè)“第一眼”的解釋，并總結(jié)一下自己的牌。基于技巧的典型推理可能是：“我的隊(duì)友知道'紅色 2'非常有價(jià)值。然而她故意放棄了她的“紅色 2”。唯一合乎邏輯的解釋是，我現(xiàn)在正拿著另一個(gè)'紅色 2'?！埃ㄈ绻阃婕埮朴螒?Hearts，你會(huì)熟悉黑桃皇后的類似游戲）。由于“finesse”，玩家最終會(huì)對(duì)游戲形成復(fù)雜的解釋。從應(yīng)急溝通（emergent communication）的角度來看，“finesse”很有吸引力，因?yàn)橥孢@個(gè)游戲和理解它們都需要超越提示的字面含義并推斷出隊(duì)友的意圖——有時(shí)候稱為“theory of mind”。

那對(duì)于 Hanabi，現(xiàn)有的強(qiáng)化學(xué)習(xí)方法如何呢？事實(shí)上，并不如想象的那么好。DeepMind 的第一個(gè)實(shí)驗(yàn)通過向修改后的重要性加權(quán) Actor - Learner 通過提供有效的、無限量訓(xùn)練來推動(dòng)這一趨勢(shì)。他們確定了 200 億次“有效無限”的動(dòng)作：這個(gè)數(shù)字相當(dāng)于大約 3 億次游戲或 1.66 億小時(shí)的人類游戲（如果假設(shè)一個(gè)休閑玩家每次移動(dòng)大約需要 30 秒）。該算法使用自身的副本進(jìn)行訓(xùn)練，稱之為“self-play setTIng”。雖然該算法在雙人游戲環(huán)境中可以學(xué)習(xí)成功的慣例（平均 22.73 分，可能總共 25 分），但它在四人和五人游戲環(huán)境中的表現(xiàn)要比專業(yè)玩家或手動(dòng)編碼的機(jī)器人差得多：

研究人員在第二次實(shí)驗(yàn)中證實(shí)了這些發(fā)現(xiàn)，這次實(shí)驗(yàn)中使用了 1 億次移動(dòng)這樣更合理的預(yù)算，以及我們發(fā)布的修改后的 Rainbow 架構(gòu)（你可以試試：大約 16 小時(shí)內(nèi)在一個(gè) GPU 上訓(xùn)練能夠獲得 15 分的智能體）。Rainbow 在 2 人游戲中表現(xiàn)也不錯(cuò)，但是在 4 人和 5 人游戲中表現(xiàn)相當(dāng)差。雖然確實(shí)有些技術(shù)（如 BAD 方法）能夠提高這些分?jǐn)?shù)，但是實(shí)現(xiàn)它所需的樣本數(shù)量表明，在 Hanabi 中發(fā)現(xiàn)慣例仍然是一個(gè)未解決的問題。

然而，打破自我游戲設(shè)置只是一個(gè)開始。在其他環(huán)境中成功的交流需要高效的編碼（不要浪費(fèi)文字）和適應(yīng)性（理解聽眾）。當(dāng)我們遇到新的人時(shí)，我們可能不會(huì)對(duì)語言的所有術(shù)語都達(dá)成一致，因此我們傾向于讓事情變得更簡(jiǎn)單一點(diǎn)。例如，DeepMind 將 operator 規(guī)范和 Lyapunov 函數(shù)排除在（大多數(shù)）社交會(huì)面之外。適應(yīng)能力的需求是 Hanabi 的核心：當(dāng)和一個(gè)新的團(tuán)隊(duì)一起玩時(shí)，這樣做你承擔(dān)的風(fēng)險(xiǎn)才更小——或許是沒有進(jìn)行聯(lián)系就落子，或許是等待隊(duì)友先走第一步。雖然人類很容易適應(yīng)陌生的聽眾，但 DeepMind 目前最好的智能體卻做不到：它們遵循復(fù)雜且相當(dāng)僵化的慣例。

當(dāng)一個(gè)智能體被要求與不熟悉的智能體合作時(shí)，這種情況被稱為“特定團(tuán)隊(duì)游戲（ad hoc team play）”。當(dāng)自我游戲（self-play）環(huán)境要求我們學(xué)習(xí)最好的慣例時(shí)，特定團(tuán)隊(duì)游戲需要適應(yīng)先驗(yàn)未知的慣例。在本文中，DeepMind 團(tuán)隊(duì)發(fā)現(xiàn)用自我游戲策略訓(xùn)練的智能體在特定環(huán)境中慘敗。在一個(gè)實(shí)驗(yàn)中，DeepMind 挑選了 10 個(gè)完全訓(xùn)練的 actor-learner 智能體，actor-learner 智能體得分超過 23 分。相比之下，新團(tuán)隊(duì)幾乎立即出局，平均得分為 2~3 分。DeepMind 發(fā)現(xiàn)使用類似相關(guān)矩陣的東西來可視化這種效果是有用的，對(duì)角線對(duì)應(yīng)于自我游戲評(píng)估：

從長(zhǎng)遠(yuǎn)來看，一個(gè)提供隨機(jī)提示的簡(jiǎn)單手動(dòng)編碼策略平均得分為 5.1 分。當(dāng)然，這并不是什么很驚奇的事，因?yàn)?DeepMind 設(shè)計(jì)的這款自我游戲智能體并不適合其他玩家。話雖如此，其影響大小的變化（從接近完美到接近零）說明這是現(xiàn)有智能體的一個(gè)重要缺點(diǎn)。

很明顯，考慮過去十年的結(jié)果，機(jī)器學(xué)習(xí)潛力驚人。AI 的下一大步將是讓智能體學(xué)會(huì)交流和推理意圖。與 Atari 2600 游戲?qū)ι疃葟?qiáng)化學(xué)習(xí)領(lǐng)域的激勵(lì)類似，Hanabi 是一個(gè)很好的培養(yǎng)皿，可以用來測(cè)試算法如何在對(duì)人類來說簡(jiǎn)單但對(duì) AI 來說比較挑戰(zhàn)的場(chǎng)景中學(xué)習(xí)合作。DeepMind 團(tuán)隊(duì)期待能夠從 Hanabi 研究中看到完美的合作。

論文：The Hanabi Challenge: A New FronTIer for AI Research

摘要：在計(jì)算機(jī)的發(fā)展歷史上，游戲一直是研究機(jī)器如何做出復(fù)雜決策的重要試驗(yàn)平臺(tái)。近年來，機(jī)器學(xué)習(xí)取得了顯著的進(jìn)步，人工智能體在很多領(lǐng)域取得了超越人類專家的表現(xiàn)，其中包括圍棋、Atari 游戲以及一些撲克游戲。與它們的國(guó)際象棋、跳棋、雙陸棋前身一樣，這些游戲通過復(fù)雜的定義和挑戰(zhàn)推動(dòng)了人工智能的研究。在本論文中，我們希望將“Hanabi”游戲作為新的挑戰(zhàn)，這一領(lǐng)域具有新穎的問題，這些問題源于純粹合作的游戲玩法，和 2-5 個(gè)玩家環(huán)境中不完全信息的結(jié)合。

特別的是，我們認(rèn)為 Hanabi 將試圖理解其它智能體的意圖推理推向了前臺(tái)。我們相信開發(fā)能夠使人工智能理解這種心理理論的技術(shù)不僅可以玩好這款游戲，還可以應(yīng)用于更廣泛的合作任務(wù)中——尤其是那些與人類合作的任務(wù)。為了便于未來研究，我們引入了開源的 Hanabi 學(xué)習(xí)環(huán)境，為研究人員提供實(shí)驗(yàn)框架，用于評(píng)估算法的進(jìn)步，并評(píng)估當(dāng)前最先進(jìn)技術(shù)的性能。