游戲 AI 的新進展接連不斷，昨晚 DeepMind 發(fā)表推特和博客表示他們的星際 2 AI「AlphaStar」的論文已經(jīng)被 Nature 雜志接收，最重要的是補上了大規(guī)模 1v1 人類對局的實驗結(jié)果。而這個結(jié)果也是令人欽佩的：在星際 2 歐服的大約九萬名玩家中取得了「Grandmaster」的段位，天梯排名達(dá)到所有活躍玩家的前 0.15%（在九萬名玩家中相當(dāng)于前 150 名以內(nèi)）。這樣的水準(zhǔn)直接參加星際 2 天梯比賽可謂是「炸魚」般的存在，一路被血虐的人類玩家不知道有沒有懷疑過自己到底碰上的是 AI 還是職業(yè)選手（笑）。

一月的比賽中，AlphaStar 會建造大量工人，快速建立資源優(yōu)勢（超過人類職業(yè)選手的 16 個或 18 個的上限）

一月的比賽中，AlphaStar 控制的兩個追獵者黑血極限逃生

AlphaStar是如何走到這一步的？

技術(shù)方面，今年一月 DeepMind 就公開了 AlphaStar 和人類職業(yè)選手的一些測試比賽對局，并解釋了許多 AlphaStar 中重要的技術(shù)原理，包括：

模型結(jié)構(gòu) - AlphaStar 使用的是一個長序列建模模型，模型從游戲接口接收的數(shù)據(jù)是單位列表和這些單位的屬性，經(jīng)過神經(jīng)網(wǎng)絡(luò)計算后輸出在游戲中執(zhí)行的指令。這個神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)是 Transformer 網(wǎng)絡(luò)，并且結(jié)合了一個深度 LSTM 網(wǎng)絡(luò)核心、一個帶有指針網(wǎng)絡(luò)的自動回歸策略頭，以及一個中心化的評分基準(zhǔn)。

AlphaStar league 中的個體形成了明顯的策略分布

訓(xùn)練策略 - AlphaStar 首先根據(jù)高水平人類比賽進行監(jiān)督學(xué)習(xí)訓(xùn)練（模仿學(xué)習(xí)），然后進行自我對弈。自我對弈的過程中使用了群體強化學(xué)習(xí)的思路：AlphaStar 自我對弈過程中始終都同時記錄、更新多個不同版本的網(wǎng)絡(luò)，保持一個群體，稱作 AlphaStar league；AlphaStar league 中不同的網(wǎng)絡(luò)具有不同的對戰(zhàn)策略、學(xué)習(xí)目標(biāo)等等，維持了群體的多樣性，整個群體的對弈學(xué)習(xí)保證了持續(xù)穩(wěn)定的表現(xiàn)提升，而且很新的版本也不會「忘記」如何擊敗很早的版本。

訓(xùn)練結(jié)果輸出 - 當(dāng)需要輸出一個網(wǎng)絡(luò)作為最終的訓(xùn)練結(jié)果時，以 AlphaStar league 中的納什分布進行采樣，可以得到已經(jīng)發(fā)現(xiàn)的多種策略的綜合最優(yōu)解。

算力需求 - 為了支持大批不同版本 AlphaStar 智能體的對戰(zhàn)與更新，DeepMind 專門構(gòu)建了一個大規(guī)?？赏卣沟姆植际接?xùn)練環(huán)境，其中使用了最新的谷歌 TPUv3。AlphaStar league 的自我對戰(zhàn)訓(xùn)練過程用了 14 天，每個 AlphaStar 智能體使用了 16 個 TPU，最終相當(dāng)于每個智能體都有長達(dá) 200 年的游戲時間。訓(xùn)練結(jié)束后的模型在單塊消費級 GPU 上就可以運行。

操作統(tǒng)計 - 在今年一月的版本中，AlphaStar 的平均 APM 為 280，峰值 APM 超過 1000，計算延時平均為 350 毫秒；切換關(guān)注區(qū)域的速度大約是每分鐘 30 次。

技術(shù)細(xì)節(jié)的更詳細(xì)介紹參見雷鋒網(wǎng)(公眾號：雷鋒網(wǎng)) AI 科技評論的這篇文章

今年 7 月，DeepMind 準(zhǔn)備 AlphaStar 論文的 Nature 版本，并準(zhǔn)備進行大規(guī)模人類 1v1 比賽作為論文中的重要實驗的時候，他們也曾發(fā)出預(yù)告。而且，其實 1 月時和人類比賽的 AlphaStar 版本中有一些設(shè)定對 AI 有偏袒，這次進行大規(guī)模比賽的版本中進行了修改，以便更公平，也更好地體現(xiàn) DeepMind 的科研水準(zhǔn)。這些改動包括：

一月的版本可以直接讀取地圖上所有的可見內(nèi)容，不需要用操作切換視角，這次需要自己控制視角，和人類一樣只能觀察到視野內(nèi)的單位，也只能在視野內(nèi)移動單位；

一月的版本僅使用了神族，這次 AlphaStar 會使用人族、蟲族、神族全部三個種族；

一月的版本在操作方面沒有明確的性能限制，這次，在與人類職業(yè)選手共同商議后，對 AlphaStar 的平均每秒操作數(shù)、平均每分鐘操作數(shù)（APM）、瞬時最高 APM 等一些方面都做了更嚴(yán)格的限制，減少操作方面相比人類的優(yōu)勢。

參與測試的 AlphaStar 都是從人類比賽 replay 和自我比賽中學(xué)習(xí)的，沒有從與人類的對局中學(xué)習(xí)。

除此之外，AlphaStar 的表現(xiàn)會在整個測試期間保持不變，不進行訓(xùn)練學(xué)習(xí)；這樣得到的測試結(jié)果能直接反應(yīng) DeepMind 目前的技術(shù)水準(zhǔn)到達(dá)了怎么樣的水平。另一方面，作為 AlphaStar 技術(shù)方案的一大亮點，參與測試的 AlphaStar 也會是 AlphaStar 種群（AlphaStar league，詳見下文）中的多個不同個體，匹配到的不同 AlphaStar 個體可能會有迥異的游戲表現(xiàn)。

這個新版的 AlphaStar 一共經(jīng)過了 44 天的訓(xùn)練，然后在星際 2 天梯上（在暴雪的幫助下）用各種各樣的馬甲進行比賽，以免被玩家輕易發(fā)現(xiàn)。最終達(dá)到了星際 2 歐服的「Grandmaster」段位，以及所有活躍玩家的前 0.15% 排名。

AlphaStar 是怎樣一個里程碑？

首先，星際 2 是一個不完全信息游戲（博弈），戰(zhàn)爭迷霧隱藏了對手的許多信息，AI 需要具有探索、記憶甚至推測的能力才能獲得更好的表現(xiàn)。

其次，雖然 AlphaStar 和圍棋 AI AlphaGo 一樣都是以自我對局作為重要的訓(xùn)練策略，但在星際 2 中，策略的遺忘和互相克制更加明顯，并沒有某一個策略可以穩(wěn)定地勝過所有其他的策略，所以繼續(xù)使用簡單的自我對局學(xué)習(xí)會讓智能體陷入在不同策略間游移但水平停滯不前的境地。為了應(yīng)對這個問題，DeepMind 采用了群體強化學(xué)習(xí)的訓(xùn)練策略（上文中提到的 AlphaStar league），用一個群體中許多不同個體的各自演進來保存并持續(xù)優(yōu)化各種不同的游戲策略。

星際 2 還具有很大的行為空間，比如每個玩家可以同步做出行動、每個行動可以有不同的時間長短、位移和移動都是空間連續(xù)的、攻擊防御技能物品等還有很多的變化，要比圍棋的行為空間大很多。為了應(yīng)對這樣的行為空間，DeepMind 不僅使用了模仿學(xué)習(xí)找到優(yōu)秀的初始策略，而且借助了一些網(wǎng)絡(luò)設(shè)計技巧來明確智能體對策略的使用和切換，以及使用策略不在線的強化學(xué)習(xí)算法，讓舊策略完成的比賽也能幫助新策略的學(xué)習(xí)。除此之外，DeepMind 還發(fā)現(xiàn)，對于這么大的行動空間，許多在其他任務(wù)中能起到幫助的強化學(xué)習(xí)技巧已經(jīng)變得幫助不大了，這對整個強化學(xué)習(xí)領(lǐng)域來說也是新的發(fā)現(xiàn)。

在越來越困難的任務(wù)中，使用了基于學(xué)習(xí)的智能體、借助自我對局持續(xù)進化的開放目標(biāo)的學(xué)習(xí)系統(tǒng)已經(jīng)展現(xiàn)出了越來越好的表現(xiàn)。這次在 AlphaStar 的例子里，大規(guī)模比賽結(jié)果已經(jīng)表明通用化的學(xué)習(xí)方法完全可以拓展 AI 系統(tǒng)的規(guī)模，讓它在復(fù)雜、動態(tài)、多玩家的環(huán)境中發(fā)揮出良好的表現(xiàn)。在 DeepMind 看來，開發(fā) AlphaStar 的過程中涉及的技術(shù)都可以幫助他們未來開發(fā)出更安全、更魯棒、更有用的通用 AI 系統(tǒng)，最好還能夠?qū)φ鎸嵤澜鐔栴}的研究解決帶來幫助。