近日,兩個人工智能程序成功證明了自己,機器也可以懂得什么時候跟牌什么時候棄牌。它們首次在十分普及的紙牌游戲——德州撲克——中戰(zhàn)勝了人類的專業(yè)玩家。本周,其中一個AI的幕后團隊,深度堆棧(DeepStack),向我們透露一些成功背后的秘密——這可能是AI從航空安全系統(tǒng)走向商務談判的沖鋒號。
各種博弈游戲中AI的統(tǒng)治地位由來已久,比如象棋,比如去年讓人類僥幸贏了一盤的阿爾法狗,但在撲克領域AI一直表現(xiàn)的挺糟糕。深度堆棧的研究人員將新的算法和深度機器學習結合起來,終于打破了他們連敗的局面。深度學習是計算機科學中一種模仿人類大腦的方法,使得機器可以自學。
"這是一種尺度可調的處理復雜信息的方法,可以在短時間內做出優(yōu)化的決定,甚至比人類還好。"Murray Campbell說道,他是紐約IBM公司的研究員,曾經最好的象棋AI,深藍,的創(chuàng)造人之一。
象棋和圍棋有一個重要的共同點,也是AI的首要優(yōu)勢:他們都是完美信息博弈。這意味著雙方都完全了解對方在做什么——這在設計AI時有巨大的幫助。德州撲克中的跟牌卻不相同,此時玩家要面對兩張具有隨機性的未知底牌。每輪公共牌后玩家要做出適當?shù)男袆?,押注、跟注或棄牌。因為游戲就本身的不確定性以及初始底牌未知,不像象棋,可以從當前盤面以及對手所有可能的步驟中推算最優(yōu)策略。玩德州撲克需要某種我們稱之為直覺的東西。
傳統(tǒng)博弈類AI原理可簡述為盡可能深地計算所有可能的步驟并利用算法將過去已有的對戰(zhàn)數(shù)據(jù)排序分析。缺點在于,為了壓縮可用數(shù)據(jù),有時會把一些無效策略組合起來,加拿大Alberta大學的計算機教授Michael Bowling說到。
他們團隊的AI規(guī)避了只計算前幾步而不去計算全局即輕易判斷的方法。程序在獲得新的信息之后會不斷調整算法。當AI需要比對手先行動,而此時沒有新的信息來做判斷,深度學習就發(fā)揮作用了。
神經網(wǎng)絡,是一種把深度學習獲取的知識加以歸納的系統(tǒng)。通過訓練其在博弈中的行為可以幫助限定算法需要考慮的潛在情況。這使得AI的反應可以更為迅速而準確,Bowling說到。為了訓練深度堆棧的神經網(wǎng)絡,研究人員讓其解了超過一千萬局隨機生成的牌局。
去年研究人員為測試深度堆棧,安排它與國際撲克聯(lián)合會選出的33名專業(yè)撲克玩家對戰(zhàn)。在4周的時間里,程序共演算了44852局一對一無限注德州撲克,這是一種雙玩家無下注上限的版本。通過公式估算其中非策略、偶然獲勝的比例后,最終深度堆棧的勝率為486mbb每局,1mbb定義是每局獲勝需要押注的千分之一。這是專業(yè)選手一般認為很大的利潤率的10倍,該團隊的結果已在science上報道。
這項結果呼應了幾周前大獲成功的Libratus,一款由Carnegie Mellon 大學設計的撲克AI。經過長達20天,共約120000手牌的激戰(zhàn),AI戰(zhàn)勝了4位人類頂尖的德州撲克玩家。兩個團隊都聲稱其AI在德州撲克的優(yōu)勢已經在統(tǒng)計上確認了。不同之處在于Libratus缺少深度學習的過程而需要更多的計算資源,它的算法每次都對游戲進行完整的運算。而深度堆棧在筆記本電腦上就可以跑,Bowling說。
雖然目前還不知道這兩個AI誰是德州撲克王中王——暫時也沒有安排兩個對戰(zhàn)的計劃——雙方團隊都在把系統(tǒng)加以改造以適用于更加復雜的實際問題中,像是安保和談判。Bowling正試圖將其應用在公共運輸信譽系統(tǒng)中優(yōu)化查票機制。
研究者還很關注該技術在商業(yè)上的影響。由于其可以在非完美信息下作決斷, 可以幫助房子的買家在知道所有競價前預測競標價格,制定抵押計劃。其它的完美信息系統(tǒng),例如阿爾法狗就沒辦法做到這一點,因為缺乏對其他競標數(shù)量和大小等的限制條件。
當然,距離深度堆棧能夠完全模仿復雜的人類決策還有很多年,Bowling說。機器還要學會在不知道游戲規(guī)則的情況下如何做決策,好比如果AI沒有提前進行神經網(wǎng)絡的學習。
Campbell同意這一點,打撲克是比下棋復雜不少了,但要能處理一團亂麻的現(xiàn)實世界還要繼續(xù)努力。