人工智能系統(tǒng)，使機器人具備了像人類一樣靈巧地掌握和操縱物體的能力，現(xiàn)在，研究人員表示，他們已經(jīng)開發(fā)出一種算法，通過這種算法，機器可能學(xué)會獨立行走。來自加州大學(xué)伯克利分校和其中之一的谷歌人工智能研究部門的科學(xué)家們，在Arxiv.org上發(fā)表《通過深度強化學(xué)習(xí)，來學(xué)習(xí)走路》，它描述一個人工智能系統(tǒng)，教一個長了四只腳的機器人穿越熟悉和不熟悉地形。

該論文作者解釋說，深度強化學(xué)習(xí)可以用于自動獲取一系列機器人任務(wù)數(shù)據(jù)，從而實現(xiàn)將感知輸入映射到低級動作的策略的端到端學(xué)習(xí)。如果我們能在現(xiàn)實世界中，直接從零開始學(xué)習(xí)移動步態(tài)，原則上，我們就能獲得最適合于每個機器人的步態(tài)， 從而有可能獲得更好的靈活性、能源效率和穩(wěn)健性。

設(shè)計挑戰(zhàn)有兩方面。強化學(xué)習(xí)人工智能訓(xùn)練技術(shù)使用獎勵或懲罰來驅(qū)動個體朝著目標(biāo)前進(jìn)，需要大量的數(shù)據(jù)，在某些情況下需要數(shù)萬個樣本，才能取得良好的結(jié)果。即：在美國，決定其結(jié)構(gòu)的參數(shù)通常需要進(jìn)行多次訓(xùn)練，這可能會隨著時間的推移損害機器人。

作者指出，深度強化學(xué)習(xí)在仿真中廣泛應(yīng)用于學(xué)習(xí)運動策略，甚至將其應(yīng)用到現(xiàn)實機器人中，但由于仿真中存在的差異，不可避免地會導(dǎo)致一些性能損失，需要大量的手工建模。事實證明，在現(xiàn)實世界中使用這種算法是具有挑戰(zhàn)性的。

為了尋求一種方法，用研究人員的話說，可以讓一個系統(tǒng)在沒有模擬訓(xùn)練的情況下學(xué)習(xí)運動技能，他們開發(fā)了一個名為 maximum entropy RL的強化學(xué)習(xí)框架。它優(yōu)化了學(xué)習(xí)策略，即被處理數(shù)據(jù)的隨機性最大化。在RL中，AI agent通過對策略中的行為進(jìn)行采樣并獲得獎勵，不斷尋找行為的最優(yōu)路徑，即狀態(tài)和行為的軌跡。

他們開發(fā)了一個由計算機工作站組成的流水線，該工作站更新神經(jīng)網(wǎng)絡(luò)，從Minitaur下載數(shù)據(jù)，并上傳最新的策略，機器人上搭載的Nvidia Jetson TX2執(zhí)行上述策略，收集數(shù)據(jù)，并通過以太網(wǎng)將數(shù)據(jù)上傳到工作站。兩小時內(nèi)，他們用一種獎勵前進(jìn)速度、懲罰大角度加速度和俯仰角的算法，走了16萬步，成功地訓(xùn)練了這架小型機器人在平坦的地形上行走，越過木塊等障礙物，爬上斜坡和臺階。

研究人員寫道，據(jù)我們所知，這個實驗是一個深層強化學(xué)習(xí)算法的第一個例子，該算法直接在現(xiàn)實世界中學(xué)習(xí)不受驅(qū)動的四足動物運動，不需要任何模擬或預(yù)先訓(xùn)練。