近日，中國科學(xué)院沈陽自動化研究所（以下簡稱沈自所）與英國愛丁堡機器人中心合作研究取得新進展，提出了一種在動態(tài)、非結(jié)構(gòu)環(huán)境下基于深度強化學(xué)習(xí)的移動機械臂自主作業(yè)方法，將最新的人工智能（AI）學(xué)習(xí)理論應(yīng)用于真實的復(fù)雜移動機械臂控制。相關(guān)研究成果已發(fā)表于《傳感器》。

“海星6000”水下機器人此項合作源于2018年3月，應(yīng)依托于沈自所的機器人學(xué)國家重點實驗室的邀請，英國皇家工程院院士、愛丁堡機器人中心主任David M. Lane訪問沈自所，與機器人學(xué)國家重點實驗室簽署了戰(zhàn)略合作框架（MoU）協(xié)議。

在MoU框架下，雙方積極開展人員互訪、學(xué)術(shù)交流及研究生聯(lián)合培養(yǎng)，并在多個研究領(lǐng)域開展合作，包括基于深度強化學(xué)習(xí)的機器人控制、基于視覺的水下三維場景重建與目標識別、水下機器人自主作業(yè)等。

沈自所水下機器人研究室研究員張奇峰告訴《中國科學(xué)報》：“機器人在空間、陸地和水下等大量動態(tài)、非結(jié)構(gòu)環(huán)境下作業(yè)是一個復(fù)雜的任務(wù)，相比于傳統(tǒng)工業(yè)機器人作業(yè)要求更高，通常需要機器人具有感知、導(dǎo)航、決策、操作等多種功能?！?/p>

據(jù)悉，非結(jié)構(gòu)環(huán)境下移動機械臂自主作業(yè)是未來機器人應(yīng)用的一個重要場景。該項研究可以擴展到空間機器人、飛行機器人和水下機器人作業(yè)等多種復(fù)雜環(huán)境。

“水下機器人自主作業(yè)面臨許多難點，相比于陸地機器人，浮游狀態(tài)水下機器人系統(tǒng)動力學(xué)非線性、耦合性強，作業(yè)過程中機器人載體與機械手的相互運動干擾及由此產(chǎn)生的目標物定位信息噪聲使機器人的精確控制尤為困難?！睆埰娣褰榻B，這也是雙方目前重點開展研究的方向之一。

此次沈自所與愛丁堡機器人中心科研團隊利用神經(jīng)網(wǎng)絡(luò)構(gòu)建了一種機器人整體強化學(xué)習(xí)控制模型，采用深度學(xué)習(xí)方法對機器人相機獲得的環(huán)境與目標信息進行處理，然后將感知信息與機器人當(dāng)前狀態(tài)作為系統(tǒng)輸入，對機器人的整體行為進行自主控制。

其中，愛丁堡機器人中心提供機器人平臺和基于深度強化學(xué)習(xí)的算法框架指導(dǎo)，沈自所面向機器人平臺特點進一步深入進行理論研究，并將控制算法應(yīng)用于機器人，開展試驗驗證。

沈自所博士研究生王聰說：“我們通過仿真與實際環(huán)境中的交互學(xué)習(xí)與訓(xùn)練，最終實現(xiàn)了在真實環(huán)境下的移動機械臂自主作業(yè)，為深度強化學(xué)習(xí)應(yīng)用于更為復(fù)雜的水下浮游基座機器人系統(tǒng)開展自主作業(yè)研究奠定了基礎(chǔ)?！?/p>

目前機器人的技能學(xué)習(xí)是業(yè)界的研究熱點和難點之一，水下機器人領(lǐng)域的相關(guān)研究更少。張奇峰表示，沈自所在水下機器人的平臺設(shè)計、底層控制及實際應(yīng)用等方面有非常豐富的經(jīng)驗與優(yōu)勢，但隨著應(yīng)用場景和作業(yè)任務(wù)的復(fù)雜化，需要進一步加強前沿理論研究及前沿理論與機器人系統(tǒng)相結(jié)合的應(yīng)用研究。