時(shí)用手指盲打，將鑰匙插入鑰匙孔，這些都依賴我們的觸覺。已有研究表明，觸覺對(duì)于人類的靈巧操作非常重要。

同樣，對(duì)于許多機(jī)器人操作任務(wù)來(lái)說(shuō)，只有視覺可能是不夠的—— 視覺很難處理微妙的細(xì)節(jié)問(wèn)題，如邊緣的精確位置，剪切力度或接觸點(diǎn)處的表面紋理，而且機(jī)器人的手臂和手指可能阻擋相機(jī)與其目標(biāo)物之間的視線。然而，用這種至關(guān)重要的感官能力來(lái)增強(qiáng)機(jī)器人，仍然是一項(xiàng)有挑戰(zhàn)性的任務(wù)。

我們的目標(biāo)是提供一個(gè)學(xué)習(xí)如何執(zhí)行觸覺伺服的框架，這意味著要基于觸覺信息精確地重新定位一個(gè)物體。

為了給我們的機(jī)器人提供觸覺反饋，我們使用了一個(gè)定制的觸覺傳感器，其原理與 MIT 開發(fā)的 GelSight 傳感器類似。傳感器由一種可變形的彈性體凝膠組成，有三個(gè)彩色 LED 背光，并在凝膠表面提供高分辨率 RGB 接觸圖像。與其他傳感器相比，這種觸覺傳感器以豐富的視覺信息的形式自然地提供幾何信息，從而可以推斷出力等屬性。使用類似傳感器的先前工作已經(jīng)利用這種觸覺傳感器來(lái)完成諸如學(xué)習(xí)如何抓取的任務(wù)，提高了抓取各種物品的成功率。

下面是一個(gè)筆帽在凝膠表面滾動(dòng)時(shí)，傳感器的實(shí)時(shí)輸出：

硬件設(shè)置和任務(wù)定義

在實(shí)驗(yàn)中，我們使用了一個(gè)改進(jìn)的 3 軸數(shù)控路由器，在路由器的末端執(zhí)行器上安裝了一個(gè)面朝下的觸覺傳感器。機(jī)器人通過(guò)改變傳感器相對(duì)于其工作階段的 X、Y 和 Z 位置來(lái)移動(dòng)，每個(gè)軸由一個(gè)單獨(dú)的步進(jìn)電機(jī)驅(qū)動(dòng)。由于這些電機(jī)可以精確控制，我們的設(shè)置可以達(dá)到約 0.04 毫米的分辨率，有助于在精細(xì)的操作任務(wù)中細(xì)致地移動(dòng)。

機(jī)器人的設(shè)置。觸覺傳感器安裝在圖像左上角的末端執(zhí)行器上，面朝下方。

我們通過(guò) 3 個(gè)代表性的操作任務(wù)演示了這一方法：

小球重新定位任務(wù)：機(jī)器人將一個(gè)小金屬球軸承移動(dòng)到傳感器表面的目標(biāo)位置。這個(gè)任務(wù)是很困難的，因?yàn)榇植诘目刂仆鶗?huì)對(duì)球軸承施加過(guò)大的力，導(dǎo)致其滑動(dòng)從而遠(yuǎn)離了傳感器。

模擬搖桿偏轉(zhuǎn)任務(wù)：在玩電子游戲時(shí)，我們經(jīng)常只依靠觸覺來(lái)操縱游戲控制器上的模擬搖桿。這個(gè)任務(wù)特別令人感興趣，因?yàn)槠D(zhuǎn)模擬搖桿通常需要有意斷開和返回接觸，從而創(chuàng)建一個(gè)部分可觀測(cè)性情況。

模具滾動(dòng)任務(wù)：在這個(gè)任務(wù)中，機(jī)器人將一個(gè) 20 面模具從一個(gè)面滾到另一個(gè)面。在這項(xiàng)任務(wù)中，物體從傳感器下滑出的風(fēng)險(xiǎn)更大，因此這項(xiàng)任務(wù)是三項(xiàng)任務(wù)中最難的。另外這個(gè)任務(wù)的一個(gè)優(yōu)點(diǎn)是，它提供了一個(gè)直觀的成功指標(biāo) —— 當(dāng)機(jī)器人完成操作時(shí)，正確的數(shù)字應(yīng)該正面朝上顯示。

從左到右：小球重新定位，模擬搖桿和模具滾動(dòng)的任務(wù)。

每一個(gè)控制任務(wù)都是直接在觸覺空間中根據(jù)目標(biāo)圖像指定的；也就是說(shuō)，機(jī)器人的目標(biāo)是操縱物體，使它們?cè)谀z表面產(chǎn)生特定的印記。這些目標(biāo)觸覺圖像可以比諸如物體的 3D 姿勢(shì)規(guī)范或期望的力的方向提供更多信息，也能更自然地指定。

深度觸覺模型 —— 預(yù)測(cè)控制

如何利用我們的高維感官信息來(lái)完成這些控制任務(wù)？這三個(gè)操作任務(wù)都可以使用相同的基于模型的強(qiáng)化學(xué)習(xí)算法來(lái)解決，我們稱之為觸覺模型預(yù)測(cè)控制（tactile model-predicTIve control，tacTIle MPC），建立在視覺預(yù)見（visual foresight） 之上。

需要注意的是，我們可以為每個(gè)任務(wù)使用相同的超參數(shù)集，從而消除了手動(dòng)超參數(shù)調(diào)優(yōu)。

深度觸覺模型預(yù)測(cè)控制的概覽

觸覺 MPC 算法的工作原理是在自主采集的數(shù)據(jù)上訓(xùn)練一個(gè)動(dòng)作條件的視覺動(dòng)態(tài)或視頻預(yù)測(cè)模型。該模型從原始的感官數(shù)據(jù) （如圖像像素） 中學(xué)習(xí)，并且能夠直接對(duì)未來(lái)圖像進(jìn)行預(yù)測(cè)，并將其作為輸入，作為機(jī)器人未來(lái)采取的假設(shè)動(dòng)作以及我們稱為上下文幀的起始觸覺圖像。沒有指定其他信息，例如末端執(zhí)行器的絕對(duì)位置。

視頻預(yù)測(cè)模型的架構(gòu)

在觸覺 MPC 中，如上圖所示，在測(cè)試時(shí)采集了大量的動(dòng)作序列，本例中為200 個(gè)動(dòng)作序列，并且由模型預(yù)測(cè)得到假設(shè)軌跡。選擇預(yù)測(cè)最接近目標(biāo)的軌跡，并且此序列中的第一個(gè)動(dòng)作被機(jī)器人在現(xiàn)實(shí)世界中采取。為了在模型出現(xiàn)小誤差時(shí)進(jìn)行恢復(fù)，每一步都重復(fù)規(guī)劃過(guò)程中的軌跡。

這種控制方案以前已經(jīng)被應(yīng)用，并成功地使機(jī)器人能夠拾取和重新排列物體，甚至可以將其推廣到以前未見過(guò)的物體。如果你有興趣閱讀更多關(guān)于這方面的資料，可以查閱這篇論文：https://arxiv.org/abs/1812.00568。

為了訓(xùn)練視頻預(yù)測(cè)模型，我們需要收集各種數(shù)據(jù)，使機(jī)器人能夠推廣到其從未見過(guò)的觸覺狀態(tài)。雖然我們坐在鍵盤前告訴機(jī)器人如何沿著每一個(gè)軌跡移動(dòng)每一步，但讓機(jī)器人大致了解如何收集數(shù)據(jù)并允許它這樣做會(huì)更好。通過(guò)一些簡(jiǎn)單的重置機(jī)制，確保臺(tái)面上的東西不會(huì)在數(shù)據(jù)收集過(guò)程中失控，機(jī)器人能夠通過(guò)收集基于隨機(jī)動(dòng)作序列的軌跡，以完全自我監(jiān)督的方式收集數(shù)據(jù)。在這些軌跡中，機(jī)器人記錄來(lái)自傳感器的觸覺圖像，以及它在每一步采取的隨機(jī)動(dòng)作。每一項(xiàng)任務(wù)都需要大約 36 小時(shí)的數(shù)據(jù)收集，無(wú)需人工監(jiān)督。

模擬搖桿任務(wù)的隨機(jī)數(shù)據(jù)收集

對(duì)于上述三項(xiàng)任務(wù)，我們分別提供了具代表性的計(jì)劃和示例：

小球滾動(dòng)任務(wù) - 機(jī)器人沿著目標(biāo)軌跡滾動(dòng)小球

模擬搖桿任務(wù) - 為了達(dá)到目標(biāo)圖像，機(jī)器人斷開并重建與目標(biāo)物體的接觸。

模具任務(wù) - 機(jī)器人將模具從標(biāo)記為 20 的起始面 （如圖中紅色邊框的預(yù)測(cè)幀所示，表示輸入視頻預(yù)測(cè)模型的上下文幀） 滾動(dòng)到標(biāo)記為 2 的面。

從這些示例中可以看出，使用相同的框架和模型設(shè)置，觸覺 MPC 能夠執(zhí)行各種操作任務(wù)。

下一步的研究

我們展示了一種基于觸覺的控制方法 ——觸覺 MPC。

該方法基于學(xué)習(xí)高分辨率觸覺傳感器的前向預(yù)測(cè)模型，能夠根據(jù)用戶提供的目標(biāo)重新定位物體。將這種算法和傳感器結(jié)合起來(lái)用于控制是很有前景的，并且使用視覺和觸覺結(jié)合起來(lái)的傳感器，可以解決更困難的任務(wù)。

然而，我們的控制范圍仍然相對(duì)較短，只有幾十個(gè)時(shí)間步長(zhǎng)，對(duì)于我們希望在未來(lái)實(shí)現(xiàn)的更復(fù)雜的操作任務(wù)來(lái)說(shuō)，這可能還不夠。此外，還需要對(duì)指定目標(biāo)的方法進(jìn)行重大改進(jìn)，以支持更復(fù)雜的任務(wù)，例如通用對(duì)象定位或組裝。

本文基于將在 2019 年機(jī)器人與自動(dòng)化國(guó)際會(huì)議上發(fā)表的論文：

ManipulaTIon by Feel： Touch-Based Control with Deep PredicTIve Models

Stephen Tian*， Frederik Ebert*， Dinesh Jayaraman， Mayur Mudigonda， Chelsea Finn， Roberto Calandra， Sergey Levine