無論是在擁擠的人行道上行走，還是在社區(qū)足球聯(lián)賽中射門進(jìn)球，人類都會下意識地利用感知—?jiǎng)幼餮h(huán)（perception-acTIon loop）做幾乎所有的事情。感知—?jiǎng)幼餮h(huán)可以使我們在一個(gè)連續(xù)的實(shí)時(shí)循環(huán)中使用感官輸入做出正確的動(dòng)作，其也是 “自治系統(tǒng)” 的核心。

但當(dāng)前一代的機(jī)器人等 “自治系統(tǒng)” 在直接根據(jù)視覺數(shù)據(jù)做出正確決策方面仍遠(yuǎn)遠(yuǎn)不及人類，其依然受到難以收集大量真實(shí)世界數(shù)據(jù)的限制。此外，雖然我們能輕易生成大量模擬數(shù)據(jù)，但這類數(shù)據(jù)在現(xiàn)實(shí)生活的各種場景中，通常不能催生安全的行為。

如何讓機(jī)器人具有如人類一般的 “自治” 能力？一項(xiàng)來自微軟研究人員的研究，讓我們看到了巨大的可能性。

研究人員向我們描述了這樣一種機(jī)器學(xué)習(xí)系統(tǒng)：它可以幫助機(jī)器人直接從相機(jī)圖像中推理出正確的動(dòng)作。以無人機(jī)為例，無人機(jī)可以通過模擬學(xué)習(xí)完成特定路線的導(dǎo)航。

通過模擬訓(xùn)練，機(jī)器人可以學(xué)會獨(dú)立觀察現(xiàn)實(shí)世界中的環(huán)境和條件（包括看不見的情況），然后作出正確決策，這使得機(jī)器人非常適合用于搜索和救援任務(wù)。研究人員認(rèn)為，在不久的將來，這種機(jī)器學(xué)習(xí)系統(tǒng)可以幫助機(jī)器人更快地識別出需要幫助的人。

受人類大腦的啟發(fā)，該系統(tǒng)將視覺信息直接映射到正確的控制動(dòng)作上，也就是說，將視頻幀的高維序列轉(zhuǎn)換為代表真實(shí)世界狀態(tài)的低維形態(tài)。根據(jù)研究人員的說法，這種方法使模型更容易解釋和調(diào)試。

圖 | 系統(tǒng)框架通過模擬學(xué)習(xí)使用多個(gè)數(shù)據(jù)模態(tài)的低維狀態(tài)表征

研究人員在微軟官網(wǎng)上的一篇博客文章中寫道：“我們希望可以借助這個(gè)系統(tǒng)使得當(dāng)前技術(shù)更加接近人類應(yīng)對環(huán)境提示、適應(yīng)困難條件和自主操作的能力。我們有興趣去探索要建立一個(gè)達(dá)到人類水平的自主系統(tǒng)需要做些什么?！?/p>

無人機(jī)實(shí)驗(yàn)

在機(jī)器學(xué)習(xí)系統(tǒng)框架內(nèi)，研究人員將感知組件（即理解所看到的東西）與控制策略（根據(jù)看到的東西決定做什么）分開?！巴ㄟ^將 ‘感知—行動(dòng)循環(huán)’ 分為兩個(gè)模塊，并將多種數(shù)據(jù)模式納入感知訓(xùn)練階段，我們可以避免網(wǎng)絡(luò)過度擬合傳入數(shù)據(jù)的非相關(guān)特征。比如，盡管用于模擬和物理實(shí)驗(yàn)中的門的大小相同，但它們的寬度、顏色，甚至內(nèi)在的相機(jī)參數(shù)卻不一樣?！?一位研究人員說。

該團(tuán)隊(duì)將機(jī)器學(xué)習(xí)框架應(yīng)用在一個(gè)帶有前置攝像頭的小型四軸飛行器上，在只使用來自相機(jī)的圖像的情況下，試圖通過為無人機(jī)傳授一種 AI 策略，從而使其完成特定路線的導(dǎo)航。

研究人員使用一個(gè)名為 AirSim 的高保真模擬器在模擬環(huán)境下訓(xùn)練 AI，然后將其部署到現(xiàn)實(shí)世界的無人機(jī)上。其中，一個(gè)關(guān)鍵挑戰(zhàn)是模型必須對模擬和現(xiàn)實(shí)世界之間的差異（如光照、紋理）具有魯棒性（指控制系統(tǒng)在一定結(jié)構(gòu) / 大小的參數(shù)攝動(dòng)下維持其它某些性能的特性）。為此，研究人員使用了一個(gè)名為跨模態(tài)變量自動(dòng)編碼器（CM-VAE）的框架，來生成緊密彌合模擬與現(xiàn)實(shí)差距的表征，從而避免對無關(guān)數(shù)據(jù)的過度擬合。

在無人機(jī)實(shí)驗(yàn)中，一種數(shù)據(jù)模態(tài)考慮了原始無標(biāo)簽傳感器輸入（FPV 圖像），而另一種數(shù)據(jù)模態(tài)描述了與當(dāng)前任務(wù)直接相關(guān)的狀態(tài)信息，后者對應(yīng)于無人機(jī)坐標(biāo)框架中定義的下一個(gè)門的相對姿勢。研究人員通過擴(kuò)展 CM-VAE 框架，得到了一種低維的潛在環(huán)境表征。該框架為每個(gè)數(shù)據(jù)模態(tài)使用一個(gè)編碼器 -?解碼器對（encoder-decoder pair），同時(shí)壓縮與單個(gè)潛在空間之間的所有輸入和輸出（圖 b）。該系統(tǒng)將有標(biāo)記和無標(biāo)記的數(shù)據(jù)模式自然地納入潛在變量的訓(xùn)練過程，然后使用模仿學(xué)習(xí)訓(xùn)練一種深度控制策略，將潛在變量映射到無人機(jī)的速度命令中（圖 a）。

圖 | a. 控制系統(tǒng)架構(gòu)。來自無人機(jī)的視頻的輸入圖像被編碼到一種潛在的環(huán)境表征中。一個(gè)控制策略作用于低維嵌入，以輸出所需的機(jī)器人控制命令。b. 跨模態(tài) VAE 架構(gòu)。每個(gè)數(shù)據(jù)樣本被編碼成單獨(dú)的潛在空間中，這個(gè)潛在空間可以被解碼成圖像，或者轉(zhuǎn)換成另一種數(shù)據(jù)模態(tài)，比如門相對于無人機(jī)的姿態(tài)。

該系統(tǒng)的感知模塊將輸入圖像壓縮到上述的低維表示中，從 27,648 個(gè)變量下降到可以描述它的最基本的 10 個(gè)變量。解碼后的圖像提供了無人機(jī)可以看到的前方情況的描述，包括所有可能的門的大小和位置，以及其它不同的背景信息。

圖 | 由跨模態(tài)表示生成的虛化圖像的可視化，解碼后的圖像直接捕捉到門對應(yīng)的背景信息

研究人員在 45 米長的帶有門的 S 形軌道和 40 米長的帶有不同門的圓形軌道上，分別測試了這個(gè)系統(tǒng)的能力。他們表示，使用 CM-VAE 的效果明顯優(yōu)于直接編碼下一位置的端到端 AI 策略，即使背景存在 “強(qiáng)烈” 的視覺干擾，無人機(jī)還是通過使用跨模態(tài)感知模塊成功完成了任務(wù)。

圖 | 45 米長的 S 形軌道和 40 米長的圓形軌道

研究人員表示，這些結(jié)果顯示了該系統(tǒng)在現(xiàn)實(shí)世界應(yīng)用的 “巨大潛力”。比如，盡管存在年齡、體型、性別和種族差異，該系統(tǒng)可能幫助自主搜索和救援機(jī)器人更好地識別人類，從而讓機(jī)器人有更好的機(jī)會識別和找回需要幫助的人。

不完美的實(shí)驗(yàn)

盡管無人機(jī)的實(shí)驗(yàn)結(jié)果著實(shí)令人興奮。但研究人員表示，他們在實(shí)驗(yàn)中遇到了一個(gè)意想不到的結(jié)果，即將未標(biāo)記的真實(shí)世界數(shù)據(jù)與標(biāo)記的模擬數(shù)據(jù)結(jié)合起來訓(xùn)練表征模型，并沒有提高整體性能，只使用模擬數(shù)據(jù)效果更好。

對此，他們認(rèn)為，未來工作的一個(gè)有趣的方向是使用對抗性技術(shù)來降低由模擬和真實(shí)圖像編碼的相似場景之間的潛在空間距離，這將降低訓(xùn)練和測試階段數(shù)據(jù)分布的差異。此外，研究人員設(shè)想擴(kuò)展使用無標(biāo)簽數(shù)據(jù)進(jìn)行策略學(xué)習(xí)的方法。比如，除了圖像之外，是否可以結(jié)合不同的數(shù)據(jù)模式（激光測量、甚至聲音）來學(xué)習(xí)如何對環(huán)境進(jìn)行表征。

盡管還存在一些問題，但無人機(jī)實(shí)驗(yàn)的成功證明了這種方法具有應(yīng)用于其他真實(shí)機(jī)器人任務(wù)的巨大潛力，其他機(jī)器人同樣需要類似的能力來實(shí)現(xiàn)實(shí)時(shí)解釋輸入，并在確保安全操作的同時(shí)做出正確決策。