人工智能,簡(jiǎn)稱AI。它是研究、開(kāi)發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的技術(shù)科學(xué)。智東西5月9日消息，近日，谷歌旗下AI企業(yè)DeepMind和哈佛大學(xué)的研究人員用AI技術(shù)創(chuàng)造出一只虛擬3D老鼠，這只老鼠能夠完成跳躍、覓食、逃跑、擊球等多項(xiàng)復(fù)雜任務(wù)。這項(xiàng)研究或有助于增進(jìn)人類對(duì)生物神經(jīng)系統(tǒng)的理解。

在生物科學(xué)領(lǐng)域，神經(jīng)活動(dòng)與動(dòng)物行為之間的關(guān)系一直是一個(gè)未解之謎。許多研究人員認(rèn)為AI技術(shù)是解答這個(gè)疑問(wèn)的金鑰匙，這是因?yàn)锳I技術(shù)的靈感正是來(lái)自于人腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

這一點(diǎn)從名字上也可以看出來(lái)，比如，AI技術(shù)是由人工“神經(jīng)網(wǎng)絡(luò)”來(lái)驅(qū)動(dòng)的，機(jī)器學(xué)習(xí)算法的組成部件則被稱為“神經(jīng)元”。

但是，由于運(yùn)動(dòng)控制的復(fù)雜性，之前的研究大多聚焦于單一、簡(jiǎn)單的動(dòng)作，并沒(méi)有針對(duì)更復(fù)雜、多樣的動(dòng)作進(jìn)行研究。DeepMind和哈佛大學(xué)的研究人員認(rèn)為：如果用AI技術(shù)模擬出一個(gè)虛擬生物，就可以更簡(jiǎn)便地觀察生物做復(fù)雜動(dòng)作時(shí)的神經(jīng)活動(dòng)、降低研究的難度。

基于這個(gè)設(shè)想，研究人員設(shè)計(jì)出了一只虛擬3D老鼠。

這項(xiàng)研究在4月26日至5月1日舉行的國(guó)際學(xué)習(xí)表征會(huì)議(ICLR)上發(fā)表。ICLR是每年舉行的機(jī)器學(xué)習(xí)會(huì)議，采用開(kāi)放式同行評(píng)審的方式審閱論文。

論文題目為《虛擬嚙齒動(dòng)物的深層神經(jīng)行為學(xué)(Deep neuroethology of a virtual rodent)》。

論文鏈接：https://openreview.net/attachment?id=SyxrxR4KPS&name=original_pdf

一、虛擬老鼠與真鼠生物學(xué)特征相同，能做4種復(fù)雜動(dòng)作

研究人員利用物理模擬器MuJoCo創(chuàng)建模型。為了使虛擬老鼠盡可能地仿真，研究人員設(shè)計(jì)該模型擁有與真實(shí)老鼠相同的生物學(xué)特征：身體有38個(gè)等級(jí)的自由度，尾巴、脊柱、脖子由關(guān)節(jié)組成，利用肌腱控制關(guān)節(jié)。

虛擬老鼠與真鼠生物學(xué)特征相同

研究人員計(jì)劃使虛擬老鼠完成4種復(fù)雜動(dòng)作，分別是：A.跳過(guò)地表縫隙(gaps run)、B.在迷宮中覓食(maze forage)、C.逃離丘陵環(huán)境(bowl escape)、D.前爪按照固定頻率觸球兩次(two-tap)。

虛擬老鼠能做4種復(fù)雜動(dòng)作

為了達(dá)到這一目的，研究人員訓(xùn)練了一個(gè)多任務(wù)策略(Multi-Task Policy)。通過(guò)一個(gè)殘差網(wǎng)絡(luò)(Residual Network)，以自我為中心的視覺(jué)圖像被編碼為特征。通過(guò)一個(gè)多層感知器(Multi-Layer Perceptron)，本體感受狀態(tài)觀察也被編碼。

這些特征被傳遞到循環(huán)長(zhǎng)短期記憶(recurrent LSTM)模塊中。訓(xùn)練過(guò)程中，核心模塊用反向傳播算法(BP，Backpropogation)進(jìn)行訓(xùn)練。核心模塊的輸出也作為特征傳遞給策略模塊。策略模塊由一個(gè)或多個(gè)LSTM模塊堆疊而成。

短時(shí)間尺度上，虛擬老鼠借助一組制動(dòng)器來(lái)驅(qū)動(dòng)關(guān)節(jié)、產(chǎn)生移動(dòng)。在更長(zhǎng)的時(shí)間尺度上，虛擬老鼠的關(guān)節(jié)移動(dòng)被組織成協(xié)調(diào)的、重復(fù)的，這樣就實(shí)現(xiàn)了奔跑、跳躍、轉(zhuǎn)彎等動(dòng)作。

二、研究4種復(fù)雜動(dòng)作對(duì)應(yīng)的神經(jīng)活動(dòng)

模型制作好后，研究人員開(kāi)始研究虛擬老鼠的神經(jīng)活動(dòng)。

1、找到虛擬老鼠行為對(duì)應(yīng)的神經(jīng)區(qū)域

首先，研究人員試圖找到虛擬老鼠不同行為與特定大腦神經(jīng)區(qū)域之間的對(duì)應(yīng)關(guān)系。

為了便于觀察和記錄，研究人員從虛擬老鼠的動(dòng)作中提取出特征。

研究人員按照動(dòng)物行為學(xué)方法，提取虛擬老鼠的兩組行為特征：第一組采用一種行為映射方法，提取老鼠運(yùn)動(dòng)時(shí)最常用到的關(guān)節(jié)角度，生成一組描述虛擬老鼠姿態(tài)和運(yùn)動(dòng)學(xué)特性的特征。第二組提取老鼠運(yùn)動(dòng)時(shí)最常出現(xiàn)的15個(gè)關(guān)節(jié)角度及相應(yīng)姿勢(shì)，由此產(chǎn)生行為特征。

然后，研究人員用T-分布鄰域嵌入算法(t-SNE)，把老鼠行為特征嵌入2D。

接下來(lái)，研究人員分別在1～25Hz時(shí)間尺度、0.3～5Hz時(shí)間尺度、5～25Hz時(shí)間尺度上劃分出25個(gè)尺度，計(jì)算這兩組行為特征的莫萊小波(Morlet wavelet)變換的15個(gè)最重要的特征。這產(chǎn)生了描述虛擬老鼠姿勢(shì)和運(yùn)動(dòng)學(xué)特征的60維特征集。

嵌入2D后，研究人員制作出一張?zhí)摂M行為“地圖”，虛擬老鼠的行為被劃分到對(duì)應(yīng)的大腦神經(jīng)區(qū)域。這反映了一些行為(跳躍、奔跑、攀爬等)與神經(jīng)網(wǎng)絡(luò)的關(guān)系結(jié)構(gòu)。

2、核心層、策略層各有分工

除了行為參數(shù)，研究人員還測(cè)量和分析了每層架構(gòu)中長(zhǎng)短期記憶(LSTM)細(xì)胞的神經(jīng)活動(dòng)。

為了進(jìn)一步找出核心層和策略層分別負(fù)責(zé)編碼哪些行為，研究人員使用了代表性的相似性分析(representational similarity analysis)。代表性的相似性分析可以提供一個(gè)整體性的測(cè)量標(biāo)準(zhǔn)，幫助研究人員發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)如何編碼行為特征以及這種編碼在不同層級(jí)中如何變化。

分析結(jié)果顯示，任務(wù)執(zhí)行期間，核心層與策略層在不同的時(shí)間尺度上運(yùn)作。

核心層通常在1～10秒的時(shí)間范圍內(nèi)運(yùn)作，更多用于編碼慢動(dòng)作的行為特征，這可能說(shuō)明了核心層與情景和獎(jiǎng)勵(lì)等變量相關(guān)。

策略層通常在亞秒級(jí)別等時(shí)間尺度上運(yùn)作，更多用于編碼快速動(dòng)作的行為特征，這可能說(shuō)明了策略層負(fù)責(zé)即時(shí)動(dòng)作的編碼。

為了研究出神經(jīng)網(wǎng)絡(luò)如何編碼出完成不同任務(wù)所需的動(dòng)作，研究人員分析了核心層、策略層在不同任務(wù)中的變化。使用多維標(biāo)度(MDS，multidimensional scaling)將虛擬老鼠活動(dòng)嵌入二維。

結(jié)果顯示，核心層在不同任務(wù)中的表現(xiàn)有較大不同，策略層在不同任務(wù)中的表現(xiàn)有較多重疊。

虛擬老鼠為神經(jīng)網(wǎng)絡(luò)研究帶來(lái)了更多可能性，還有助于提升AI技術(shù)水平。這項(xiàng)研究的論文合著者杰西·馬歇爾(Jesse Marshall)說(shuō)：“這篇論文是我們了解大腦如何靈活處理任務(wù)的開(kāi)始，通過(guò)獲得的知識(shí)，我們也可以設(shè)計(jì)出具有類似能力的人工代理?！?

但另一位研究者斯科特認(rèn)為，在實(shí)際操作層面上還有一些問(wèn)題亟待解決?！霸谶@么復(fù)雜的任務(wù)中收集動(dòng)物的神經(jīng)數(shù)據(jù)是十分困難的?！彼f(shuō)。

用虛擬老鼠的神經(jīng)活動(dòng)模式與其他真實(shí)動(dòng)物的模式相比較，測(cè)試兩種神經(jīng)模式分化源頭，這是目前研究人員在實(shí)驗(yàn)室環(huán)境中的測(cè)試。