中圖分類 TP183：人工神經(jīng)網(wǎng)絡(luò)與計(jì)算

貴州大學(xué)李少波等人在《電子與信息學(xué)報(bào)》發(fā)表最新論文：

具有正則化約束的脈沖神經(jīng)網(wǎng)絡(luò)機(jī)器人觸覺物體識(shí)別方法 >>

文章提出了一種基于觸覺的機(jī)器人物體識(shí)別方法，針對(duì)脈沖神經(jīng)網(wǎng)絡(luò)中神經(jīng)元脈沖活動(dòng)離散性導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過程反向傳播失效問題，引入脈沖活動(dòng)近似函數(shù)；

針對(duì)過擬合問題，融合正則化方法加以緩解。實(shí)驗(yàn)分析表明了正則化模型的觸覺物體識(shí)別率有顯著提升。

總體而言，該文工作具有較好的創(chuàng)新性和學(xué)術(shù)價(jià)值。

背 景

物體感知是智能機(jī)器人的基本技能，是執(zhí)行任務(wù)的基礎(chǔ)。隨著機(jī)器人智能化的快速發(fā)展，機(jī)器人具備了語言識(shí)別與理解、計(jì)算機(jī)視覺等功能。

此外，時(shí)下大部分機(jī)器人沒有觸覺感知能力，更沒有像人類一樣使用觸覺去感知不同物體的能力，而觸覺傳感器能夠提供溫度、粗糙度、壓力等視覺與聽覺無法提供的信息，能夠輔助智能機(jī)器人適應(yīng)更多工作場(chǎng)景。

因此研究機(jī)器人觸覺感知方法對(duì)促進(jìn)智能機(jī)器人擁有與人類相似的觸覺感知能力具有重要意義。

圖1 機(jī)器人觸覺系統(tǒng)

脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Network，SNN）受人類神經(jīng)元工作方式啟發(fā)，通過時(shí)空動(dòng)力學(xué)模仿人類神經(jīng)行為，并使用二進(jìn)制脈沖信號(hào)在神經(jīng)元之間進(jìn)行通信，在生物學(xué)設(shè)計(jì)上也更加合理。并且脈沖神經(jīng)網(wǎng)絡(luò)能夠應(yīng)用于神經(jīng)擬態(tài)芯片上，能夠更快地處理AI任務(wù)，帶來更高的能效。

然而，相較于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)，SNN的神經(jīng)元之間由于通過離散的二進(jìn)制信號(hào)0或1傳遞信息，這導(dǎo)致了在采用反向傳播完成參數(shù)更新時(shí)，梯度下降法的失效。

此外，模型訓(xùn)練需要大量的數(shù)據(jù)樣本支撐，以得到更優(yōu)的網(wǎng)絡(luò)參數(shù)。而現(xiàn)有機(jī)器人觸覺脈沖數(shù)據(jù)樣本較少，如何緩解數(shù)據(jù)量較少導(dǎo)致的過擬合問題得到更優(yōu)的網(wǎng)絡(luò)性能，也是挑戰(zhàn)之一。

為應(yīng)對(duì)以上挑戰(zhàn)，貴州大學(xué)李少波、楊靜、吉曉陽等人及其合作團(tuán)隊(duì)提出了一種具有正則化約束的脈沖神經(jīng)網(wǎng)絡(luò)機(jī)器人觸覺物體識(shí)別方法：

首先，作者分析了SNN神經(jīng)元與脈沖活動(dòng)之間的關(guān)系，并通過脈沖活動(dòng)的近似函數(shù)緩解梯度下降法在反向傳播中的失效問題。

進(jìn)一步地，提出了一種具有正則化約束的脈沖神經(jīng)網(wǎng)絡(luò)機(jī)器人觸覺物體識(shí)別方法，緩解模型的過擬合問題，提升SNN網(wǎng)絡(luò)模型的魯棒性。

實(shí)驗(yàn)結(jié)果顯示，該文方法提出的SnnTd正則化方法觸覺物體識(shí)別率在EvTouch-Containers數(shù)據(jù)集上比最好方法TactileSGNet提升了5.00%，SnnTdlc正則化方法觸覺物體識(shí)別率在EvTouch-Objects數(shù)據(jù)集上則提升了3.16%。

研究方法

(1) SNN的反向傳播

根據(jù)SNN的預(yù)測(cè)結(jié)果，計(jì)算網(wǎng)絡(luò)輸出與標(biāo)簽之間誤差平方和的均值，即網(wǎng)絡(luò)模型損失函數(shù)L在時(shí)間窗口T內(nèi)平均投票結(jié)果的均方誤差

其中S為觸覺數(shù)據(jù)訓(xùn)練樣本的總量，是第s個(gè)觸覺數(shù)據(jù)樣本的標(biāo)簽，是輸出層的結(jié)果。對(duì)于標(biāo)簽為的訓(xùn)練樣本，觸覺模型理想情況是代表第類的神經(jīng)元具有最高的輸出值。

圖2 脈沖神經(jīng)網(wǎng)絡(luò)的空域和時(shí)域傳播過程

從圖2可以看出，神經(jīng)元前向傳播中，第n層神經(jīng)元膜電位由空域中第n-1層神經(jīng)元的輸出脈沖，以及時(shí)域中第n層神經(jīng)元t-1時(shí)刻的神經(jīng)元膜電位共同決定。

而在反向傳播過程中，第n層神經(jīng)元膜電位在空域上影響第n-1層神經(jīng)元的輸出脈沖，在時(shí)域上影響第n層神經(jīng)元t-1時(shí)刻的神經(jīng)元膜電位。

綜上，通過復(fù)合函數(shù)的鏈?zhǔn)椒▌t得到損失函數(shù)L與權(quán)重w、偏置b之間的關(guān)系：

其中，表示t時(shí)刻第n層脈沖神經(jīng)元的膜電位，表示t時(shí)刻第n層是否產(chǎn)生脈沖，若產(chǎn)生脈沖，，否則。

采用連續(xù)函數(shù)模擬脈沖活動(dòng)的反向傳播，使得梯度下降法有效，即

(2) 正則化約束

Dropout正則化方法通過隨機(jī)丟棄神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)層上的神經(jīng)元，構(gòu)建不同的訓(xùn)練子網(wǎng)絡(luò)，使每次訓(xùn)練時(shí)采用的網(wǎng)絡(luò)不相同，這類似于在模型中加入高斯噪聲，間接使得模型接收到不同的輸入數(shù)據(jù)，緩解數(shù)據(jù)量少的問題，進(jìn)而使模型的過擬合問題得到緩解。將Dropout方法引入脈沖神經(jīng)網(wǎng)絡(luò)，通過隨機(jī)丟棄LIF神經(jīng)元，提升神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)能力。圖3展示了LIF神經(jīng)元的Dropout工作方式。

圖3 LIF神經(jīng)元中的Dropout

L2權(quán)重衰減是通過限制權(quán)重的選擇范圍控制模型參數(shù)容量，在一定程度上緩解模型的過擬合問題，通過結(jié)合Adam優(yōu)化算法以及余弦退火算法，作者提出具有L2正則化約束的脈沖神經(jīng)網(wǎng)絡(luò)機(jī)器人觸覺物體識(shí)別算法。

實(shí)驗(yàn)分析

該文考慮了2個(gè)不同的觸覺脈沖數(shù)據(jù)集，并在每個(gè)數(shù)據(jù)集上進(jìn)行了80次實(shí)驗(yàn)，每組實(shí)驗(yàn)重復(fù)10次。