據(jù)國(guó)外媒體報(bào)道，微軟的體感套件Kinect是一個(gè)潛力無(wú)限的設(shè)備，微軟研究中心正在進(jìn)行的一個(gè)研究項(xiàng)目就希望用Kinect進(jìn)行口語(yǔ)和手語(yǔ)的實(shí)時(shí)互譯。

微軟研究中心推出的Kinect手語(yǔ)翻譯器(Kinect Sign Language Translator)可以將手語(yǔ)和口語(yǔ)進(jìn)行互譯，而且是實(shí)時(shí)進(jìn)行。

簡(jiǎn)而言之，Kinect進(jìn)行捕捉動(dòng)作，之后靠機(jī)器學(xué)習(xí)和模式識(shí)別程序解析出這些動(dòng)作的含義，Bing Translator技術(shù)則負(fù)責(zé)實(shí)際的翻譯工作。當(dāng)一個(gè)聾啞人用手語(yǔ)和一個(gè)說(shuō)口語(yǔ)的正常人進(jìn)行對(duì)話時(shí)，這套系統(tǒng)可以捕捉交談雙方的對(duì)話內(nèi)容，視覺(jué)型號(hào)被轉(zhuǎn)換成書面文字，而口語(yǔ)則被實(shí)時(shí)翻譯并轉(zhuǎn)換成精準(zhǔn)的視覺(jué)信號(hào)。

這絕對(duì)是一項(xiàng)偉大的成就，不過(guò)這項(xiàng)研究還有很長(zhǎng)的路要走。目前單單建立一個(gè)單詞的模式識(shí)別程序就需要整整五位研究人員的工作。目前為止，研究人員僅僅添加了300個(gè)中國(guó)手語(yǔ)單詞，而中國(guó)手語(yǔ)的單詞總數(shù)約有4000個(gè)。

吳國(guó)斌(音譯)是Kinect手語(yǔ)翻譯器項(xiàng)目的項(xiàng)目經(jīng)理，他表示識(shí)別部分目前是該項(xiàng)目最具挑戰(zhàn)性的地方。此前項(xiàng)目組曾嘗試過(guò)數(shù)據(jù)手套和網(wǎng)絡(luò)攝像頭，最終還是Kinect更適用于這一項(xiàng)目。

吳國(guó)斌表示，在中國(guó)有超過(guò)2000萬(wàn)有聽力障礙的人，在全世界則有3.6億有聽力障礙的人。如果該項(xiàng)目的研究成果能正式面世，那么對(duì)于這些人無(wú)疑是一個(gè)福音。