谷歌人工智能小組DeepMind研發(fā)“讀唇”軟件 毫不遜色于人類
谷歌(微博)人工智能部門DeepMind正與牛津大學(xué)研究人員合作,希望開發(fā)出全球最先進(jìn)的“讀唇”軟件,可能比人類的“讀唇”能力還要出色。
為實(shí)現(xiàn)這一目標(biāo),研究人員選取了數(shù)千個(gè)小時(shí)的BBC電視短片,上傳到一個(gè)神經(jīng)網(wǎng)絡(luò)上,對(duì)其“讀唇”軟件進(jìn)行訓(xùn)練,即根據(jù)主播嘴部運(yùn)動(dòng)來識(shí)別其播報(bào)內(nèi)容。
結(jié)果,這款“讀唇”軟件的唇讀準(zhǔn)確率高達(dá)46.8%。相比之下,基于同樣的測試內(nèi)容,人類唇讀的準(zhǔn)確率只有12.4%。
這項(xiàng)研究基于牛津大學(xué)之前的一款人工智能“讀唇”系統(tǒng)“LipNet”。LipNet能將視頻中人物的嘴部運(yùn)動(dòng)與其臺(tái)詞進(jìn)行匹配,準(zhǔn)確率高達(dá)93.4%。當(dāng)然,該準(zhǔn)確率主要基于一些相對(duì)簡單的句子。
DeepMind這款“讀唇”軟件名為“看、聽、分析與拼寫”(Watch, Listen, Attend, and Spell),與LipNet不同的是,DeepMind的軟件致力于更難的長句。
為此,谷歌神經(jīng)網(wǎng)絡(luò)觀看了來自BBC的約5000個(gè)小時(shí)的流行電視節(jié)目,包括《晚間新聞》和《提問時(shí)間》和《今日世界》等,共包含了11萬個(gè)不同的句子,1.75萬個(gè)不同的單詞。相比之下,測試LipNet的句子只包含了51個(gè)不同的單詞。
谷歌對(duì)此表示:“這項(xiàng)研究的目的是識(shí)別人們談話時(shí)的短語和句子,有聲音或沒有聲音都能識(shí)別。與之前的相關(guān)研究不同,它們僅限于有限數(shù)量的單詞或短語,而我們的研究針對(duì)無限制的自然語言長句。”
DeepMind團(tuán)隊(duì)認(rèn)為,他們新開發(fā)的這款軟件除了能幫助聽力損傷人群,還支持其他一系列應(yīng)用,包括注釋電影、利用唇部動(dòng)作與Siri和Alexa等數(shù)字助理通信等。