12月初的世界互聯(lián)網(wǎng)大會(huì)上，搜狗發(fā)布了一項(xiàng)“唇語識(shí)別”技術(shù)。唇語識(shí)別，簡(jiǎn)單說就是通過圖像識(shí)別你的口型，轉(zhuǎn)寫出你說的內(nèi)容。

在國(guó)外的技術(shù)界，2016年谷歌和牛津大學(xué)的深度學(xué)習(xí)項(xiàng)目組曾經(jīng)共同研發(fā)唇語識(shí)別技術(shù)，在那一年的視頻節(jié)目測(cè)試中，機(jī)器唇語識(shí)別的準(zhǔn)確率達(dá)到46.8%，高于人類唇語專家12.4%的識(shí)別率。今年3月，數(shù)據(jù)可視化服務(wù)商海云數(shù)據(jù)也發(fā)布了類似的唇語識(shí)別技術(shù)。

放在以往，閱讀唇語這件事在人們印象中，多是小說里武俠和特工的特異功能。但當(dāng)我們要用機(jī)器解決這個(gè)問題，就意味著它有足夠的商業(yè)空間，讓公司樂于把它批量的大規(guī)模應(yīng)用，做成產(chǎn)品。那么機(jī)器讀唇究竟有什么應(yīng)用價(jià)值?

接受36氪采訪時(shí)搜狗語音交互中心技術(shù)總監(jiān)陳偉表示，目前唇語識(shí)別的落地場(chǎng)景主要有兩種：其一，在多數(shù)語言場(chǎng)景下，攝像頭的覆蓋率遠(yuǎn)遠(yuǎn)高于麥克風(fēng)，但通過攝像頭獲得的是圖像數(shù)據(jù)，目前主要用于監(jiān)控簡(jiǎn)單的行為，但很難知道例如安防這類場(chǎng)景中圖像中的人物在說什么，使用唇語識(shí)別技術(shù)就可以通過嘴的動(dòng)作獲取大量?jī)?nèi)容信息。

其二，唇語識(shí)別可以作為輔助技術(shù)，提升語音識(shí)別技術(shù)現(xiàn)階段的準(zhǔn)確率。搜狗的唇語識(shí)別技術(shù)目前在開放的口語測(cè)試級(jí)上可以達(dá)到50%-60%的準(zhǔn)確率，在限定場(chǎng)景中可以達(dá)到90%。這個(gè)數(shù)字對(duì)于現(xiàn)階段的唇語識(shí)別技術(shù)而言，是不錯(cuò)的水準(zhǔn)，但對(duì)于商用尚欠火候。畢竟各家大廠語音識(shí)別準(zhǔn)確率普遍達(dá)到97%后，依舊不能令消費(fèi)者完全滿意。不過唇語識(shí)別可以作為語音識(shí)別的輔助技術(shù)出現(xiàn)，比如去彌合97%的語音識(shí)別率剩余那3%的臺(tái)階。

“提升語音識(shí)別的準(zhǔn)確率需要降低噪音，行業(yè)內(nèi)有兩條路在走，一條是通過麥克風(fēng)陣列等硬件方式做音頻信號(hào)的增強(qiáng)，屏蔽噪音，另一條是加入‘多模態(tài)信息’，就比如唇語識(shí)別提供的視覺信息。”陳偉解釋稱。

以下是采訪內(nèi)容：

問：相比麥克風(fēng)陣列提升語音識(shí)別準(zhǔn)確率，用唇語識(shí)別技術(shù)去解決，在技術(shù)上的提升空間是否更大?現(xiàn)實(shí)落地中是否面臨增加攝像頭會(huì)增加成本的問題?

陳偉：我們做的事情不是說馬上就要落地，對(duì)現(xiàn)階段來說，我認(rèn)為麥克風(fēng)陣列依然比唇語更靠譜，解決噪聲的問題，落地的速度上，麥克風(fēng)序列都已經(jīng)是落地的階段了，而唇語陣列剛剛研發(fā)完成了第一步，后面要跟音頻做一些結(jié)合做一些進(jìn)一步降噪的工作，所以這個(gè)事面向的時(shí)間段是不一樣的，就是可能可是當(dāng)前的，但是唇語可能是明年，我們計(jì)劃在一年內(nèi)有一些落地的項(xiàng)目在做。

在噪聲的環(huán)境下，語音識(shí)別的可能不準(zhǔn)確率不止3%，甚至在40%、50%或0。這種情況下“唇語識(shí)別”比麥克風(fēng)識(shí)別強(qiáng)，假如說聲音非常的嘈雜，麥克風(fēng)陣列就算加了一些硬件也解決不了這個(gè)問題，有它的一些局限性在，但是唇語相當(dāng)于繞過了噪聲，通過視覺的方式來解決。

問：現(xiàn)在唇語識(shí)別最剛需的場(chǎng)景是什么?

陳偉：安防其實(shí)也很剛需，我們現(xiàn)在花很多的精力去解決噪聲問題，關(guān)于成本，其實(shí)加一個(gè)攝像頭不及加一個(gè)麥克風(fēng)陣列的成本高。

問：唇語識(shí)別會(huì)涉及到用戶隱私方面的限制嗎?

陳偉：目前的狀態(tài)還沒有到那個(gè)階段，我們還在探索這件事能和哪些剛需場(chǎng)景結(jié)合在一起。

問：“唇語識(shí)別”未來的應(yīng)用前景會(huì)有哪些?

陳偉：未來唇語可以放在安防，還有助殘上面，甚至對(duì)一些早期陌生的電影，以前的電影里面，就像卓別林的很多的電影沒有聲音，能不能給它配字幕，有很多新的東西，就是能不能從一個(gè)人的唇動(dòng)把字讀出來，目前做的事很局限，我們限定在一些交互的剛需場(chǎng)景里面，所以在這些特定的剛需場(chǎng)景里面我們想把它放進(jìn)去，未來像我們車載、家居、機(jī)器人倒推唇語怎么跟它結(jié)合，但是并不是限定在這些場(chǎng)景。

問：你提到在限定場(chǎng)景唇語識(shí)別的準(zhǔn)確率能達(dá)到90%?

陳偉：這個(gè)是沒有問題的，因?yàn)樵谙薅▓?chǎng)景下，比如說我們現(xiàn)在有一個(gè)集合，我們可以對(duì)語音做一些增強(qiáng)，這樣的話準(zhǔn)確率高很多，因?yàn)槲覀冇?0萬詞，可能和垂直場(chǎng)景下幾千詞的交流這不是一個(gè)量級(jí)。

比如說在車?yán)锩妫瑔?dòng)音樂它的準(zhǔn)確率就很高，因?yàn)樵谔囟ǖ募侠锩妫覀冇?000多個(gè)命令詞，包括古詩和繞口令。這不是一個(gè)寫死的狀態(tài)，而是一個(gè)可以靈活操作的事情，而且這件事情其實(shí)是可以依賴任務(wù)去定制的，我們這個(gè)技術(shù)是通用的技術(shù)而不是限定的場(chǎng)景。

問：你覺得做這個(gè)過程的中最大的難點(diǎn)是什么?

陳偉：其實(shí)是泛化性。因?yàn)槲覀冎暗臄?shù)據(jù)都是來自網(wǎng)上爬取的新聞?lì)惖墓?jié)目，篩訊的都是類似主持人這樣的，因?yàn)樗麄兪墙?jīng)過標(biāo)準(zhǔn)訓(xùn)練的人群，唇型的發(fā)音是標(biāo)準(zhǔn)的，但是很多普通人發(fā)音是不標(biāo)準(zhǔn)的。如果發(fā)音標(biāo)準(zhǔn)的主持人(識(shí)別準(zhǔn)確率)是60%，但是普通人的話像我們之前的那個(gè)階段可能就20%、30%，我們后來針對(duì)這個(gè)問題去錄制了很多的普通人的一些數(shù)據(jù)，把這樣的數(shù)據(jù)加進(jìn)來之后，在普通人的泛化性上得到很大的提升。