12月初的世界互聯(lián)網(wǎng)大會上，搜狗發(fā)布了一項“唇語識別”技術(shù)。唇語識別，簡單說就是通過圖像識別你的口型，轉(zhuǎn)寫出你說的內(nèi)容。

在國外的技術(shù)界，2016年谷歌和牛津大學的深度學習項目組曾經(jīng)共同研發(fā)唇語識別技術(shù)，在那一年的視頻節(jié)目測試中，機器唇語識別的準確率達到46.8%，高于人類唇語專家12.4%的識別率。今年3月，數(shù)據(jù)可視化服務商海云數(shù)據(jù)也發(fā)布了類似的唇語識別技術(shù)。

放在以往，閱讀唇語這件事在人們印象中，多是小說里武俠和特工的特異功能。但當我們要用機器解決這個問題，就意味著它有足夠的商業(yè)空間，讓公司樂于把它批量的大規(guī)模應用，做成產(chǎn)品。那么機器讀唇究竟有什么應用價值?

接受36氪采訪時搜狗語音交互中心技術(shù)總監(jiān)陳偉表示，目前唇語識別的落地場景主要有兩種：其一，在多數(shù)語言場景下，攝像頭的覆蓋率遠遠高于麥克風，但通過攝像頭獲得的是圖像數(shù)據(jù)，目前主要用于監(jiān)控簡單的行為，但很難知道例如安防這類場景中圖像中的人物在說什么，使用唇語識別技術(shù)就可以通過嘴的動作獲取大量內(nèi)容信息。

其二，唇語識別可以作為輔助技術(shù)，提升語音識別技術(shù)現(xiàn)階段的準確率。搜狗的唇語識別技術(shù)目前在開放的口語測試級上可以達到50%-60%的準確率，在限定場景中可以達到90%。這個數(shù)字對于現(xiàn)階段的唇語識別技術(shù)而言，是不錯的水準，但對于商用尚欠火候。畢竟各家大廠語音識別準確率普遍達到97%后，依舊不能令消費者完全滿意。不過唇語識別可以作為語音識別的輔助技術(shù)出現(xiàn)，比如去彌合97%的語音識別率剩余那3%的臺階。

“提升語音識別的準確率需要降低噪音，行業(yè)內(nèi)有兩條路在走，一條是通過麥克風陣列等硬件方式做音頻信號的增強，屏蔽噪音，另一條是加入‘多模態(tài)信息’，就比如唇語識別提供的視覺信息。”陳偉解釋稱。

以下是采訪內(nèi)容：

問：相比麥克風陣列提升語音識別準確率，用唇語識別技術(shù)去解決，在技術(shù)上的提升空間是否更大?現(xiàn)實落地中是否面臨增加攝像頭會增加成本的問題?

陳偉：我們做的事情不是說馬上就要落地，對現(xiàn)階段來說，我認為麥克風陣列依然比唇語更靠譜，解決噪聲的問題，落地的速度上，麥克風序列都已經(jīng)是落地的階段了，而唇語陣列剛剛研發(fā)完成了第一步，后面要跟音頻做一些結(jié)合做一些進一步降噪的工作，所以這個事面向的時間段是不一樣的，就是可能可是當前的，但是唇語可能是明年，我們計劃在一年內(nèi)有一些落地的項目在做。

在噪聲的環(huán)境下，語音識別的可能不準確率不止3%，甚至在40%、50%或0。這種情況下“唇語識別”比麥克風識別強，假如說聲音非常的嘈雜，麥克風陣列就算加了一些硬件也解決不了這個問題，有它的一些局限性在，但是唇語相當于繞過了噪聲，通過視覺的方式來解決。

問：現(xiàn)在唇語識別最剛需的場景是什么?

陳偉：安防其實也很剛需，我們現(xiàn)在花很多的精力去解決噪聲問題，關(guān)于成本，其實加一個攝像頭不及加一個麥克風陣列的成本高。

問：唇語識別會涉及到用戶隱私方面的限制嗎?

陳偉：目前的狀態(tài)還沒有到那個階段，我們還在探索這件事能和哪些剛需場景結(jié)合在一起。

問：“唇語識別”未來的應用前景會有哪些?

陳偉：未來唇語可以放在安防，還有助殘上面，甚至對一些早期陌生的電影，以前的電影里面，就像卓別林的很多的電影沒有聲音，能不能給它配字幕，有很多新的東西，就是能不能從一個人的唇動把字讀出來，目前做的事很局限，我們限定在一些交互的剛需場景里面，所以在這些特定的剛需場景里面我們想把它放進去，未來像我們車載、家居、機器人倒推唇語怎么跟它結(jié)合，但是并不是限定在這些場景。

問：你提到在限定場景唇語識別的準確率能達到90%?

陳偉：這個是沒有問題的，因為在限定場景下，比如說我們現(xiàn)在有一個集合，我們可以對語音做一些增強，這樣的話準確率高很多，因為我們有10萬詞，可能和垂直場景下幾千詞的交流這不是一個量級。

比如說在車里面，啟動音樂它的準確率就很高，因為在特定的集合里面，我們有1000多個命令詞，包括古詩和繞口令。這不是一個寫死的狀態(tài)，而是一個可以靈活操作的事情，而且這件事情其實是可以依賴任務去定制的，我們這個技術(shù)是通用的技術(shù)而不是限定的場景。

問：你覺得做這個過程的中最大的難點是什么?

陳偉：其實是泛化性。因為我們之前的數(shù)據(jù)都是來自網(wǎng)上爬取的新聞類的節(jié)目，篩訊的都是類似主持人這樣的，因為他們是經(jīng)過標準訓練的人群，唇型的發(fā)音是標準的，但是很多普通人發(fā)音是不標準的。如果發(fā)音標準的主持人(識別準確率)是60%，但是普通人的話像我們之前的那個階段可能就20%、30%，我們后來針對這個問題去錄制了很多的普通人的一些數(shù)據(jù)，把這樣的數(shù)據(jù)加進來之后，在普通人的泛化性上得到很大的提升。