這項(xiàng)研究成果于 4 月 24 日發(fā)表在《自然》雜志上，并得到了多家媒體的報道，其中就包括《紐約時報》。AI 科技評論將《紐約時報》的這篇報道編譯如下。

「我在腦海中將每一個句子都過十遍，或刪掉一個單詞，或再添加一個形容詞，并通過背誦來逐段地琢磨我的文字?！笿ean-Dominique Bauby 在他的回憶錄《潛水鐘和蝴蝶》中這樣寫道。作為一位記者兼編輯，Bauby 在這本書里回憶了那次讓他的全身都幾乎無法動彈的癱瘓性中風(fēng)之前和之后的生活。他眨著眼皮，逐字將書中的內(nèi)容讀出來。

成千上萬的人由于在事故或爭斗中受傷，或患上中風(fēng)或肌萎縮側(cè)索硬化（ALS）等神經(jīng)退行性疾病而喪失說話能力，都同樣地遭遇著溝通困境。

而現(xiàn)在，科學(xué)家們在報告中提出，他們已經(jīng)開發(fā)了一種虛擬的假體語音系統(tǒng)，該系統(tǒng)能夠解碼大腦的說話意圖，并將它們轉(zhuǎn)化為基本可以理解的言語，而不需要移動任何肌肉，甚至是口腔內(nèi)的肌肉。（物理學(xué)家兼作家斯蒂芬 · 霍金，曾經(jīng)就使用他臉頰上的肌肉在鍵盤上打出字符，然后計(jì)算機(jī)再將這些字符合成為語音。）

佛羅里達(dá)州杰克遜維爾市梅奧醫(yī)學(xué)中心（Mayo clinic）的神經(jīng)科醫(yī)生兼神經(jīng)科學(xué)家 Anthony Ritaccio 博士并非該研究組的成員，他表示：「這（AI 科技評論注：解碼大腦信號）是一項(xiàng)艱巨的工作，它推動我們進(jìn)入了語音還原的另一個層次」。

實(shí)際上，此前研究人員就已經(jīng)開發(fā)出了其他的虛擬語音輔助工具。它們都通過解碼負(fù)責(zé)識別字母和單詞以及口頭表示的大腦信號來實(shí)現(xiàn)語音輔助，但是這些方法在自然語言表達(dá)的速度和流動性上尚顯不足。

這個新系統(tǒng)的相關(guān)工作于周三發(fā)表在《自然》雜志上，它譯解了大腦在說話期間用來指導(dǎo)聲帶運(yùn)動（如舌頭與口腔的碰撞、嘴唇縮窄等）的控制命令，產(chǎn)生的句子在可理解的同時，也接近于說話者自然的說話節(jié)奏。

專家們認(rèn)為，這項(xiàng)新的工作成果代表了一次「原理論證」，它預(yù)示著某些事情經(jīng)過進(jìn)一步的實(shí)驗(yàn)和提升后可能實(shí)現(xiàn)的目標(biāo)。研究者在能正常說話的人身上測試了該系統(tǒng)，不過還尚未將其放在那些身患造成解碼難度或無法實(shí)現(xiàn)的神經(jīng)性疾病或重傷（例如常見的中風(fēng)）的患者身上進(jìn)行測試。

針對新的試驗(yàn)，加州大學(xué)舊金山分校和加州大學(xué)伯克利分校的科學(xué)家們招募了五名在醫(yī)院接受癲癇手術(shù)評估的患者。

ECoG 電極矩陣由能夠記錄大腦活動的顱內(nèi)電極組成（圖源：加州大學(xué)舊金山分校）

Gopala Anumanchipalli 是加州大學(xué)舊金山分校的神經(jīng)學(xué)家，他正拿著一個跟在當(dāng)前研究中所使用的電極矩陣非常相似的電極矩陣（圖源：加州大學(xué)舊金山分校）

許多癲癇患者都由于藥物治療效果不佳而選擇接受腦部手術(shù)。在手術(shù)前，醫(yī)生必須首先找到癲癇在每個人的大腦中發(fā)作的「熱點(diǎn)」，這通過在大腦中或大腦表面上放置電極，并聽取明顯的電風(fēng)暴 (electrical storms) 來完成。

對此位置進(jìn)行精確定位可能需要耗費(fèi)數(shù)周時間。在此期間，患者通過在涉及到運(yùn)動和聽覺信號的大腦區(qū)域里面或附近植入電極來度日。這些患者往往會同意在這些植入物體上搭載其他額外的實(shí)驗(yàn)。

加州大學(xué)舊金山分校的這五名此類患者就接受在他們身上測試虛擬語音生成器。研究者在他們每個人的大腦中都植入了一個或兩個電極矩陣：郵票大小的襯墊包裹了數(shù)百個被放置在大腦表層的微小電極。

當(dāng)每個志愿者在背誦數(shù)百個句子時，電極就會記錄下運(yùn)動皮層中神經(jīng)元的發(fā)射模式。研究人員將這些模式與患者在自然說話期間所發(fā)生的嘴唇、舌頭、喉部以及下頜的微妙運(yùn)動聯(lián)系起來。之后，研究團(tuán)隊(duì)再將這些運(yùn)動轉(zhuǎn)譯為成口頭表達(dá)的句子。

另外在實(shí)驗(yàn)中，研究者還讓以英語為母語的人聽取句子來測試虛擬語音生成器的流暢度，最終發(fā)現(xiàn)虛擬系統(tǒng)說出的 70% 的內(nèi)容都是可理解的。

Edward Chang 博士致力于研究大腦如何產(chǎn)生和分析語音，他開發(fā)了一個為癲癇和其他神經(jīng)性疾病患者還原語音能力的假體。（圖源：加州大學(xué)舊金山分校）

這項(xiàng)新研究工作的論文作者、加州大學(xué)舊金山分校神經(jīng)外科教授 Edward Chang 博士表示，「實(shí)驗(yàn)顯示，我們通過解碼指導(dǎo)發(fā)音的大腦活動模擬出來的語音，比根據(jù)從大腦中提取出來的聲音表示而合成的語音更準(zhǔn)確，也更自然?！笶dward Chang 博士的同事是同在加州大學(xué)舊金山分校的 Gopala K. Anumanchipalli 以及同時在加州大學(xué)舊金山分校和加州大學(xué)伯克利分校任教的 Josh Chartier。

以前基于植入物的通信系統(tǒng)，每分鐘可生成大約 8 個單詞。而這項(xiàng)新成果每分鐘能以自然的說話節(jié)奏生成約 150 個單詞。

研究人員還發(fā)現(xiàn)，其他人可以使用和調(diào)整基于某個人的大腦活動的合成語音系統(tǒng)——這就暗示著現(xiàn)有的虛擬系統(tǒng)在未來某一天都能夠?qū)ν忾_放。

該團(tuán)隊(duì)正計(jì)劃展開臨床試驗(yàn)以進(jìn)一步測試該系統(tǒng)。而臨床試驗(yàn)面臨的最大挑戰(zhàn)，可能是尋找合適的患者：讓人類喪失說活能力的中風(fēng)，往往也會損害或影響到支持語音發(fā)音的大腦區(qū)域。

盡管如此，眾所周知，腦機(jī)接口技術(shù)（相關(guān)技術(shù)可查看雷鋒網(wǎng) AI 科技評論此前的一篇相關(guān)報道）領(lǐng)域正在迅速發(fā)展，世界各地的研究團(tuán)隊(duì)也正在改進(jìn)這項(xiàng)技術(shù)，未來有可能實(shí)現(xiàn)對特定傷患進(jìn)行腦器接口技術(shù)的量身定制。

埃默里大學(xué)、佐治亞理工學(xué)院的生物醫(yī)學(xué)工程師 Chethan Pandarinath 和 Yahia H. Ali 在一篇附隨評論中寫道：「隨著這項(xiàng)新技術(shù)的持續(xù)進(jìn)步，我們能夠期待有言語障礙的人能夠（憑借這項(xiàng)技術(shù)）重新獲得自由表達(dá)個人想法的能力，并與其周圍的世界重新建立聯(lián)系?！?span style="display: inline !important; float: none; background-color: rgb(255, 255, 255); color: rgb(51, 51, 51); font-family: "微軟雅黑","微軟雅黑","PingFang SC",-apple-system,BlinkMacSystemFont,"Segoe UI",Roboto,"Helvetica Neue",Arial,sans-serif; font-size: 15px; font-style: normal; font-variant: normal; font-weight: 400; letter-spacing: normal; line-height: 24px; orphans: 2; text-align: left; text-decoration: none; text-indent: 0px; text-transform: none; -webkit-text-stroke-width: 0px; white-space: normal; word-spacing: 0px;">

論文：《Speech synthesis from neural decoding of spoken sentences》

下載地址：https://www.nature.com/articles/s41586-019-1119-1

摘要：將神經(jīng)活動轉(zhuǎn)換成語音的技術(shù)對于因神經(jīng)系統(tǒng)損傷而無法正常交流的人來說，是革命性的。從神經(jīng)活動中解碼語音極具挑戰(zhàn)性，因?yàn)檎f話者需要對聲道發(fā)聲進(jìn)行非常精準(zhǔn)、快速的多維度控制。這項(xiàng)新研究設(shè)計(jì)了一個神經(jīng)解碼器，以顯式地利用人類大腦皮層活動中進(jìn)行了編碼的運(yùn)動表示和聲音表示來合成語音。首先，用循環(huán)神經(jīng)網(wǎng)絡(luò)直接將記錄的大腦皮層活動解碼為發(fā)音運(yùn)動的表示，然后將這些表示轉(zhuǎn)換為語音。在封閉的詞匯測試中，聽眾可以識別和轉(zhuǎn)錄出利用大腦皮層活動合成的語音。中間的發(fā)音動態(tài)即使在數(shù)據(jù)有限的情況下也能幫助提升性能。講話者可以較大程度地保存經(jīng)過解碼的發(fā)音運(yùn)動表示，從而使得解碼器的組件可在不同參與者之間遷移。此外，該解碼器還可以在參與者默念句子時合成語音。這些發(fā)現(xiàn)都提升了使用神經(jīng)假體技術(shù)還原語音交流能力的臨床可行性。