傳統(tǒng)的說話人分類系統(tǒng)依賴于人聲的聲學(xué)差異識(shí)別出對(duì)話中不同的說話人。根據(jù)男人和女人的音高，僅僅使用簡(jiǎn)單的聲學(xué)模型（例如，混合高斯模型），就可以在一步中相對(duì)容易地將他們區(qū)分開來。然而，想要區(qū)分處音高可能相近的說話者，說話者分類系統(tǒng)就需要使用多步方法了。首先，基于檢測(cè)到的人聲特征，使用一個(gè)變化檢測(cè)算法將對(duì)話切分成均勻的片段，我們希望每段僅僅包含一個(gè)說話人。接著，使用一個(gè)深度學(xué)習(xí)模型將上述說話人的聲音片段映射到一個(gè)嵌入向量上。最后，在聚類階段，會(huì)對(duì)上述嵌入聚類在不同的簇中，追蹤對(duì)話中的同一個(gè)說話人。

在真實(shí)場(chǎng)景下，說話人分類系統(tǒng)與聲學(xué)語音識(shí)別（ASR）系統(tǒng)會(huì)并行化運(yùn)行，這兩個(gè)系統(tǒng)的輸出將會(huì)被結(jié)合，從而為識(shí)別出的單詞分配標(biāo)簽。傳統(tǒng)的說話人分類系統(tǒng)在聲學(xué)域中進(jìn)行推斷，然后將說話人標(biāo)簽覆蓋在由獨(dú)立的 ASR 系統(tǒng)生成的單詞上。

這種方法存在很多不足，阻礙了該領(lǐng)域的發(fā)展：

（1）我們需要將對(duì)話切分成僅僅包含以為說話人的語音的片段。否則，根據(jù)這些片段生成的嵌入就不能準(zhǔn)確地表征說話人的聲學(xué)特征。然而，實(shí)際上，這里用到的變化檢測(cè)算法并不是十全十美的，會(huì)導(dǎo)致分割出的片段可能包含多位說話人的語音。

（2）聚類階段要求說話人的數(shù)量已知，并且這一階段對(duì)于輸入的準(zhǔn)確性十分敏感。

（3）系統(tǒng)需要在用于估計(jì)人聲特征的片段大小和期望的模型準(zhǔn)確率之間做出艱難的權(quán)衡。片段越長，人聲特征的質(zhì)量就越高，因?yàn)榇藭r(shí)模型擁有更多關(guān)于說話人的信息。這然而，這就帶來了將較短的插入語分配給錯(cuò)誤的說話人的風(fēng)險(xiǎn)。這將產(chǎn)生非常嚴(yán)重的后果，例如，在處理臨床醫(yī)學(xué)或金融領(lǐng)域的對(duì)話的環(huán)境下，我們需要準(zhǔn)確地追蹤肯定和否定的陳述。

（4）傳統(tǒng)的說話人分類系統(tǒng)并沒有一套方便的機(jī)制，從而利用在許多自然對(duì)話中非藏明顯的語言學(xué)線索。例如，「你多久服一次藥？」在臨床對(duì)話中最有可能是醫(yī)護(hù)人員說的，而不會(huì)是病人說的。類似地，「我們應(yīng)該什么時(shí)候上交作業(yè)？」則最有可能是學(xué)生說的，而不是老師說的。語言學(xué)的線索也標(biāo)志著說話人有很高的概率發(fā)生了改變（例如，在一個(gè)問句之后）。

然而，傳統(tǒng)的說話人分類系統(tǒng)也有一些性能較好的例子，在谷歌此前發(fā)布的一篇博文中就介紹了其中之一（博文地址：https://ai.googleblog.com/2018/11/accurate-online-speaker-diarization.html）。在此工作中，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的隱藏狀態(tài)會(huì)追蹤說話人，克服了聚類階段的缺點(diǎn)。而本文提出的模型則采用了不容的方法，引入了語言學(xué)線索。

我們研發(fā)出了一種簡(jiǎn)單的新型模型，該模型不僅完美地融合了聲學(xué)和語音線索，而且將說話人分類和語音識(shí)別任務(wù)融合在了同一個(gè)系統(tǒng)中。相較于相同環(huán)境下僅僅進(jìn)行語音識(shí)別的系統(tǒng)相比，這個(gè)集成模型并沒有顯著降低語音識(shí)別性能。

我們意識(shí)到，很關(guān)鍵的一點(diǎn)是：RNN-T 架構(gòu)非常適用于集成聲學(xué)和語言學(xué)線索。RNN-T 模型由三個(gè)不同的網(wǎng)絡(luò)組成：（1）轉(zhuǎn)錄網(wǎng)絡(luò)（或稱編碼器），將聲幀映射到一個(gè)潛在表征上。（2）預(yù)測(cè)網(wǎng)絡(luò)，在給定先前的目標(biāo)標(biāo)簽的情況下，預(yù)測(cè)下一個(gè)目標(biāo)標(biāo)簽。（3）級(jí)聯(lián)網(wǎng)絡(luò)，融合上述兩個(gè)網(wǎng)絡(luò)的輸出，并在該時(shí)間步生成這組輸出標(biāo)簽的概率分布。

傳統(tǒng)系統(tǒng)和 RNN-T 系統(tǒng)錯(cuò)誤率的對(duì)比，由人類標(biāo)注者進(jìn)行分類。此外，該集成模型還可以預(yù)測(cè)其它一些標(biāo)簽，這些標(biāo)簽對(duì)于生成對(duì)讀者更加友好的 ASR 譯文是必需的。例如，我們已經(jīng)可以使用匹配好的訓(xùn)練數(shù)據(jù)，通過標(biāo)點(diǎn)符號(hào)和大小寫標(biāo)志，提升譯文質(zhì)量。相較于我們之前的模型（單獨(dú)訓(xùn)練，并作為一個(gè) ASR 的后處理步驟），我們的輸出在標(biāo)點(diǎn)符號(hào)和大小寫上的誤差更小。