2012年，人工智能研究人員發(fā)現(xiàn)，通過(guò)向一個(gè)名為ImageNet的數(shù)據(jù)庫(kù)提供數(shù)以百萬(wàn)計(jì)的標(biāo)簽圖像，計(jì)算機(jī)識(shí)別圖像的能力會(huì)有很大的提高。這使得計(jì)算機(jī)視覺(jué)進(jìn)入了一個(gè)激動(dòng)人心的階段，因?yàn)楹苊黠@，使用ImageNet訓(xùn)練的模型可以幫助解決各種圖像識(shí)別問(wèn)題。六年后，這種進(jìn)步為自動(dòng)駕駛汽車在城市街道上導(dǎo)航鋪平了道路，并且使得Facebook用戶可以在照片中對(duì)人物進(jìn)行智能標(biāo)記。

然而，在人工智能研究的其他領(lǐng)域，比如理解語(yǔ)言方面，類似的模型則被證明是難以實(shí)現(xiàn)的。但是，來(lái)自fast.ai、OpenAI和艾倫研究所(Allen Institute)的最新研究表明，這是一個(gè)潛在的突破點(diǎn)，有更強(qiáng)大的語(yǔ)言模型可以幫助研究人員解決一系列尚未解決的問(wèn)題。其中一種新模型背后的研發(fā)人員塞巴斯蒂安·魯?shù)?Sebastian Ruder)稱其為該領(lǐng)域的“ImageNet時(shí)刻”。

這些改進(jìn)可能是戲劇性的。到目前為止，被最廣泛測(cè)試的語(yǔ)言模型是ELMo(Embeddings from Language Models)。今年春天，當(dāng)艾倫研究所發(fā)布ELMo的時(shí)候，以往的各種挑戰(zhàn)迅速被顛覆了，比如在閱讀理解方面，人工智能回答了關(guān)于一段文章的SAT式的問(wèn)題并進(jìn)行了情緒性分析。在一個(gè)進(jìn)步往往是漸進(jìn)的領(lǐng)域，ELMo的加入使得結(jié)果的正確率提高了25%。今年6月，這項(xiàng)進(jìn)步在一次大型會(huì)議上獲得了最佳論文獎(jiǎng)。

加州大學(xué)伯克利分校的計(jì)算機(jī)科學(xué)教授丹·克萊因(Dan Klein)是早期采用者之一。他和一名學(xué)生正在研究一個(gè)“選區(qū)解析器”，這是一種基本的工具，它涉及到對(duì)句子的語(yǔ)法結(jié)構(gòu)進(jìn)行映射。ELMo的加入使得克萊因突然擁有了世界上最好的系統(tǒng)，最精確的同時(shí)擁有驚人的寬限度。他說(shuō)：“如果你幾年前問(wèn)我，是否有可能性達(dá)到這么高的水平，我并不能確定。”

像ELMo這樣的模型，解決了一個(gè)使用語(yǔ)言的語(yǔ)言學(xué)家的核心問(wèn)題：缺乏標(biāo)簽的數(shù)據(jù)。為了訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)能夠做決定，許多語(yǔ)言問(wèn)題都需要人工來(lái)精心標(biāo)記數(shù)據(jù)。但是，制作這些數(shù)據(jù)需要時(shí)間和金錢，甚至很多信息也無(wú)法捕捉到我們說(shuō)話和寫作中不可預(yù)測(cè)的方式。對(duì)于除英語(yǔ)以外的語(yǔ)言，研究人員通常沒(méi)有足夠的標(biāo)記數(shù)據(jù)來(lái)完成基本的任務(wù)。

“我們永遠(yuǎn)無(wú)法獲得足夠的標(biāo)簽數(shù)據(jù)，”艾倫研究所ELMo項(xiàng)目團(tuán)隊(duì)領(lǐng)導(dǎo)者的研究人員馬修·彼得斯(Matthew Peters)說(shuō)。“我們真的需要開(kāi)發(fā)出一種模型，它可以處理雜亂的、沒(méi)有標(biāo)簽的數(shù)據(jù)，并且從中學(xué)習(xí)到盡可能多的信息。”

幸運(yùn)的是，多虧了互聯(lián)網(wǎng)，研究人員得以從維基百科、書籍和社交媒體等來(lái)源獲得了大量的雜亂數(shù)據(jù)。我們的策略是將這些詞輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)中，并允許它自己識(shí)別模式，即所謂的“無(wú)監(jiān)督”方法。我們希望這些模式能夠捕捉到語(yǔ)言的一些基本方面——一種單詞的含義，或者是語(yǔ)法的基本輪廓。與使用ImageNet訓(xùn)練的模型一樣，這樣的語(yǔ)言模型可以被精確地調(diào)整以掌握更具體的任務(wù)——比如總結(jié)一篇科學(xué)文章，將電子郵件歸類為垃圾郵件，甚至為一個(gè)簡(jiǎn)短的故事生成一個(gè)令人滿意的結(jié)尾。

這種直覺(jué)基礎(chǔ)并不新鮮。近年來(lái)，研究人員利用一種叫做“文字嵌入(word embeddings)”的技術(shù)來(lái)深入研究無(wú)標(biāo)簽的數(shù)據(jù)，這一技術(shù)可以根據(jù)它們?cè)诖罅课谋局谐霈F(xiàn)的方式來(lái)映射單詞之間的關(guān)系。新模式的目標(biāo)定位到更深層，捕捉從文字到更高層次的語(yǔ)言概念的信息。魯?shù)乱呀?jīng)寫過(guò)關(guān)于這些更深層次的模型對(duì)各種語(yǔ)言問(wèn)題而言的巨大潛力，希望新模型能成為簡(jiǎn)單的“單詞嵌入”的替代品。

例如，ELMo通過(guò)整合更多的上下文，以句子的規(guī)模來(lái)看待語(yǔ)言，而不是詞匯，從而改進(jìn)了單詞的嵌入。這種額外的上下文使模型能夠很好地解析“May”作為“五月”和動(dòng)詞之間的區(qū)別，也意味著它學(xué)習(xí)了語(yǔ)法。ELMo通過(guò)理解單詞的子單元，如前綴和后綴，來(lái)獲得額外的提升。像彼得斯的團(tuán)隊(duì)所做的那樣，為神經(jīng)網(wǎng)絡(luò)提供十億個(gè)單詞，而這種方法是非常有效的。

目前還不清楚的是，在分析所有這些詞的過(guò)程中，這個(gè)模型到底學(xué)到了什么。由于深度神經(jīng)網(wǎng)絡(luò)的工作方式不透明，所以要回答這個(gè)問(wèn)題十分棘手。研究人員仍然對(duì)圖像識(shí)別系統(tǒng)工作如此出色的原因有一個(gè)模糊的理解。在10月份的一次會(huì)議上，彼得斯采用了一種經(jīng)驗(yàn)主義的方法，在不同的軟件設(shè)計(jì)和不同的語(yǔ)言任務(wù)中試驗(yàn)了ELMo。彼得斯說(shuō)：“我們發(fā)現(xiàn)這些模型學(xué)習(xí)了語(yǔ)言的基本屬性。”但他警告說(shuō)，其他研究人員將需要測(cè)試ELMo，以確定該模型在不同任務(wù)中的穩(wěn)健程度，以及它可能包含的隱藏意外情況。

一種風(fēng)險(xiǎn)是：用于訓(xùn)練它們的數(shù)據(jù)出現(xiàn)了編碼偏差，因而醫(yī)生被貼上男性的標(biāo)簽，而護(hù)士則是女性，就像之前的文字嵌入一樣。克萊因說(shuō)，雖然通過(guò)點(diǎn)擊ELMo和其他模型產(chǎn)生的最初結(jié)果令人興奮，但目前還不清楚這些結(jié)果可以被推進(jìn)到什么程度，也許是通過(guò)使用更多的數(shù)據(jù)來(lái)訓(xùn)練模型，或者增加一些限制，迫使神經(jīng)網(wǎng)絡(luò)更有效地學(xué)習(xí)。從長(zhǎng)遠(yuǎn)來(lái)看，的要讓人工智能像我們這樣流暢地閱讀和交談，可能需要一種全新的方法。