2012年，人工智能研究人員發(fā)現(xiàn)，通過向一個名為ImageNet的數(shù)據(jù)庫提供數(shù)以百萬計的標簽圖像，計算機識別圖像的能力會有很大的提高。這使得計算機視覺進入了一個激動人心的階段，因為很明顯，使用ImageNet訓練的模型可以幫助解決各種圖像識別問題。六年后，這種進步為自動駕駛汽車在城市街道上導航鋪平了道路，并且使得Facebook用戶可以在照片中對人物進行智能標記。

然而，在人工智能研究的其他領域，比如理解語言方面，類似的模型則被證明是難以實現(xiàn)的。但是，來自fast.ai、OpenAI和艾倫研究所(Allen Institute)的最新研究表明，這是一個潛在的突破點，有更強大的語言模型可以幫助研究人員解決一系列尚未解決的問題。其中一種新模型背后的研發(fā)人員塞巴斯蒂安·魯?shù)?Sebastian Ruder)稱其為該領域的“ImageNet時刻”。

這些改進可能是戲劇性的。到目前為止，被最廣泛測試的語言模型是ELMo(Embeddings from Language Models)。今年春天，當艾倫研究所發(fā)布ELMo的時候，以往的各種挑戰(zhàn)迅速被顛覆了，比如在閱讀理解方面，人工智能回答了關于一段文章的SAT式的問題并進行了情緒性分析。在一個進步往往是漸進的領域，ELMo的加入使得結果的正確率提高了25%。今年6月，這項進步在一次大型會議上獲得了最佳論文獎。

加州大學伯克利分校的計算機科學教授丹·克萊因(Dan Klein)是早期采用者之一。他和一名學生正在研究一個“選區(qū)解析器”，這是一種基本的工具，它涉及到對句子的語法結構進行映射。ELMo的加入使得克萊因突然擁有了世界上最好的系統(tǒng)，最精確的同時擁有驚人的寬限度。他說：“如果你幾年前問我，是否有可能性達到這么高的水平，我并不能確定。”

像ELMo這樣的模型，解決了一個使用語言的語言學家的核心問題：缺乏標簽的數(shù)據(jù)。為了訓練一個神經(jīng)網(wǎng)絡能夠做決定，許多語言問題都需要人工來精心標記數(shù)據(jù)。但是，制作這些數(shù)據(jù)需要時間和金錢，甚至很多信息也無法捕捉到我們說話和寫作中不可預測的方式。對于除英語以外的語言，研究人員通常沒有足夠的標記數(shù)據(jù)來完成基本的任務。

“我們永遠無法獲得足夠的標簽數(shù)據(jù)，”艾倫研究所ELMo項目團隊領導者的研究人員馬修·彼得斯(Matthew Peters)說。“我們真的需要開發(fā)出一種模型，它可以處理雜亂的、沒有標簽的數(shù)據(jù)，并且從中學習到盡可能多的信息。”

幸運的是，多虧了互聯(lián)網(wǎng)，研究人員得以從維基百科、書籍和社交媒體等來源獲得了大量的雜亂數(shù)據(jù)。我們的策略是將這些詞輸入到一個神經(jīng)網(wǎng)絡中，并允許它自己識別模式，即所謂的“無監(jiān)督”方法。我們希望這些模式能夠捕捉到語言的一些基本方面——一種單詞的含義，或者是語法的基本輪廓。與使用ImageNet訓練的模型一樣，這樣的語言模型可以被精確地調整以掌握更具體的任務——比如總結一篇科學文章，將電子郵件歸類為垃圾郵件，甚至為一個簡短的故事生成一個令人滿意的結尾。

這種直覺基礎并不新鮮。近年來，研究人員利用一種叫做“文字嵌入(word embeddings)”的技術來深入研究無標簽的數(shù)據(jù)，這一技術可以根據(jù)它們在大量文本中出現(xiàn)的方式來映射單詞之間的關系。新模式的目標定位到更深層，捕捉從文字到更高層次的語言概念的信息。魯?shù)乱呀?jīng)寫過關于這些更深層次的模型對各種語言問題而言的巨大潛力，希望新模型能成為簡單的“單詞嵌入”的替代品。

例如，ELMo通過整合更多的上下文，以句子的規(guī)模來看待語言，而不是詞匯，從而改進了單詞的嵌入。這種額外的上下文使模型能夠很好地解析“May”作為“五月”和動詞之間的區(qū)別，也意味著它學習了語法。ELMo通過理解單詞的子單元，如前綴和后綴，來獲得額外的提升。像彼得斯的團隊所做的那樣，為神經(jīng)網(wǎng)絡提供十億個單詞，而這種方法是非常有效的。

目前還不清楚的是，在分析所有這些詞的過程中，這個模型到底學到了什么。由于深度神經(jīng)網(wǎng)絡的工作方式不透明，所以要回答這個問題十分棘手。研究人員仍然對圖像識別系統(tǒng)工作如此出色的原因有一個模糊的理解。在10月份的一次會議上，彼得斯采用了一種經(jīng)驗主義的方法，在不同的軟件設計和不同的語言任務中試驗了ELMo。彼得斯說：“我們發(fā)現(xiàn)這些模型學習了語言的基本屬性。”但他警告說，其他研究人員將需要測試ELMo，以確定該模型在不同任務中的穩(wěn)健程度，以及它可能包含的隱藏意外情況。

一種風險是：用于訓練它們的數(shù)據(jù)出現(xiàn)了編碼偏差，因而醫(yī)生被貼上男性的標簽，而護士則是女性，就像之前的文字嵌入一樣?？巳R因說，雖然通過點擊ELMo和其他模型產(chǎn)生的最初結果令人興奮，但目前還不清楚這些結果可以被推進到什么程度，也許是通過使用更多的數(shù)據(jù)來訓練模型，或者增加一些限制，迫使神經(jīng)網(wǎng)絡更有效地學習。從長遠來看，的要讓人工智能像我們這樣流暢地閱讀和交談，可能需要一種全新的方法。