共享經(jīng)濟(jì)正處于如火如荼的發(fā)展?fàn)顟B(tài)，但你有沒有想到，人工智能有一天也會步入共享經(jīng)濟(jì)時代?今年秋天，微軟的研究人員對外公開了新一組可用來測試AI系統(tǒng)的數(shù)據(jù)集，以助力全世界的AI研究。協(xié)作精神對人工智能領(lǐng)域的長足發(fā)展至關(guān)重要，許多正在開發(fā)數(shù)據(jù)集的團(tuán)隊表示，從某種意義上說，他們是在“預(yù)先付費(fèi)”，因為他們將來也會用到其他人所創(chuàng)建的數(shù)據(jù)集。

微軟研究院Maluuba團(tuán)隊的研究員SamiraEbrahimi Kahou等人在研究如何利用人工智能理解柱線圖和餅圖中所包含的信息這一問題時遇到了一個難題：沒有現(xiàn)成的數(shù)據(jù)集可以用來測試他們的假設(shè)。為了解決這一問題，他們自己創(chuàng)建了FigureQA數(shù)據(jù)集，并在今年秋天對外公布。

數(shù)據(jù)集FigureQA的AI專家團(tuán)隊成員：(從左至右，微軟研究院Maluuba團(tuán)隊研究員AdamAtkinson、蒙特利爾大學(xué)教授Yoshua Bengio、微軟研究院Maluuba團(tuán)隊研究員Samira Ebrahimi Kahou)

這個數(shù)據(jù)集只是近年來微軟研究人員和工程師用來測試AI系統(tǒng)的眾多數(shù)據(jù)集、度量指標(biāo)和工具之一。目前，這些工具向全世界的研究人員開放，可以被用于測試各自的AI系統(tǒng)在例如實時語音翻譯、輸入詞匯預(yù)測等任務(wù)中的表現(xiàn)。微軟開發(fā)這些工具的團(tuán)隊認(rèn)為，這些開放工具可以幫助學(xué)術(shù)研究人員和行業(yè)專家測試各自系統(tǒng)、比較研究成果以及相互學(xué)習(xí)。

微軟必應(yīng)搜索部門合作伙伴項目經(jīng)理Rangan Majumder說：“這些公開數(shù)據(jù)集使我們的目標(biāo)變得更加清晰。這樣其他研究人員就很容易看清楚我們的技術(shù)發(fā)展方向。”Majumder帶領(lǐng)的團(tuán)隊負(fù)責(zé)MS MARCO機(jī)器讀閱讀理解數(shù)據(jù)集的開發(fā)工作，他們即將在年底再次更新這個誕生剛剛一年的數(shù)據(jù)集。

微軟必應(yīng)搜索部門合作伙伴項目經(jīng)理RanganMajumder

對于習(xí)慣傳統(tǒng)科技行業(yè)行事風(fēng)格的人來說，這種信息共享似乎無法理解。但是，在人工智能領(lǐng)域，這種開放性正在變得越來越普遍。位于蒙特利爾的微軟研究院Maluuba團(tuán)隊項目經(jīng)理RahulMehrotra 表示：“傳統(tǒng)上，企業(yè)的研究工作是秘不示人的。但是現(xiàn)在，共享的風(fēng)潮正席卷整個行業(yè)——幾乎所有企業(yè)都在發(fā)表論文，試圖引領(lǐng)科技前沿的發(fā)展。”去年，微軟研究院Maluuba團(tuán)隊還發(fā)布了另外兩個數(shù)據(jù)集：NewsQA和Frames。

不少人工智能專家認(rèn)為，協(xié)作精神對人工智能領(lǐng)域的長足發(fā)展至關(guān)重要，許多人工智能領(lǐng)域的早期突破都源于此。甚至身處有競爭關(guān)系的不同機(jī)構(gòu)內(nèi)的研究人員都可以共享彼此的研究成果。

微軟翻譯團(tuán)隊高級項目經(jīng)理Christian Federmann表示：“我們不可能想到世界上所有的好點子，所以如果別人有個好點子并想嘗試一下，我們可以給他們提供一個數(shù)據(jù)集來試一試。”

Federmann的團(tuán)隊開發(fā)了微軟語音翻譯語料庫(MicrosoftSpeech Language Translation Corpus)，并在最近在語料庫中加入了更多語言。目前，所有人都可以利用這個語料庫測試他們自己的類似于MicrosoftTranslator的實時翻譯以及Skype Translator的語音翻譯系統(tǒng)。Federmann表示，微軟公司是少數(shù)幾個擁有雄厚預(yù)算和資源的大公司之一，可以創(chuàng)建高質(zhì)量的工具和數(shù)據(jù)集，讓業(yè)界同行得以比較各自的研究成果。

研究人員需要創(chuàng)造一些標(biāo)桿(benchmark)來展示自己的研究成果，而這些公開的數(shù)據(jù)集恰恰是上述標(biāo)桿的關(guān)鍵。例如，語音識別研究領(lǐng)域新近的幾項里程碑式的成就正是基于Switchboard語料庫的訓(xùn)練結(jié)果。

預(yù)付費(fèi)模式

許多正在開發(fā)數(shù)據(jù)集和度量指標(biāo)的團(tuán)隊表示，從某種意義上說，他們是在“預(yù)先付費(fèi)”，因為他們將來也會用到其他人所創(chuàng)建的數(shù)據(jù)集。

Mehrotra說，當(dāng)Maluuba還是一個小型創(chuàng)業(yè)公司時，他們的研究非常依賴名為MCTest的微軟數(shù)據(jù)集?，F(xiàn)在，Maluuba已成為微軟的一部分，他們很高興看到自己所創(chuàng)建的數(shù)據(jù)集正在被業(yè)內(nèi)其他人所使用。

喬治亞理工學(xué)院助理教授、Facebook人工智能研究院的研究員Devi Parikh表示，Maluuba最近發(fā)布的FigureQA數(shù)據(jù)集很有幫助，在這個數(shù)據(jù)集的幫助下，像她這樣的研究人員就可以研究需要多種人工智能技術(shù)才能解決的問題。例如，計算機(jī)要能準(zhǔn)確閱讀圖形并回答有關(guān)問題，就需要同時運(yùn)用計算機(jī)視覺和自然語言處理。她說：“從研究的角度來看，研究人工智能各分領(lǐng)域之間的交叉問題變得越來越有趣。”

盡管大家都看到了信息共享的價值，但AI領(lǐng)域的研究人員和工程師有時候也希望既能夠比較他們的系統(tǒng)，也不必公開所有所用數(shù)據(jù)。

在微軟去年收購的SwiftKey公司，高級軟件工程主管DougOrr表示，他所在的團(tuán)隊希望創(chuàng)建一種標(biāo)準(zhǔn)方法，用于衡量某個輸入法在詞匯預(yù)測(預(yù)測用戶即將輸入的詞匯)方面的表現(xiàn)。詞匯預(yù)測是SwiftKey輸入法的一個關(guān)鍵組件，它能夠根據(jù)個人的表達(dá)風(fēng)格提供個性化的詞匯預(yù)測。SwiftKey團(tuán)隊并沒有共享某個具體的數(shù)據(jù)集，而是創(chuàng)建了一套可供研究人員應(yīng)用于任何數(shù)據(jù)集的衡量標(biāo)準(zhǔn)——Language Model Challenge 。用戶可通過GitHub下載到這套標(biāo)準(zhǔn)，它讓研究人員有了一個標(biāo)準(zhǔn)化的尺度，用于衡量自身的改進(jìn)并將結(jié)果與其他同行進(jìn)行比較，而又無須共享專有數(shù)據(jù)。

Orr表示，這些衡量標(biāo)準(zhǔn)讓公司的內(nèi)部團(tuán)隊受益匪淺，因為他們能更了解自己的輸入法，能夠看到輸入法改進(jìn)的幅度，同時，該領(lǐng)域的每一個參與者也能更清晰地了解彼此的表現(xiàn)。