人工智能如何通過眼球運(yùn)動測量語言能力
這項研究跟蹤眼球運(yùn)動,以確定人們對英語作為第二外語的理解程度
麻省理工學(xué)院研究人員的一項研究發(fā)現(xiàn)了一種判斷人們學(xué)習(xí)英語水平的新方法:跟蹤他們的眼球運(yùn)動。
沒錯。研究小組通過人工智能技術(shù),利用安裝在讀者眼睛上的攝像機(jī)生成的數(shù)據(jù)發(fā)現(xiàn),眼球的運(yùn)動模式——特別是人們眼睛停留在某些單詞上的時間——與作為第二語言的英語標(biāo)準(zhǔn)化測試的表現(xiàn)密切相關(guān)。
麻省理工學(xué)院腦與認(rèn)知科學(xué)系(BCS)的博士后、概述這項研究的一篇新論文的合著者葉夫格尼?貝爾扎克說:“在很大程度上(眼球運(yùn)動)捕捉到了語言能力,因為我們可以根據(jù)標(biāo)準(zhǔn)化測試的基準(zhǔn)來衡量它?!彼a(bǔ)充道:“在閱讀過程中,眼球運(yùn)動的信號非常豐富,信息也非常豐富?!?/p>
事實上,研究人員甚至認(rèn)為這種新方法作為一種測試工具有潛在的用途?!八姓嬲臐撛趹?yīng)用,”羅杰·利維說,他是麻省理工學(xué)院腦與認(rèn)知科學(xué)系的副教授,也是該研究的另一位合作者。
這篇論文“從閱讀中的眼球運(yùn)動來評估語言能力”,發(fā)表在計算語言學(xué):人類語言技術(shù)協(xié)會北美分會第16屆年會論文集上。作者是麻省理工學(xué)院腦與認(rèn)知科學(xué)系計算心理語言學(xué)組的博扎克,麻省理工學(xué)院計算機(jī)科學(xué)和人工智能實驗室(CSAIL)的首席研究科學(xué)家和信息實驗室小組負(fù)責(zé)人鮑里斯·卡茨,以及BCS計算心理語言學(xué)實驗室的主任利維。
人工智能如何通過眼球運(yùn)動測量語言能力 連續(xù)性的錯覺
這項研究深入探討了一種我們可能永遠(yuǎn)不會注意到的閱讀現(xiàn)象,不管我們讀了多少:我們的眼睛不會沿著一系列文本連續(xù)移動,而是固定在特定的單詞上長達(dá)200到250毫秒。我們還可以從一個詞跳到另一個詞,這可能持續(xù)大約1/20秒。
利維說:“雖然你有一個連續(xù)、流暢的文本閱讀主觀體驗,但這絕對不是你眼睛所做的。”“你的眼睛跳來跳去,大多是向前,有時是向后。你的頭腦將這樣一個斷斷續(xù)續(xù)的過程平穩(wěn)地縫合在一起?!@證明了心靈創(chuàng)造幻覺的能力?!?/p>
但如果你正在學(xué)習(xí)一門新語言,當(dāng)你試圖理解課文時,你的眼睛可能會停留在特定的單詞上更長的時間。由于這個原因,眼睛運(yùn)動的特殊模式可以揭示很多關(guān)于理解的東西,至少當(dāng)在一個明確定義的上下文中進(jìn)行分析時。
為了進(jìn)行這項研究,研究人員使用了Berzak關(guān)于眼球運(yùn)動記錄的大數(shù)據(jù)信息。該數(shù)據(jù)集有145名英語作為第二語言的學(xué)生,幾乎平均分為四種母語——漢語、日語、葡萄牙語和西班牙語,以及37名英語母語者。
給這些學(xué)生156個句子的閱讀文本,其中一半是“固定測試”的一部分,研究中的每個人都閱讀相同的句子。視頻片段使研究小組能夠集中關(guān)注一系列的持續(xù)時間——讀者關(guān)注特定詞語的時間長度。
研究小組稱這組指標(biāo)為“眼球分?jǐn)?shù)”,在評估了它與密歇根大學(xué)英語考試(MET)和托福英語考試(TOEFL)的相關(guān)性之后,他們在論文中得出結(jié)論,眼球分?jǐn)?shù)評估法通過標(biāo)準(zhǔn)化的測試產(chǎn)生了更好的結(jié)果。進(jìn)一步鞏固了對人們獲得熟練語言程度的方法的猜想。
因此,作者寫道,新的方法是“第一個證明概念的系統(tǒng)——通過對眼球運(yùn)動的跟蹤來衡量語言能力?!?/p> 逐句
另外有學(xué)者說,這項研究是對該課題研究文獻(xiàn)的有趣補(bǔ)充。
澳大利亞悉尼麥格理大學(xué)(Macquarie University)心理學(xué)系主任埃里克·雷切爾(Erik Reichle)說:“(在研究中使用的)這一方法非常創(chuàng)新,而且在我看來,眼球跟蹤技術(shù)非常有潛力?!盧eichle補(bǔ)充說,他相信該論文“將在許多不同領(lǐng)域產(chǎn)生巨大影響,包括那些與第二語言學(xué)習(xí)更直接相關(guān)的領(lǐng)域?!?/p>
正如研究人員所看到的,目前的研究僅僅是探索語言與認(rèn)知相互作用的漫長旅程中的一小步。
正如卡茨所說,“更大的問題是,語言如何影響你的大腦?他指出,鑒于我們在過去幾千年內(nèi)才開始處理書面文本,我們的閱讀能力就是大腦“驚人的可塑性”的實證。不久之后,他補(bǔ)充道,“我們就可以開始回答這些問題了。”
利維認(rèn)為,也許可以讓這些關(guān)于閱讀的眼球跟蹤測試更加具體。專家們不必像目前的研究那樣,通過156個句子的語料庫來評估讀者的理解力,而是能夠?qū)Ω〉奈谋敬龀龈鼮槊鞔_的判斷。
利維說:“例如,我們希望在未來做一件我們還沒有做過的事情,那就是逐句地問,我們能在多大程度上通過你讀句子時所做的眼球運(yùn)動來判斷你對句子的理解程度?!薄斑@是一個沒有人回答的開放性問題。我們希望將來能夠做到這一點?!?/p>
這項研究部分由麻省理工學(xué)院的“大腦、意識和機(jī)器中心”通過國家科學(xué)基金會資助。