佐治亞理工學院、康奈爾大學和肯塔基大學合作開發(fā)了一種AI智能體，可以實時自動生成自然語言解釋，以傳達其行為背后的動機。這項工作旨在讓人類與AI智能體或機器人合作，確保智能體正在正確地執(zhí)行任務，并且可以解釋錯誤或錯誤的行為。

智能體還使用非專家能夠理解的日常語言。這些解釋，或研究人員所稱的“理性”，旨在引起人們的共鳴，并激發(fā)人們對那些可能在工作場中或社交場合中的機器人的信任。

“由于人工智能遍及我們生活的方方面面，因此非常需要以人為本的人工智能設計，使日常用戶可以解釋如同黑盒子的人工智能系統(tǒng)。我們需要理解基于語言的解釋的作用以及如何讓人類認識到它們?！?/p>

研究人員開展了一項參與者研究，以確定AI智能體能否提供模仿人類反應的理論依據(jù)。觀眾觀看智能體玩視頻游戲Frogger，然后根據(jù)每個人對人工智能游戲動作的描述程度，以描述AI移動的好壞對屏幕上列出的三個原理進行排序。

對于每一步的三個匿名判斷，包括人類生成的響應，AI智能體生成的響應和隨機生成的響應，參與者優(yōu)先選擇人類生成的理論，但AI生成的響應緊隨其后。

Frogger為研究人員提供了在“順序決策環(huán)境”中訓練AI的機會，這是一項重大的研究挑戰(zhàn)，因為智能體已經(jīng)做出的決策會影響未來的決策。因此，研究人員表示，向專家解釋推理鏈是困難的，在與非專家交流時更是如此。

參與者理解Frogger的目標是讓青蛙安全回家，而不會被移動的車輛撞到或在河里淹死。向上，向下，向左或向右移動的簡單游戲機制允許參與者看到AI正在做什么，并評估屏幕上的基本原理是否清楚地證明了移動的合理性。

參與者根據(jù)以下因素判斷原理：

信心：這個人對AI執(zhí)行任務充滿信心

類人的：看起來像是由人類做出決定

充分的理由：充分證明采取的行動是正確的

可理解性：幫助人們理解AI的行為

AI生成的理論，在參與者中排名較高，表現(xiàn)出對環(huán)境條件和適應性的認可的理論，以及那些傳達對未來危險的認識并為其規(guī)劃的理論。冗余信息只是陳述了明顯特征或錯誤地描述環(huán)境，這會產(chǎn)生負面影響。

“這個項目更多的是為了了解人類對這些人工智能系統(tǒng)的認知和偏好，而不是建立新技術，”Ehsan表示，“可解釋性的核心是意義建構。我們試圖理解這個人為因素?！?/p>

另一項相關研究證實，研究人員決定設計他們的AI智能體，使其能夠提供兩種不同類型的原理中的一種：

簡潔的，專注的

整體的，全貌

在第二項研究中，參與者在觀看AI玩Frogger后才獲得AI生成的原理。他們被要求在人工智能出錯的情況下選擇他們更喜歡的答案，他們不知道原理分為兩類。

四分之三的參與者贊成分類為“全貌”類別的答案。回應顯示，人們欣賞人工智能對未來步驟的思考，而不僅僅是思考當下的事情，這可能會讓他們更容易犯另一個錯誤。人們也想知道更多，這樣他們就可以直接幫助人工智能糾正錯誤行為。

互動計算教授Mark Riedl表示，“對人工智能機器人的感知和偏好的理解，為我們提供了一套強大的可操作的見解，可以幫助我們設計出更好的以人為本，理性的、自主的智能體。”

研究的未來可能方向將把研究結果應用于各種類型的自主智能體，讓它們根據(jù)手頭的任務做出反應，例如它們可以應用在緊急響應救援，或是在教室?guī)椭處熖幚砣蝿铡?/p>