AI 領域的下一個大事件并不是教會 AI 完成某項任務，而是讓機器向人們解釋為什么它們做出了某項決策。比方說，一個機器人決定走一條特定路線去倉庫，又比如，一輛無人駕駛汽車決定向左或向右轉(zhuǎn)。我們怎么知道 AI 為什么做出這些決定？

卡內(nèi)基梅隆大學計算機科學教授 Manuela Veloso 是研究協(xié)作機器人的專家。他表示，能解釋自身行為的 AI 對贏得大眾對人工智能的信任至關(guān)重要。“我們需要質(zhì)疑為什么算法程序會做出這樣那樣的決定，如果我們不在 AI 動機解釋上花功夫，就無法信任這個智能系統(tǒng)。”

為解決該問題， 創(chuàng)業(yè)公司 OpTImizingMind 發(fā)明了一項能觀察智能機器決策過程的技術(shù)。

這個算法的目的是創(chuàng)造 “透明訪問”系統(tǒng)，以呈現(xiàn)機器學習是如何做出預期（expectaTIons）的。OpTImizingMind 的負責人 Tsvi Achler 說：

“該系統(tǒng)以人腦的神經(jīng)模型為基礎，能把任何深度網(wǎng)絡 （deep networks）轉(zhuǎn)化為該系統(tǒng)的模式。它的目的是探索 AI 行為的潛在預期 （underlying expectaTIons），并且找出 AI 思維模式的哪個方面對決策影響最大”。

有著神經(jīng)科學、醫(yī)藥和計算機科學多重學科背景的 Achler 認為，我們能從人腦如何作出和解釋決策中學習到很多（應用到 AI 的知識）。

“我感興趣的是，大腦和計算機的共同點在哪里？為什么人腦可以在學會任何模型之后把它解釋出來。如果我說 ‘章魚’，你是否能告訴我那是什么？如果我問章魚觸手長什么樣，你能告訴我嗎？”

人能做到，AI 為什么不行？

他說，當人類觀察到一個新模式（或規(guī)律）的時候，會立刻學會那個模式。這對 AI 暫時還不可能。 AI 的學習方法被稱為批量學習。如果你想要對 AI 加入一個新模式或者新注解，你必須從頭開始把所有的新舊模式重新教一遍。

Achler 開發(fā)的算法呈現(xiàn)出神經(jīng)科學里的 “爆裂” 現(xiàn)象。當人觀察到一個新模式時，多個神經(jīng)元被同時激發(fā)，然后它們沉寂下來。當你向某人展示一個模式的時候，下一瞬間會發(fā)生神經(jīng)興奮，之后逐漸地平靜下來。在這個算法里你會看到同樣的事情。

實際上，這種研究方式是對傳統(tǒng)機器學習進行了重新思考，Achler 認為該過程就像深度學習、感知器、支持向量機（SVM） 、 卷積神經(jīng)網(wǎng)絡（CNN）、遞歸神經(jīng)網(wǎng)絡（RNN）、反向傳播等研究一樣。研究者們并沒有打算解決即時學習這一難題。 “這項技術(shù)的目的非常明確，那就是嘗試解釋 AI 是怎樣思考的。沒有人想過如何讓系統(tǒng)變得更靈活或是更具可信度，而它的整體目標是讓 AI 決策更容易被訪問。”

OptimizingMind 是一種以人腦運行方式為基礎的算法，旨在使開發(fā)者能“觀察到系統(tǒng)內(nèi)部，理解它們（AI 系統(tǒng)）在干什么，并且很方便地編輯它們，而無需從頭開始訓練”。這能讓機器學習“一步到位”，而神經(jīng)網(wǎng)絡馬上就能學會。舉例來說，人們能告訴 Siri 某一個詞的定義，然后它會被存儲起來。今天神經(jīng)網(wǎng)絡還達不到這一點，它們需要用無數(shù)案例不斷訓練學習。

所以 “透明訪問”系統(tǒng)是什么意思呢？根據(jù) Achler 的說法， 這個系統(tǒng)提供了一種實時觀察 AI 決策的方法。 它可以訪問權(quán)重、特點和節(jié)點，提供能讀取這些信息的靈活性，并且能改寫它們。最終，這個系統(tǒng)能讓我們理解神經(jīng)網(wǎng)絡是怎么做出一個決策的。這個工具能幫助工程師們大幅減少機器開發(fā)的時間，幫企業(yè)節(jié)省資源。

此外 Achler 還表示，在提供透明度之外，這個算法還可以被修改。不但預期（expectations）能被表達出來，每個單獨預期還能隨著新信息立刻改變。

今天，大多數(shù)機器學習的方法使用一個正反饋（feedforward）技術(shù)。風險投資公司 Naiss.io 的聯(lián)合創(chuàng)始人 Ed Fernandez 說，正反饋使用優(yōu)化過的權(quán)重執(zhí)行任務。在正反饋系統(tǒng)里，獨特性信息（ uniqueness information）依據(jù)訓練中出現(xiàn)的頻率被錄入權(quán)重。這意味著整套訓練中的權(quán)重必須經(jīng)過優(yōu)化。這又意味著 OptimizingMind 可以“根據(jù)正在被識別的模式執(zhí)行優(yōu)化”，這不是為了權(quán)重而優(yōu)化，而是為了模式識別去優(yōu)化。

當機器學習與商業(yè)更緊密結(jié)合，并成為無人駕駛和其他極其重要科技的基石，理解機器學習中到底發(fā)生了什么就變得至關(guān)重要。事實上， DARPA 最近啟動了一項對可解釋 AI （XAI，explainable artificial intelligence） 的投資。

正如 Veloso 教授說的：“我們不能假定 AI 系統(tǒng)完美無缺。”我們必須從 AI 的錯誤中學習。Veloso 表示，“如果某天發(fā)生了一起 AI 事故，我們必須避免它再次發(fā)生。”