人工智能專家曾毅：與人類價值觀校準是人工智能最大挑戰(zhàn)

5月25日，北京智源人工智能研究院聯(lián)合北京大學、清華大學等單位發(fā)布《人工智能北京共識》，提出了各個參與方應遵循的有益于人類命運共同體的15條原則。

其中研發(fā)方面，要服從人類的整體利益，設計上要合乎倫理；使用方面要避免誤用和濫用，確保利益相關(guān)者對其權(quán)益所受影響有充分的知情與同意；治理方面，對人工智能部分替代人類工作保持包容和謹慎態(tài)度。共識的發(fā)布，為規(guī)范和引領(lǐng)人工智能健康發(fā)展提供了“北京方案”。

為降低人工智能發(fā)展過程中可能存在的技術(shù)風險和倫理隱患，北京智源人工智能研究院成立人工智能倫理與安全研究中心，中國科學院自動化研究所研究員曾毅任研究中心主任。研究中心將圍繞人工智能倫理與安全的理論探索、算法模型、系統(tǒng)平臺、行業(yè)應用等開展一系列研究。對此，新京報記者對曾毅進行了專訪。

在《人工智能北京共識》發(fā)布儀式上，曾毅介紹了人工智能倫理與安全研究中心的主要研究內(nèi)容。新京報記者 吳寧 攝

人工智能系統(tǒng)還不能準確了解人類價值觀

新京報：研究人工智能倫理與安全是否具有緊迫性？

曾毅：作為顛覆性科技的人工智能，其機遇與挑戰(zhàn)并存?？梢灶A見，隨著新一代人工智能的發(fā)展，預測、評估伴隨技術(shù)應用所帶來的社會影響并盡可能減孝避免相關(guān)風險尤為重要。

近年來，隨著人工智能研究與產(chǎn)業(yè)發(fā)展，一些相關(guān)倫理與社會問題逐漸凸顯，例如人工智能帶來的安全風險、隱私、算法歧視、行業(yè)沖擊、失業(yè)、收入分配差異擴大、責任分擔、監(jiān)管難題以及對人類道德倫理價值的沖擊等。

因此，我國急需開展人工智能倫理與安全的研究，將人工智能風險、安全、倫理的思考模型化、算法化、系統(tǒng)化，融合技術(shù)與社會等多方的努力，確保人工智能向?qū)θ祟惡妥匀挥幸娴姆较虬l(fā)展。

新京報：其中，倫理研究出于何種考慮？

曾毅：人工智能倫理準則是各個國家、組織進行對話的重要議題。目前，人工智能系統(tǒng)不能真正理解人類的價值觀。

舉例說，你需要很快從A點跑到B點，如果中途有個孩子過來，你一定會繞開他。但是機器為了更快達到目標，可能會做出相反的選擇，對環(huán)境中的人類等造成不可逆的負面影響。

所以，如何使機器自主學習人類價值觀、避免風險，是人工智能倫理研究中的重要主題，這叫做價值觀校準，是人工智能研究中的圣杯，也是人工智能最大的挑戰(zhàn)之一，現(xiàn)在還沒有一臺機器能真正基于理解實現(xiàn)自主學習人類的倫理道德。

我們的研究中心將開展符合人類倫理道德的智能自主學習模型研究，實現(xiàn)人工智能行為與人類價值觀的校準，并在模擬環(huán)境與真實場景中進行驗證。例如通過機器的自我建模、自我經(jīng)驗的獲取與思維揣測，實現(xiàn)避免對環(huán)境中其他智能體產(chǎn)生不可逆的傷害。

改變一個像素，機器可能將飛機認成狗

新京報：如何看待人工智能發(fā)展中的安全風險？

曾毅：人工智能的發(fā)展過程中已出現(xiàn)一些潛在的風險，例如一張飛機的圖片，如果改變其中關(guān)鍵的一個像素，人還是覺得圖片中的是飛機。但目前很多深度學習模型可能會顛覆認知，認為那是一只狗。這說明現(xiàn)在機器學習算法的自適應性還不能應對實時變化的環(huán)境、噪聲以及惡意攻擊。

機器學習的前提假設最好是輸入的數(shù)據(jù)能夠很好地描述實際世界，但實際情況是訓練數(shù)據(jù)往往比較理想化或者片面，而真實世界是非常復雜、多變的。因此，我們未來研發(fā)人工智能模型要向低風險、高安全的方向發(fā)展。

研究中心的研究內(nèi)容之一就是低風險機器學習模型與平臺的構(gòu)建，建立機器學習模型安全性的評估體系，并結(jié)合具體領(lǐng)域進行驗證。

新京報：在一些科幻作品中說，未來人工智能可能取代人類或者消滅人類。人們的擔心是否有必要？如何看待此次《北京共識》提出，對人工智能部分替代人類工作保持包容和謹慎態(tài)度？

曾毅：人工智能的研發(fā)如果不考慮潛在的風險，不考慮服務于人類、構(gòu)建負責任的、對社會有益的人工智能，就有可能帶來不可估量的負面影響。因此在《人工智能北京共識》中，就倡導對通用智能、超級智能潛在的風險進行持續(xù)研究與分析。

不光中國科研人員有這方面的思考，英國劍橋大學就正在開展不同通用人工智能發(fā)展途徑可能存在的風險研究。美國生命未來研究所（Future of Life Institute）也組織過多次有益的（通用）人工智能研討會，以進行充分考慮，發(fā)展有益的人工智能，避免人工智能取代和消滅人類的可能性。

研究中心將探索用戶撤銷個人數(shù)據(jù)授權(quán)

新京報：《人工智能北京共識》提到，避免技術(shù)誤用和濫用，如何做到？

曾毅：在構(gòu)建人工智能平臺時，企業(yè)往往不知道用戶會如何使用平臺。其實應該做一些設計，如果出現(xiàn)人工智能濫用，平臺應該能自動化檢測、告知和避免，這是所有人工智能研究者和企業(yè)應該關(guān)注的問題。

新京報：如何保證人工智能中的數(shù)據(jù)安全？

曾毅：目前，很多人工智能應用收集了大量用戶數(shù)據(jù)，有一些雖然得到了用戶的許可，但是用戶很可能是在沒有充分理解數(shù)據(jù)用途的情況下做出的決策。若隨后希望修改這個決策，目前很多人工智能應用中并不支持這樣的嘗試。

歐盟相關(guān)企業(yè)對《通用數(shù)據(jù)保護條例（GDPR）》的實踐表明，采取更嚴格的數(shù)據(jù)保護機制，雖然一開始，相關(guān)企業(yè)和服務方需要付出額外努力適應條例，但是隨后往往帶來用戶量的增加。用戶反饋說明，用戶更相信遵守數(shù)據(jù)保護條例的企業(yè)，更愿意選擇為保護用戶數(shù)據(jù)安全做出努力的產(chǎn)品與服務。

研究中心將與企業(yè)開展聯(lián)合實踐，建設數(shù)據(jù)安全示范應用系統(tǒng)，最大限度防止數(shù)據(jù)泄密，降低風險，探索允許用戶撤銷個人數(shù)據(jù)授權(quán)的機制及計算平臺，提升個人數(shù)據(jù)安全。

新京報：《人工智能北京共識》的特色和作用是什么？

曾毅：有一些人工智能準則可能是人類中心主義的。然而北京共識更關(guān)注實現(xiàn)人類社會和自然的協(xié)同發(fā)展、可持續(xù)發(fā)展。此外，基于中國哲學中“和諧”的思想，北京共識倡導不同組織、機構(gòu)、國家之間深度協(xié)作、合作，優(yōu)化共生。

北京是人工智能國際化大都市和國家新一代人工智能創(chuàng)新發(fā)展試驗區(qū)首個城市，《人工智能北京共識》的發(fā)布是北京人工智能科技群體與世界其他人工智能群體的對話，有助于表達北京發(fā)展人工智能與其他地區(qū)和世界范圍形成的共識。

我們希望通過《人工智能北京共識》的努力，與國家各級有關(guān)部門、科技團體等協(xié)同推動我國新一代人工智能倫理與治理研究，使中國人工智能倫理與治理逐步與國際接軌，期待發(fā)展成為全球典范。