人工智能的發(fā)展是否會(huì)危及人類福祉？如何保證人工智能的安全可控？11月2日，2019第一屆可信人工智能論壇在北京舉行，來(lái)自中國(guó)科學(xué)院、北京理工大學(xué)、上海交通大學(xué)等機(jī)構(gòu)的科學(xué)家圍繞上述問(wèn)題進(jìn)行了探討。

“可信”是計(jì)算機(jī)領(lǐng)域的一個(gè)概念。在可信計(jì)算工作組TCG的定義中，如果一個(gè)實(shí)體的行為總是能以預(yù)期的方式達(dá)到預(yù)期的目標(biāo)，那么這個(gè)實(shí)體就是“可信”的。 電氣電子工程師學(xué)會(huì)IEEE則將“可信”定義為一個(gè)計(jì)算機(jī)系統(tǒng)提供服務(wù)的可信賴性能夠被論證。雖然不同機(jī)構(gòu)對(duì)“可信”的定義略有差別，但總體而言，“可信”主要強(qiáng)調(diào)的是計(jì)算機(jī)系統(tǒng)和其處理過(guò)程的可預(yù)測(cè)性、可驗(yàn)證性。

近年來(lái)，“可信”的概念也被引入到人工智能領(lǐng)域，許多國(guó)家或組織在制定人工智能發(fā)展指南時(shí)，都強(qiáng)調(diào)了“可信”的重要性。例如，歐盟于今年4月推出的倫理準(zhǔn)則就指出，“可信人工智能”有兩個(gè)必要的組成部分，一是尊重人類的基本權(quán)利、核心原則及價(jià)值觀，二是在技術(shù)上安全可靠。這也是目前全球的廣泛共識(shí)。

在11月2日的論壇上，中國(guó)科學(xué)院院士、上海人工智能安全專家委員會(huì)主任何積豐做了題為《安全可信人工智能：?jiǎn)栴}與展望》的報(bào)告。他指出，人工智能是一種“賦能”技術(shù)，對(duì)于其安全問(wèn)題，應(yīng)該從兩個(gè)層面來(lái)討論，一層是人工智能技術(shù)本身的安全問(wèn)題，一層是人工智能與行業(yè)結(jié)合后的潛在風(fēng)險(xiǎn)。

在何積豐看來(lái)，人工智能的安全發(fā)展面臨著“內(nèi)憂外患”，對(duì)內(nèi)要處理數(shù)據(jù)偏差、系統(tǒng)失誤等情況，對(duì)外則要應(yīng)對(duì)黑客攻擊、場(chǎng)景受限等問(wèn)題。他解釋說(shuō)，人工智能系統(tǒng)與傳統(tǒng)的軟件系統(tǒng)有很大區(qū)別，這使得其安全發(fā)展面臨一系列新挑戰(zhàn)。

例如，科學(xué)家訓(xùn)練人工智能算法時(shí)會(huì)設(shè)置獎(jiǎng)勵(lì)函數(shù)，以幫助算法學(xué)得更好。但在實(shí)踐中，人工智能也鬧出了不少笑話：一個(gè)機(jī)械手被要求把木塊挪到桌子的指定地點(diǎn)，于是機(jī)械手學(xué)會(huì)了挪桌子；讓程序?qū)W習(xí)檢測(cè)皮膚癌，程序卻發(fā)現(xiàn)惡性皮膚病變的照片里往往放著一把尺子，便以尺子來(lái)作為判斷標(biāo)準(zhǔn)。

“獎(jiǎng)勵(lì)函數(shù)選擇合理性在哪里？什么情況下可以擴(kuò)展人工智能的功能和使用范圍？怎么實(shí)現(xiàn)安全監(jiān)管？”何積豐說(shuō)，獎(jiǎng)勵(lì)函數(shù)的錯(cuò)誤解讀，就是人工智能“內(nèi)憂”問(wèn)題中的一個(gè)典型?！皞鹘y(tǒng)軟件里面有目標(biāo)系統(tǒng)，系統(tǒng)的可能行為一般是能夠進(jìn)行描述的。換句話說(shuō)，用戶有明確的要求，系統(tǒng)應(yīng)該給我完成什么任務(wù)？但是機(jī)器學(xué)習(xí)的目標(biāo)系統(tǒng)行為與樣本選擇有關(guān)，沒辦法驗(yàn)證，也沒辦法進(jìn)行有效的分析?！?/p>

人工智能和具體的行業(yè)結(jié)合后，又會(huì)有哪些潛在風(fēng)險(xiǎn)？何積豐以網(wǎng)絡(luò)安全為例做了說(shuō)明。他認(rèn)為，人工智能將從設(shè)計(jì)、防護(hù)和認(rèn)證三個(gè)方面推動(dòng)網(wǎng)絡(luò)安全技術(shù)的發(fā)展，但人工智能本身的算法、算力、網(wǎng)絡(luò)體系和數(shù)據(jù)體系也存在安全需求?！坝绕涫鞘墙鹑陲L(fēng)控和工業(yè)互聯(lián)網(wǎng)領(lǐng)域，很多設(shè)備還是依靠外國(guó)，還有很長(zhǎng)的路要去走。另外也需要建立相應(yīng)的法律、法規(guī)、標(biāo)準(zhǔn)和社會(huì)倫理準(zhǔn)則。”

何積豐認(rèn)為，可信的人工智能應(yīng)該具備魯棒性、透明性、可解釋性、公平性等特征，并且具有自適應(yīng)和自我反省的能力。同時(shí)，人類應(yīng)該為人工智能技術(shù)的開發(fā)設(shè)定邊界，不能做無(wú)限開發(fā)。

在當(dāng)天的圓桌討論環(huán)節(jié)，多位學(xué)者就人工智能的發(fā)展現(xiàn)狀進(jìn)行了探討。上海師范大學(xué)副研究員王俊龍?zhí)岬?，人工智能快速發(fā)展，行業(yè)亂象也隨之出現(xiàn)，他甚至曾看到從業(yè)者公然宣稱要“不擇手段”地收集數(shù)據(jù)。

數(shù)據(jù)是人工智能發(fā)展的重要基礎(chǔ)，但今年以來(lái)，多家數(shù)據(jù)公司因違法違規(guī)問(wèn)題被調(diào)查，揭開了行業(yè)亂象一角。上海交通大學(xué)數(shù)據(jù)法律研究中心執(zhí)行主任何淵認(rèn)為，這也與法律的相對(duì)滯后有關(guān)。例如，刑法雖然就個(gè)人信息買賣作出了規(guī)定，但對(duì)個(gè)人信息收集并沒有詳細(xì)規(guī)定。監(jiān)管上的模糊地帶，導(dǎo)致很多公司缺乏自律、鋌而走險(xiǎn)。

反觀美國(guó)和歐洲，近年來(lái)則屢次曝出天價(jià)處罰案例，谷歌、Facebook等大企業(yè)都曾受罰。在何淵看來(lái)，歐美的監(jiān)管方式有值得借鑒之處。在個(gè)人信息保護(hù)法和數(shù)據(jù)安全法尚未出臺(tái)的情況下，中國(guó)可考慮設(shè)置專門的行政監(jiān)管機(jī)構(gòu)，“處罰力度跟歐美看齊”。

“在法律治理當(dāng)中，技術(shù)的重要性正在快速上升。 技術(shù)產(chǎn)生了新的社會(huì)風(fēng)險(xiǎn)，沖擊現(xiàn)行的法律體系，也對(duì)執(zhí)法理念、執(zhí)法模式提出了新的要求?！北本煼洞髮W(xué)網(wǎng)絡(luò)法治國(guó)際中心執(zhí)行主任吳沈括說(shuō)。

上海交通大學(xué)科學(xué)史與科學(xué)文化研究院副教授閆宏秀表示，人工智能倫理是人工智能未來(lái)發(fā)展的“錨定樁”。有效的人工智能倫理被視為推進(jìn)人工智能向善、確保人類對(duì)其可控及不受傷害、確保人類尊嚴(yán)與人類福祉的一個(gè)重要保障，但人工智能倫理的構(gòu)建并非易事?！翱尚湃稳斯ぶ悄堋睉?yīng)基于信任邊界厘清的前提，兼顧技術(shù)倫理學(xué)的通用原則和人工智能自身的技術(shù)特性，確保人工智能向善。