科學(xué)家們擔(dān)心，只要對(duì)數(shù)據(jù)進(jìn)行微小的調(diào)整，神經(jīng)網(wǎng)絡(luò)就可能被愚弄進(jìn)行“對(duì)抗攻擊”而非幫助。

去年，美國食品和藥物管理局（FDA）批準(zhǔn)了一種可以捕捉視網(wǎng)膜圖像并自動(dòng)檢測(cè)糖尿病性失明病變的設(shè)備。

這種新型的人工智能技術(shù)正在醫(yī)學(xué)領(lǐng)域迅速蔓延?？茖W(xué)家們正在開發(fā)一種系統(tǒng)，這種系統(tǒng)可以識(shí)別各種疾病的跡象，以及各種圖像中的疾病跡象，從肺部的X射線到腦部的計(jì)算機(jī)輔助測(cè)試掃描（CAT）。與過去相比，這些系統(tǒng)有望幫助醫(yī)生更高效、更經(jīng)濟(jì)地評(píng)估病人。

類似形式的人工智能可能會(huì)從醫(yī)院進(jìn)入醫(yī)療監(jiān)管機(jī)構(gòu)、計(jì)費(fèi)公司和保險(xiǎn)公司使用的計(jì)算機(jī)系統(tǒng)。正如人工智能將幫助醫(yī)生檢查你的眼睛、肺和其他器官一樣，它也將幫助保險(xiǎn)公司確定賠付金額和保單費(fèi)用。

理想情況下，這樣的系統(tǒng)將提高衛(wèi)生保健系統(tǒng)的效率。但哈佛大學(xué)和麻省理工學(xué)院的一組研究人員警告稱，它們可能會(huì)帶來意想不到的后果。

周四在《科學(xué)》雜志上發(fā)表的一篇論文中，研究人員提出了“對(duì)抗性攻擊”的可能性。對(duì)抗性攻擊是指利用微小的數(shù)字?jǐn)?shù)據(jù)改變?nèi)斯ぶ悄芟到y(tǒng)行為的操作。例如，通過改變肺部掃描上的一些像素點(diǎn)，就可以騙過人工智能系統(tǒng)，讓它看到一種實(shí)際上并不存在的疾病，或者看不到一種真正存在的疾病。

作者認(rèn)為，軟件開發(fā)人員和監(jiān)管機(jī)構(gòu)在未來幾年構(gòu)建和評(píng)估人工智能技術(shù)時(shí)，必須考慮這些場(chǎng)景。更令人擔(dān)心的是，黑客可能會(huì)導(dǎo)致病人被誤診，盡管只是存在這種可能性。更有可能的情況是，醫(yī)生、醫(yī)院和其他組織可以操縱人工智能在賬單或保險(xiǎn)軟件方面的操作，以最大限度地增加他們的收入。

Samuel Finlayson是哈佛醫(yī)學(xué)院和麻省理工學(xué)院的一名研究員，也是論文的作者之一。他警告說，因?yàn)檫@么多錢在醫(yī)療保健行業(yè)流動(dòng)交易，利益相關(guān)者誘騙系統(tǒng)已經(jīng)通過巧妙地改變計(jì)費(fèi)代碼和其他數(shù)據(jù)在計(jì)算機(jī)系統(tǒng)，跟蹤保健次數(shù)。人工智能可能會(huì)加劇這個(gè)問題。

他說：“醫(yī)療信息本身的模糊性，再加上常常相互競(jìng)爭(zhēng)的財(cái)務(wù)激勵(lì)，使得高風(fēng)險(xiǎn)的決策能夠在非常細(xì)微的信息上搖擺不定?！?/p>

這篇新論文加劇了人們對(duì)此類攻擊可能性的日益擔(dān)憂，這些攻擊可能針對(duì)從人臉識(shí)別服務(wù)、無人駕駛汽車到虹膜掃描儀和指紋識(shí)別器的所有領(lǐng)域。

對(duì)抗性攻擊利用了許多人工智能系統(tǒng)設(shè)計(jì)和構(gòu)建的一個(gè)基本方面。人工智能越來越多地受到神經(jīng)網(wǎng)絡(luò)的驅(qū)動(dòng)。神經(jīng)網(wǎng)絡(luò)是一種復(fù)雜的數(shù)學(xué)系統(tǒng)，通過分析大量數(shù)據(jù)，在很大程度上獨(dú)立地研究任務(wù)。

例如，通過分析成千上萬的眼部掃描，神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)檢測(cè)糖尿病失明的跡象。這種“機(jī)器學(xué)習(xí)”的規(guī)模是如此之大——人類的行為是由無數(shù)互不相關(guān)的數(shù)據(jù)定義的——以至于它可以產(chǎn)生自己意想不到的行為。

2016年，卡內(nèi)基梅隆大學(xué)的一個(gè)研究小組使用了印在鏡框上的圖案來欺騙面部識(shí)別系統(tǒng)，讓它們誤以為佩戴者是名人。當(dāng)研究人員戴上這些鏡框時(shí)，系統(tǒng)會(huì)把它們誤認(rèn)為名人，包括Milla Jovovich和John Malkovich。

一組中國研究人員也做了類似的實(shí)驗(yàn)，他們將紅外光從帽檐下方投射到戴帽子的人的臉上。這種光線對(duì)佩戴者來說是看不見的，但它可以欺騙面部識(shí)別系統(tǒng)，讓它誤以為佩戴者是音樂家Moby，他是白人，而不是亞洲科學(xué)家。

研究人員還警告稱，對(duì)抗性攻擊可能會(huì)欺騙自動(dòng)駕駛汽車，讓它們看到不存在的東西。通過對(duì)路標(biāo)做一些小的改動(dòng)，他們騙過了汽車，使其檢測(cè)到的是讓路標(biāo)志而不是停車標(biāo)志。

去年年底，紐約大學(xué)的一個(gè)團(tuán)隊(duì)該公司的坦頓工程學(xué)院創(chuàng)造了一種虛擬指紋，這種指紋能夠在22%的情況下欺騙指紋識(shí)別器。換句話說，在所有使用這種閱讀器的手機(jī)或個(gè)人電腦中，有22%的概率是可以被解鎖的。

考慮到生物特征安全設(shè)備和其他人工智能系統(tǒng)的日益普及，這其中的意義深遠(yuǎn)。印度實(shí)施了世界上最大的基于指紋的身份識(shí)別系統(tǒng)，用于發(fā)放政府津貼和服務(wù)。銀行正在向自動(dòng)取款機(jī)引入人臉識(shí)別功能。以與谷歌同屬一家母公司的Waymo為例的一些公司正在公共道路上測(cè)試自動(dòng)駕駛汽車。

現(xiàn)在，F(xiàn)inlayson先生和他的同事在醫(yī)療領(lǐng)域發(fā)出了同樣的警告：隨著監(jiān)管機(jī)構(gòu)、保險(xiǎn)公司和計(jì)費(fèi)公司開始在軟件系統(tǒng)中使用人工智能，企業(yè)可以學(xué)會(huì)利用底層算法。

例如，如果一家保險(xiǎn)公司使用人工智能來評(píng)估醫(yī)療掃描結(jié)果，那么一家醫(yī)院就可以操縱掃描結(jié)果，以提高醫(yī)療支出。如果監(jiān)管機(jī)構(gòu)建立人工智能系統(tǒng)來評(píng)估新技術(shù)，設(shè)備制造商可能會(huì)改變圖像和其他數(shù)據(jù)，試圖欺騙該系統(tǒng)，使其獲得監(jiān)管部門的批準(zhǔn)。

研究人員證明，在他們的論文中，通過改變一幅良性皮膚病變圖像中的少量像素，一種診斷人工智能系統(tǒng)可能被欺騙，以確定病變?yōu)閻盒?。他們發(fā)現(xiàn)，簡(jiǎn)單地旋轉(zhuǎn)圖像也能產(chǎn)生同樣的效果。

對(duì)患者病情的書面描述做一些小改動(dòng)也可能改變?nèi)斯ぶ悄艿脑\斷：“酒精濫用”可能產(chǎn)生與“酒精依賴”不同的診斷結(jié)果，而“腰痛”可能產(chǎn)生與“背痛”不同的診斷結(jié)果。

反過來，以這樣或那樣的方式改變這樣的診斷很容易使保險(xiǎn)公司和最終從中獲利的醫(yī)療機(jī)構(gòu)受益。研究人員認(rèn)為，一旦人工智能深深扎根于醫(yī)療體系，企業(yè)將逐漸采取能帶來最多收入的行為。

Finlayson先生說，最終的結(jié)果可能會(huì)對(duì)患者造成傷害。為了滿足保險(xiǎn)公司使用的人工智能，醫(yī)生對(duì)醫(yī)療掃描或其他患者數(shù)據(jù)所做的改變，最終可能會(huì)成為患者的永久記錄，并影響未來的決策。

醫(yī)生、醫(yī)院和其他組織有時(shí)已經(jīng)在操縱軟件系統(tǒng)，這些系統(tǒng)控制著整個(gè)行業(yè)數(shù)十億美元的資金流動(dòng)。例如，為了提高醫(yī)療支出，醫(yī)生們巧妙地修改了賬單代碼——例如，將簡(jiǎn)單的X射線描述為更復(fù)雜的掃描。

賓夕法尼亞大學(xué)沃頓商學(xué)院助理教授Hamsa Bastani研究過醫(yī)療體系的操縱，他認(rèn)為這是一個(gè)重大問題。“有些行為是無意的，但并不是所有的，”她說。

作為機(jī)器學(xué)習(xí)系統(tǒng)的專家，她質(zhì)疑引入人工智能是否會(huì)讓問題變得更糟。在現(xiàn)實(shí)世界中實(shí)施對(duì)抗性攻擊是困難的，而且目前還不清楚監(jiān)管機(jī)構(gòu)和保險(xiǎn)公司是否會(huì)采用容易受到此類攻擊的機(jī)器學(xué)習(xí)算法。