與IBM和微軟的同類服務相比,亞馬遜的面部分析軟件在區(qū)分某些種族的性別時準確率較低。這是麻省理工學院研究人員在近日發(fā)表的一項新研究中得出的結論,該研究發(fā)現(xiàn),在特定情況下,亞馬遜的人臉識別技術Rekognition無法精準地確定女性和膚色較深面部的性別。
據(jù)外媒新聞。該項研究的聯(lián)合作者稱,在2018年進行的實驗中,Rekognition錯誤地將19%的女性圖像識別為男性,將31%的深膚色女性圖像識別為男性。相比之下,微軟在識別深色皮膚人群性別時,將女性錯認為男性的比例只有1.5%。
▲圖自亞馬遜
亞馬遜對這項研究提出質疑。它表示,Rekognition升級版的內測結果顯示,該技術對于識別性別的正確率不存在人種差異。此外,亞馬遜認為這篇論文沒有清楚地說明在實驗中使用的置信度閾值,即Rekognition的判斷被認為是正確而必須達到的最低精確度。
在向VentureBeat提供的一份聲明中,AWS的深度學習和人工智能總經(jīng)理Matt Wood博士區(qū)分了這兩種情況:面部分析指的是在視頻或圖像中辨認出臉部,并確定其一般屬性;而面部識別是將單個人臉與其它視像中的人臉相匹配。他說,根據(jù)“面部分析”的結果來判斷“面部識別”的準確性是“不可行的”,而且他認為這篇論文所談論的和“客戶如何使用Rekognition”是兩回事。
Wood博士說:“使用最新版本的Rekognition,從議會網(wǎng)站和Megaface人臉數(shù)據(jù)庫下載百萬張圖像數(shù)據(jù),我們發(fā)現(xiàn),置信度閾值設置為0.99時,誤報數(shù)為零。我們通過錄入和反饋來不斷改進這項技術,且支持創(chuàng)建第三方評估、數(shù)據(jù)集、衡量基準。”
這是亞馬遜第二次因為Rekognition產生的偏見而陷于爭議中。
在今年夏天美國公民自由聯(lián)盟的測試中,Rekognition在把25000張罪犯照片與國會議員的官方照片進行比較時,錯誤地將28名國會代表視為罪犯,而38%的錯誤匹配都是有色人種。
這個事件并非唯一。
2012年的一項研究表明,來自供應商Cognitec的面部算法,在非洲裔美國人上的錯誤比白種人高5%至10%,研究人員在2011年時發(fā)現(xiàn),在中國,日本和韓國開發(fā)的面部識別模型難以區(qū)分白人面孔和那些東亞人。2018年2月,麻省理工學院媒體實驗室的研究人員發(fā)現(xiàn),微軟,IBM和中國公司Megvii的面部識別錯誤地識別了高達7%的淺膚色女性,高達12%的深色皮膚男性和高達35%的深色皮膚女性。
弗吉尼亞大學的研究人員進行的一項獨立研究發(fā)現(xiàn),兩個著名的研究圖像集ImSitu和COCO,后者由Facebook,微軟和創(chuàng)業(yè)公司MightyAI共同發(fā)起。在他們對體育,烹飪的描述中表現(xiàn)出性別偏見,和其他活動。(例如,購物的圖像與女性有關,而教練則與男性有關。)
也許最臭名昭著的是,2015年,一位軟件工程師報告說,Google Photos的圖像分類算法將非裔美國人視為“大猩猩”。
但是也有令人鼓舞的進步跡象。
6月,微軟與人工智能(AI)專家合作,修改并擴展了用于訓練Face API的數(shù)據(jù)集,這是一個Microsoft Azure API,提供用于檢測,識別和分析圖像中人臉的算法。通過膚色,性別和年齡的新數(shù)據(jù),它能夠將皮膚較深的男性和女性的錯誤率分別降低20倍和9倍。
亞馬遜表示,它正在通過AWS機器學習研究基金為研究項目和員工提供資金,不斷致力于提高Rekognition的準確性,最近一次是通過2018年11月的重大更新。它表示對建立面部分析和面部識別的標準化測試以及與監(jiān)管機構合作指導其使用非常感興趣。
Wood博士補充說:“我們?yōu)檫@一領域的學術研究提供了資金,也對自己的團隊進行了大量投資,而且努力還將繼續(xù)。我們致力于改善面部識別、面部分析,強調解釋結果時有很高的可信度,也會重點關注人工審查的作用、標準化測試等方面。我們感謝為改善這些技術做出貢獻的客戶和學者。"
麻省理工學院的研究結果計劃于下周在夏威夷檀香山的“人工智能、倫理和社會促進會議”上公布。