基于 FaceForensics 數(shù)據(jù)庫(kù)微軟研發(fā)換臉鑒別算法
此前DeepFake換臉在全球引發(fā)軒然大波。從生成足以以假亂真的名人不雅視頻開(kāi)始,很多使用者將這個(gè)“換臉神器”當(dāng)成了視頻造假工具,并通過(guò)社交網(wǎng)絡(luò)將虛假信息傳播到全世界。
目前,最常被使用的 AI 換臉?biāo)惴ㄓ腥N:DeepFake、FaceSwap 和 Face2Face。其中,DeepFake 基于大家所熟知的 GAN 技術(shù),對(duì)于它所生成的臉,人類的識(shí)別率大約為 75%。FaceSwap 是一個(gè)學(xué)習(xí)重建臉部特征的深度學(xué)習(xí)算法,可以對(duì)給出的圖片進(jìn)行模型替換,人類對(duì)于此類換臉的識(shí)別率也是 75%左右。Face2Face 則是用其他真實(shí)的人臉去替換原本的人臉,不涉及人臉的生成,對(duì)于它制造的臉,人類的識(shí)別率只有 41%。作為目前學(xué)術(shù)界最大的合成視頻數(shù)據(jù)庫(kù)之一,由慕尼黑技術(shù)大學(xué)創(chuàng)建的 FaceForensics 數(shù)據(jù)庫(kù)涵蓋了經(jīng)過(guò)以上三種換臉?biāo)惴ň庉嫷墓_(kāi)視頻,以供學(xué)術(shù)研究使用。
多年來(lái),微軟亞洲研究院在人臉識(shí)別、圖像生成等方向都擁有業(yè)界領(lǐng)先的算法和模型。在 CVPR 2018 上,微軟亞洲研究院視覺(jué)計(jì)算組發(fā)表了論文“Towards Open-Set Identity Preserving Face Synthesis”,其中的技術(shù)能夠利用開(kāi)放數(shù)據(jù)集中的數(shù)據(jù),逼真地合成保留圖中人臉身份信息的圖像。深厚的技術(shù)積累讓研究員們對(duì)“進(jìn)攻方”的技術(shù)原理有著更深刻的理解,進(jìn)而能夠更有針對(duì)性地研發(fā)換臉鑒別算法。
因此,微軟亞洲研究院研發(fā)的換臉鑒別算法,基于 FaceForensics 數(shù)據(jù)庫(kù)的測(cè)試結(jié)果均超越了人類肉眼的識(shí)別率以及此前業(yè)界的最好水平*:對(duì)于 DeepFake 的識(shí)別率達(dá)到了 99.87%,對(duì)于 FaceSwap 的識(shí)別率為 99.66%,對(duì)于 Face2Face 的識(shí)別率為 99.67%。
更重要的是,一般的換臉鑒別方案需要針對(duì)每一種換臉?biāo)惴ㄑ邪l(fā)專門(mén)的換臉鑒別模型,想要鑒別一張圖像的真?zhèn)危枰饌€(gè)嘗試所有模型。微軟亞洲研究院的算法則可以用一個(gè)通用模型,去鑒別不同類型的換臉?biāo)惴ㄋ圃斓哪?。與此同時(shí),研究員還對(duì)人臉合成時(shí)難以處理的細(xì)節(jié)進(jìn)行檢查,如眼鏡、牙齒、頭發(fā)邊緣、臉部輪廓,將它們作為算法關(guān)注的重點(diǎn),從而提高識(shí)別準(zhǔn)確率。相比其他同類技術(shù),來(lái)自微軟亞洲研究院的換臉鑒別算法很好地解決了應(yīng)對(duì)動(dòng)態(tài)幅度大、有遮擋、有表情變化的圖像的難題。
除了準(zhǔn)確識(shí)別已知算法合成的圖像,換臉鑒別的另一大挑戰(zhàn)是應(yīng)對(duì)尚未出現(xiàn)的新算法。將現(xiàn)有的換臉鑒別算法直接用于新算法時(shí),它們的有效性往往會(huì)顯著下降。為此,微軟亞洲研究院提出了一種通用換臉鑒別方法。為了更好地考察這一算法對(duì)未知換臉?biāo)惴ǖ蔫b別能力,研究團(tuán)隊(duì)用真實(shí)圖像對(duì)模型進(jìn)行了訓(xùn)練,再讓其辨別多種未知換臉?biāo)惴ㄉ傻膱D像。實(shí)驗(yàn)結(jié)果表明,與基線算法相比,新算法對(duì)各類換臉?biāo)惴ǖ淖R(shí)別率均有大幅提升。隨著研究團(tuán)隊(duì)對(duì)模型的進(jìn)一步優(yōu)化,通用鑒別模型一定能越來(lái)越精確地幫助我們應(yīng)對(duì)新算法所帶來(lái)的問(wèn)題和挑戰(zhàn)。
在微軟看來(lái),要構(gòu)建可信賴的 AI,必須遵循以下六大原則:公平、可靠和安全、隱私、包容、透明、責(zé)任。微軟內(nèi)部還成立了人工智能倫理道德委員會(huì)(AETHER),幫助微軟應(yīng)對(duì) AI 帶來(lái)的倫理和社會(huì)影響。
大約30%經(jīng)過(guò)AI換臉的合成照片、合成視頻是人類僅憑肉眼無(wú)法識(shí)別的,很容易被當(dāng)作真實(shí)信息進(jìn)行再次傳播。這已成為一個(gè)亟待解決的社會(huì)性問(wèn)題,面對(duì)這個(gè)問(wèn)題,我們應(yīng)該怎么做?