你見(jiàn)過(guò)蒙娜麗莎動(dòng)起來(lái)的樣子嗎?只要一張照片，就能把靜態(tài)的人物變成動(dòng)態(tài)的，而且還可以根據(jù)你的表情動(dòng)起來(lái)。要是用在換臉上，恐怕Deepfakes被要拍在沙灘上了。

雖然似乎沒(méi)有微笑時(shí)那么好看，但不得不承認(rèn)的是，動(dòng)圖看起來(lái)確實(shí)跟畫(huà)中的蒙娜麗莎十分相似。

除了蒙娜麗莎，愛(ài)因斯坦和瑪麗蓮·夢(mèng)露也可以從靜態(tài)圖變成不同表情的動(dòng)圖。

這是莫斯科三星 AI 研究中心和斯科爾科沃科學(xué)技術(shù)研究院的最新成果。

跟之前的 Deepfake 技術(shù)類(lèi)似，兩者都是從已有圖片或視頻中提取特征，然后經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)的加工，生成了足可以假亂真的動(dòng)態(tài)圖像或連貫視頻。

不同的是，Deepfake 需要大量訓(xùn)練和數(shù)據(jù)才能生成假圖像，而這項(xiàng)基于卷積神經(jīng)網(wǎng)絡(luò)和少樣本學(xué)習(xí)的新技術(shù)，只需要非常小的數(shù)據(jù)集，甚至只靠一張圖片，就可以生成圖片中主人公的連貫面部動(dòng)圖，可以是說(shuō)話(huà)的樣子，也可以是其他表情，大大提升了模型的訓(xùn)練效率和廣泛性。

研究人員還展示了 AI 如何從兩張圖片中提取面都特征，之后融合為一張圖片，與之前英偉達(dá)的 StyleGAN 技術(shù)類(lèi)似。(每刷新它一次，你都將得到一個(gè)從未存在過(guò)的人)

該研究成果以預(yù)印本論文的形式發(fā)表于 Arxiv 上。

利用少樣本學(xué)習(xí)實(shí)現(xiàn) AI 換臉

用 AI 實(shí)現(xiàn)換臉和造假人已經(jīng)不是什么新鮮事，幾年前大火的 Deepfake 應(yīng)用和最近的英偉達(dá) StyleGAN 都可以實(shí)現(xiàn)。它們還可以繼續(xù)升級(jí)和改良，比如結(jié)合 Deepfake 和 GAN，從而獲得更厲害的“造假”效果。

只不過(guò)這類(lèi)技術(shù)都有一個(gè)缺點(diǎn)，就是需要針對(duì)某人、某物或某類(lèi)圖片(樣本)進(jìn)行大量訓(xùn)練，才能獲得最佳效果。

于是研究團(tuán)隊(duì)希望打造一個(gè)“少樣本學(xué)習(xí)(few-shot learning)”模型，在訓(xùn)練完成之后，可以用最少的目標(biāo)圖片，實(shí)現(xiàn)對(duì)目標(biāo)的模仿，尤其是模擬出目標(biāo)人物說(shuō)話(huà)時(shí)的樣子，包括面部表情、眼睛、神態(tài)、臉型和嘴型等變化。

少樣本學(xué)習(xí)是近年深度學(xué)習(xí)領(lǐng)域的熱門(mén)研究方向之一，旨在通過(guò)預(yù)訓(xùn)練模型獲取先驗(yàn)知識(shí)，改善傳統(tǒng)深度學(xué)習(xí)技術(shù)對(duì)海量數(shù)據(jù)的依賴(lài)，在數(shù)據(jù)缺失的情況下，還可以保持學(xué)習(xí)效率。

為了實(shí)現(xiàn)這一目標(biāo)，研究人員采用了元學(xué)習(xí)(meta-learning)方法，讓 AI 具備自學(xué)能力。

換句話(huà)說(shuō)，就是讓 AI 充分利用現(xiàn)有知識(shí)，來(lái)分析未來(lái)任務(wù)的特征，從而學(xué)會(huì)“如何學(xué)習(xí)”。比如讓 AI 觀看張三說(shuō)話(huà)時(shí)的面部表情，提取動(dòng)作特征(現(xiàn)有知識(shí))，再試著看著李四的臉提取特征(新任務(wù))，然后模擬出李四說(shuō)話(huà)時(shí)的面部動(dòng)作。

建立元學(xué)習(xí)架構(gòu)

他們創(chuàng)建了三套神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)元學(xué)習(xí)架構(gòu)。

第一個(gè)是嵌入器網(wǎng)絡(luò)(Embedder)，負(fù)責(zé)將輸入視頻幀和人物面部特征映射成多維度向量。他們使用了開(kāi)源的面部特征提取代碼。訓(xùn)練視頻的每一幀都有對(duì)應(yīng)的面部特征圖，由不同顏色的線(xiàn)條勾勒出來(lái)，里面包含的五官信息與姿勢(shì)無(wú)關(guān)。

第二個(gè)是生成器網(wǎng)絡(luò)(Generator)，將嵌入器網(wǎng)絡(luò)沒(méi)看過(guò)的新特征圖和多維度向量作為輸入值，穿過(guò)到多個(gè)卷積層，輸出一個(gè)合成(視頻)幀——會(huì)使用參考視頻幀(ground truth)作為參考。生成器的訓(xùn)練目的是讓合成幀和參考幀盡可能相似，更好地模擬目標(biāo)對(duì)象的動(dòng)態(tài)表情。

最后一個(gè)是鑒別器網(wǎng)絡(luò)(Discriminator)，負(fù)責(zé)整合和處理原視頻幀、合成視頻幀、對(duì)應(yīng)的面部特征圖和訓(xùn)練序列。它通過(guò)序列數(shù)，判斷合成幀與參考幀是否吻合，有多大差距，以及與面部特征圖是否匹配。根據(jù)匹配程度，網(wǎng)絡(luò)會(huì)計(jì)算出一個(gè)真實(shí)性得分，顯示出兩者之間的差別。

研究人員會(huì)通過(guò)(條件)鑒別器輸出的得分對(duì)三個(gè)網(wǎng)絡(luò)進(jìn)行整體優(yōu)化，感知和對(duì)抗損失函數(shù)都包含其中。

元學(xué)習(xí)模型構(gòu)建完成后，研究人員使用了開(kāi)源的 VoxCeleb1 和 VoxCeleb2 數(shù)據(jù)集，進(jìn)行訓(xùn)練和測(cè)試。前者擁有 10 萬(wàn)多個(gè)視頻樣本，來(lái)自 1251 個(gè)名人，被用來(lái)與基準(zhǔn)模型性能進(jìn)行比較，后者擁有 100 多萬(wàn)個(gè)樣本，來(lái)自 6112 個(gè)人，用于進(jìn)行預(yù)訓(xùn)練和測(cè)試新模型效果。

在小樣本學(xué)習(xí)的前提下，模型需要憑借預(yù)訓(xùn)練的經(jīng)驗(yàn)，觀看一小段完全沒(méi)有見(jiàn)過(guò)的一個(gè)人的視頻，在每一幀中模仿這個(gè)人的面部表情，并與真正的表情對(duì)比，得出結(jié)果。AI 可以使用的幀越多(圖片越多)，比如從 1 張圖增加到 32 張圖，得到的最終效果就越貼近真實(shí)。

雖然從綜合評(píng)分來(lái)看，模型的準(zhǔn)確度有時(shí)不及基準(zhǔn)模型，但這是少樣本方法和模型本身導(dǎo)致的，還有進(jìn)一步的提升空間。而且我們從結(jié)果也能看出，AI 模擬的整體效果還是可以接受的。

除此之外，研究人員還嘗試了靜圖變動(dòng)圖，也就是我們最開(kāi)始看到的蒙娜麗莎和愛(ài)因斯坦動(dòng)圖。模型可以在一定程度上模仿出相似的表情，但背景圖案，尤其是有頭發(fā)的地方，偶爾會(huì)出現(xiàn)小瑕疵。

不過(guò)瑕不掩瑜，這樣一個(gè)少樣本對(duì)抗網(wǎng)絡(luò)的元學(xué)習(xí)框架，非常適合在沒(méi)有大量數(shù)據(jù)的情況下實(shí)現(xiàn) AI 換臉。而且還能啟發(fā)類(lèi)似的后續(xù)研究，在該模型的基礎(chǔ)上改良和創(chuàng)新，比如通過(guò)改善面部特征提取過(guò)程，讓人物表情模擬更加自然，或者加入眼神凝視等目前無(wú)法實(shí)現(xiàn)的高難特征提取機(jī)制。