記者消息，7 月 4 號，微軟官方發(fā)布消息，測試版的 SwiftKey（記者按：2016 年，SwiftKey 被微軟收購）中加入了新功能 Puppets，這個新功能提供了熊貓、恐龍、貓頭鷹等多個動物的 3D 形象，還能夠通過 AI 技術(shù)來實時反映用戶的表情和頭部動態(tài)。

盡管 3D 表情近幾年開始席卷全球，但值得一提的是，人們關(guān)于創(chuàng)建 3D 動態(tài)形象的想法，早在十幾年前就已經(jīng)生根發(fā)芽了。

從好萊塢大片中得到的靈感

2005 年左右，運動追蹤技術(shù)還遠未達到成熟階段，即便是在 2009 年上映的《阿凡達》，也需要演員提前在臉上標記特定的小點，穿上帶有特制小球的衣服，幫助光學系統(tǒng)追蹤人臉和身體的動作變化，最終精準地捕捉到人物角色的表情和動作。

記者注：上圖為《阿凡達》劇照

Faceshift 公司（記者注：Faceshift 是一家人臉追蹤技術(shù)公司，2015 年被蘋果公司收購）的聯(lián)合創(chuàng)始人之一 Mark Pauly 表示：

為演員的臉部標點是一個很不錯的想法，因為這樣可以幫助簡化運動追蹤的計算量。但這需要大量的設(shè)備，還需要花費大量的時間成本。

Mark Pauly 和其他研究者開始尋求新的方法——開始探索如何使用深度感應相機和算法來取代傳統(tǒng)的方法，使面部表情追蹤變得更簡單。而他們的最終目標是制作出可以實時模仿人類表情的動態(tài)數(shù)字形象。

由于人臉總是持續(xù)變化，因此，為了讓機器可以準確識別出面部運動，必須讓它識別出在不同環(huán)境或狀態(tài)下的人臉，比如變幻的光線，頭部的旋轉(zhuǎn)角度，人臉的膚色等。接下來就是不斷地訓練算法來處理這些面部數(shù)據(jù)信息，然后建立大量的 3D 模型，形成模擬形象。

人臉追蹤技術(shù)從電影走向手機

在 2013 年開始，蘋果就陸續(xù)收購了 3D 傳感器制造商 PrimeSense、圖像識別公司 ?Perceptio、增強現(xiàn)實公司 Metaio 和 人臉追蹤技術(shù)公司 Faceshift。從現(xiàn)在看來，這波瘋狂收購的背后，很大一部分原因是蘋果在為推出 iPhone X 做準備。

2017 年 9 月，蘋果推出了 iPhone X，從外形上來看，除了經(jīng)典 Home 鍵的消失，屏幕頂部還出現(xiàn)了一塊“劉海”區(qū)域。

在這塊神秘的黑色劉海之下，內(nèi)置了麥克風、揚聲器、前置攝像頭，以及包括環(huán)境光傳感器、距離感應器、紅外鏡頭、泛光感應元件、點陣投影器在內(nèi)的 5 種感應器。這 5 種感應器組成了原深感攝像頭系統(tǒng)（True Depth Camera ?System），它可以捕捉并分析用戶的面部 3D 結(jié)構(gòu)特征，類似 3D 建模一樣，然后再通過蘋果神經(jīng)引擎（A11 Bionic Neural Engine）即時處理識別數(shù)據(jù)。

基于原深感攝像頭和神經(jīng)網(wǎng)絡的支持，3D 版的 Emoji——Animoji 就這樣應運而生了；用戶可以在使用 iMessage 時開啟 Animoji 錄制一段不超過 10 秒的小視頻，而 3D 動畫形象會同步用戶的表情，而且這個功能還支持錄音。

雖然，Animoji 只是作為 iMessage 的一個功能出現(xiàn)，但從 3D 動畫表情創(chuàng)新的層面上來說，Animoji 可以算得上是開山之作，它讓好萊塢大片中的 3D 人臉追蹤技術(shù)走向了手機。

在蘋果開始采用 3D 結(jié)構(gòu)光技術(shù)來支持人臉識別和 Animoji 之后，三星、華為、小米等手機廠商也在不斷努力之后，實現(xiàn)了這一技術(shù)，并打造了屬于自己的“Animoji”，甚至逐漸擺脫了對原深感攝像頭的依賴。

基于深度神經(jīng)系統(tǒng)的 Puppets

與蘋果 Animoji 不同的是，微軟 3D 動畫表情 Puppets 的載體不在于系統(tǒng)內(nèi)的短信（iMessage），而是在于第三方軟件 SwiftKey；這款個性化輸入法基于先進流利的預言推理引擎，能夠進行十分快速的輸入操作——微軟預計，SwiftKey 每周可以節(jié)約總計 2000 萬個小時的打字時間。

除此之外，Puppets 最大的不同在于，蘋果 Animoji，以及其他許多 3D 動態(tài)表情都需要原深感攝像頭的支持，從而掃描人臉的 3D 結(jié)構(gòu)圖來建模，而 Puppets 僅用普通攝像頭也能塑造出實時 3D 動態(tài)表情。這是因為 Puppets 的運作原理基于一個由志愿者提供圖片和視頻集成的龐大數(shù)據(jù)庫，微軟通過這個數(shù)據(jù)庫來訓練自己的深度神經(jīng)網(wǎng)絡，從而識別用戶的表情，比如微笑和眨眼，直接進行模仿。

用戶可以通過 Puppets 錄制長達 30 秒的視頻，視頻會實時轉(zhuǎn)化為 3D 動態(tài)形象，這些小視頻還可以分享到社交媒體或其他平臺上。

微軟產(chǎn)品經(jīng)理 Deepak Paramanand 表示：

我們希望 SwiftKey 用戶在與家人朋友溝通時，除了預先設(shè)置的 GIF 動圖之外，還能有更多的選擇，因此我們創(chuàng)建了 Puppets。人們希望快速打字，SwiftKey 能夠滿足這一點；人們也希望以有趣的方式來表達自己，這一點 SwiftKey 現(xiàn)在也能做到了。

記者小結(jié)

從應用在 3D 電影中的人臉追蹤技術(shù)，到蘋果開先河的 3D 動畫表情 Animoji，再到微軟的 Puppets，這些技術(shù)和產(chǎn)品或許有其不足之處，但至少可以清楚地看到它們在隨著迭代而成長。

值得一提的是，目前推出的 Puppets 還只是測試版，而且僅限于 Android 手機；更多關(guān)于 Puppets 的動態(tài)，記者(公眾號：記者)將會繼續(xù)關(guān)注。