ImaginaTIon參加了上周舉辦的GDC 2018大會,今年的增強現(xiàn)實(AR)技術仍然令人興奮,我們在小矮人和emoji上做了一些有意思的嘗試。我們在人臉檢測Demo上增加整容功能——將參觀者的臉化妝成小矮人形象。
那么具體是怎么操作的呢?我們設置了一個實時反饋攝像頭,然后每一幀都能實時的檢測到包含人臉的區(qū)域。然后我們會在人臉上增加小矮人帽以及個性化的頭發(fā)和胡須。
為什么?為什么不呢?
從技術方面來看,這個Demo運行在集成了ImaginaTIon PowerVR G6430 GPU的谷歌Nexus平臺上,我們已經進行了適當?shù)男薷氖顾С謱崟r的webcam視頻流輸入,采用OpenCL進行人臉檢測,最后將結果渲染到屏幕上。這個算法沒有采用神經網絡,盡管它在近幾年來變得很流行。與之相反,這個Demo中檢測器的基礎采用的是局部二值模式(LBP)分類器,它會檢測每個相鄰的像素,并基于中心像素與四周相鄰像素的閾值差異計算出結果。
在此設置中LBP是弱分類器,這些弱分類器的輸出會被組合成級聯(lián)的強分類器,強分類器來決定檢測的結果是否確實是真正的人臉。除了核心算法之外,還有一些其他的啟發(fā),比如精確的提取含有皮膚顏色的區(qū)域以及處理有旋轉角度的人臉。如果你對PowerVR傳統(tǒng)機器視覺包括人臉檢測有濃厚的興趣,請點擊鏈接了解更多信息。
這個基于神經網絡的人臉檢測Demo不僅僅具備人臉檢測功能,還能提供身份識別,第一次進入到畫面內的人臉會被注冊記錄,當再次進入畫面時就能夠識別了。這兩個Demo都是基于GPU的,如果使用我們最新的PowerVR 2NX神經網絡加速器,人臉檢測采用專用的硬件來執(zhí)行,能提供更高的性能,同時也可以釋放GPU去執(zhí)行其他任務(比如渲染物理層的小矮人形象或者emoji表情)。閱讀這篇博客了解更多相關細節(jié):為什么說PowerVR 2NX NNA是神經網絡加速器的未來?。