近年來，嵌入式平臺物體追蹤技術(shù)呈現(xiàn)出蓬勃發(fā)展的態(tài)勢，在諸多領(lǐng)域展現(xiàn)出了強大的應(yīng)用價值，并隨著科技進(jìn)步持續(xù)拓展其應(yīng)用邊界與深度，不斷推動各行業(yè)朝著智能化方向邁進(jìn)。

在安防領(lǐng)域，嵌入式平臺物體追蹤技術(shù)已然成為安全防范工作的得力助手。借助各類傳感器與高清攝像頭，能夠精準(zhǔn)捕捉可疑人員、車輛等目標(biāo)的實時動態(tài)，實現(xiàn)對其全方位、不間斷的追蹤。例如，在大型商場、機場等人流量密集且安全要求較高的場所，監(jiān)控系統(tǒng)中的嵌入式設(shè)備可以通過物體追蹤技術(shù)，迅速鎖定行為異常的人員，跟蹤其行動軌跡，一旦發(fā)現(xiàn)有違法或危險行為的跡象，便能及時通知安保人員進(jìn)行干預(yù)，有效預(yù)防盜竊、恐怖襲擊等安全事件的發(fā)生，極大地提升了區(qū)域的整體安全性。

工業(yè)自動化領(lǐng)域同樣受益于嵌入式平臺物體追蹤技術(shù)。在現(xiàn)代化的生產(chǎn)線上，該技術(shù)可對產(chǎn)品從原材料加工到成品組裝的各個環(huán)節(jié)進(jìn)行精確跟蹤。通過實時監(jiān)測產(chǎn)品的位置、狀態(tài)等信息，確保每一道工序都能準(zhǔn)確無誤地執(zhí)行，不僅有助于提高生產(chǎn)效率，避免因人為疏忽或機器故障導(dǎo)致的生產(chǎn)延誤，還能在質(zhì)量把控方面發(fā)揮關(guān)鍵作用，及時發(fā)現(xiàn)生產(chǎn)過程中的次品或缺陷產(chǎn)品，方便企業(yè)及時采取糾正措施，保障產(chǎn)品質(zhì)量的穩(wěn)定性。

智能交通方面，嵌入式平臺物體追蹤技術(shù)更是不可或缺。它可以通過安裝在道路關(guān)鍵位置的攝像頭以及車載終端等設(shè)備，實時追蹤車輛的行駛軌跡、速度等信息。交通管理部門利用這些數(shù)據(jù)，能夠?qū)崿F(xiàn)對交通流量的智能調(diào)控，比如根據(jù)實時路況動態(tài)調(diào)整信號燈時長，合理引導(dǎo)車輛分流，緩解交通擁堵狀況；同時，對于超速、違規(guī)變道等交通違法行為也能做到精準(zhǔn)抓拍，維護(hù)良好的交通秩序，提升道路交通安全水平。

智能家居場景下，嵌入式平臺物體追蹤技術(shù)為人們的生活帶來了諸多便利與舒適體驗。例如，通過追蹤家庭成員在室內(nèi)的活動情況，智能照明系統(tǒng)可以實現(xiàn)人來燈亮、人走燈滅的自動化控制；空調(diào)系統(tǒng)能依據(jù)人員所在位置及活動狀態(tài)，自動調(diào)節(jié)室內(nèi)不同區(qū)域的溫度，達(dá)到節(jié)能且舒適的效果；智能電視等娛樂設(shè)備也可以根據(jù)用戶的觀看習(xí)慣和位置，自動調(diào)整畫面角度和音量大小等參數(shù)，為用戶打造個性化、智能化的家居環(huán)境[1]。

隨著MCU產(chǎn)品的迅猛發(fā)展與快速迭代，MCU早已突破傳統(tǒng)控制單元的局限。如今，它的計算能力與資源配置已得到極大提升，足以支撐更為繁雜的運算任務(wù)。MCU憑借著低成本、低功耗的顯著優(yōu)勢，以及與生俱來的卓越實時性，為實時控制系統(tǒng)注入了人工智能的強大活力，使其成功具備AI功能。

本文以一個能追蹤人臉位置的風(fēng)扇為例，添加了物體檢測追蹤和電機控制模塊，使得風(fēng)扇具備了實時的人臉追蹤功能。

2. 工程實現(xiàn)

人臉追蹤風(fēng)扇作為嵌入式平臺物體追蹤技術(shù)的一個具體應(yīng)用案例，有機地將多種先進(jìn)技術(shù)整合在一起，實現(xiàn)了風(fēng)扇對人臉的實時追蹤功能。

首先，主控芯片的選擇至關(guān)重要，本案例選用了恩智浦的MCXN947芯片，它搭載了雙核Cortex-M33作為主運算單元，主頻高達(dá)150 M，能夠滿足復(fù)雜運算對處理速度的要求。同時，內(nèi)置了512 K的RAM和2 M的Flash，為數(shù)據(jù)的臨時存儲和程序的運行提供了必要的空間支持。尤為關(guān)鍵的是，芯片集成了一顆NPU (神經(jīng)網(wǎng)絡(luò)處理單元)，這一組件在加速運行神經(jīng)網(wǎng)絡(luò)模型方面發(fā)揮著不可替代的作用，使得物體追蹤算法能夠在嵌入式平臺有限的資源條件下得以高效執(zhí)行，為整個系統(tǒng)的穩(wěn)定運行和高效運算提供了堅實基礎(chǔ)。

在圖像采集環(huán)節(jié)，攝像頭負(fù)責(zé)采集外界的圖像信息，將其作為后續(xù)處理的原始數(shù)據(jù)輸入。采集到的圖像分辨率為640 × 480，數(shù)據(jù)格式為RGB565，不過一幀數(shù)據(jù)大小達(dá)到了600 KB，超出了MCXN947內(nèi)部RAM的大小。為解決這一數(shù)據(jù)處理難題，系統(tǒng)運用了SmartDMA技術(shù)對圖像數(shù)據(jù)進(jìn)行切片處理，每次中斷僅處理部分?jǐn)?shù)據(jù)，并且把接收到的原始圖像經(jīng)過剪裁后顯示在LCD上，方便用戶直觀查看實時圖像；另一方面，我們把原始圖像經(jīng)過下采樣后，并且把下采樣后的切片數(shù)據(jù)增量緩存，直到接收完一幀圖像的所有切片，得到完整的下采樣后的圖像，再將其輸入到物體追蹤算法中進(jìn)行進(jìn)一步分析。

算法運算階段是實現(xiàn)人臉追蹤功能的核心環(huán)節(jié)。我們先是通過物體檢測算法對輸入的圖像數(shù)據(jù)進(jìn)行分析，計算得出物體的位置信息，具體而言，就是能夠確定人臉的中心點坐標(biāo)以及長、寬等關(guān)鍵參數(shù)。隨后，在LCD上繪制白色框，將其疊加顯示在實時圖像上，這樣使用者便可以直觀地看到算法的運算結(jié)果。接著，對獲取到的位置信息進(jìn)行SORT (Simple Online and Realtime Track)運算，通過該運算可以得到穩(wěn)定的軌跡信息，為后續(xù)電機控制提供精準(zhǔn)的數(shù)據(jù)依據(jù)。

最后是電機控制環(huán)節(jié)，基于前面算法運算所得到的軌跡信息，通過PWM (脈沖寬度調(diào)制)技術(shù)來控制水平和垂直兩個方向的舵機進(jìn)行相應(yīng)轉(zhuǎn)動，進(jìn)而帶動風(fēng)扇旋轉(zhuǎn)，使其能夠精準(zhǔn)地追蹤攝像頭采集到的人臉位置，確保風(fēng)扇始終朝著人臉?biāo)诜较蛩惋L(fēng)，實現(xiàn)了人臉追蹤風(fēng)扇這一智能化的功能應(yīng)用。系統(tǒng)結(jié)構(gòu)見圖1所示。

Figure 1. Block diagram of system

圖1. 系統(tǒng)框架圖

3. 物體追蹤算法

目前常用的物體追蹤算法主要有：傳統(tǒng)算法和基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法。

傳統(tǒng)算法常用幀差法和均值漂移法。幀差法[2]通過比較相鄰兩幀圖像之間的像素差異來判斷物體是否發(fā)生移動，進(jìn)而實現(xiàn)對物體的追蹤。其核心在于，移動的物體在連續(xù)的視頻幀中會呈現(xiàn)出明顯的像素變化，而靜止的背景像素變化則相對較小。它的計算過程較為簡單，對硬件計算資源的要求相對不高，這使得其能夠很好地適配那些計算能力有限的嵌入式設(shè)備。同時它局限性也很明顯。它對光照條件的變化較為敏感，當(dāng)光照出現(xiàn)明顯改變時，比如從白天到夜晚、或是有強光突然照射等情況，即使物體本身沒有移動，前后幀的像素差異也可能會很大，從而容易導(dǎo)致誤判，影響追蹤的準(zhǔn)確性。同時，對于物體的陰影部分，幀差法可能會將其誤識別為移動物體，而且在面對快速移動的物體時，由于幀率的限制，可能出現(xiàn)漏檢的情況，像快速奔跑的小動物等在畫面中可能無法被準(zhǔn)確追蹤。

均值漂移法[3]是一種基于密度估計的非參數(shù)算法，其算法流程大致如下：首先，在圖像中選擇一個初始窗口(通常為矩形)，這個窗口用于框定要追蹤的目標(biāo)物體；接著，計算該窗口內(nèi)像素的顏色直方圖，以此作為目標(biāo)物體的模型特征表示；然后，根據(jù)目標(biāo)模型的顏色分布情況，在后續(xù)的幀圖像中，通過不斷迭代計算窗口的平均漂移量，也就是計算當(dāng)前窗口內(nèi)像素的顏色直方圖與目標(biāo)模型顏色直方圖之間的差異，進(jìn)而更新窗口的位置和尺寸，最終實現(xiàn)目標(biāo)的跟蹤。它的局限性是無法處理背景復(fù)雜，相對特征不明顯的物體檢測。

隨著深度學(xué)習(xí)的發(fā)展，由基于神經(jīng)網(wǎng)絡(luò)的物體檢測算法加上基于卡爾曼濾波實現(xiàn)的SORT [4]算法逐漸成為物體追蹤的主流實現(xiàn)方法，這也是我們采用的方法，接下來詳細(xì)介紹。

3.1. 物體檢測算法

目前在嵌入式平臺上比較成熟的基于深度學(xué)習(xí)的物體檢測算法主要由兩大類：SSD算法以及YOLO算法。

3.1.1. 模型選擇

SSD (Single Shot MultiBox Detector) [5]算法同樣是一種基于深度學(xué)習(xí)的目標(biāo)檢測算法，它屬于單階段(one-stage)檢測方法，能夠在單次前向傳播中就完成目標(biāo)檢測任務(wù)，兼具速度快和精度相對較高的特點。SSD 的一個顯著區(qū)別在于它提取了不同尺度的特征圖來做檢測，大尺度特征圖(較靠前的特征圖)可以用來檢測小物體，而小尺度特征圖(較靠后的特征圖)用來檢測大物體，這使得它在對不同大小目標(biāo)的檢測上更加全面和準(zhǔn)確。

YOLO (You Only Look Once) [6]系列算法在嵌入式設(shè)備上的物體追蹤應(yīng)用中有著顯著的特點。其核心思想是將物體檢測問題轉(zhuǎn)換為回歸問題，采用單個神經(jīng)網(wǎng)絡(luò)直接在整個圖像上預(yù)測邊界框和類別概率，摒棄了傳統(tǒng)的基于區(qū)域建議的復(fù)雜流程，實現(xiàn)了端到端的檢測。在嵌入式設(shè)備這種對實時性要求較高、計算資源相對受限的環(huán)境下，YOLO算法的快速檢測和識別目標(biāo)能力凸顯出極大優(yōu)勢。

YOLO與SSD相比，精度更高且小目標(biāo)識別率更好，YOLO模型的網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜，檢測頭網(wǎng)絡(luò)具備特征融合機制，可以更好的利用全局上下文信息提升檢測效果，在遮擋或復(fù)雜背景下表現(xiàn)更好。在嵌入式設(shè)備上選擇物體追蹤算法時，需要綜合考量多方面的因素。首先硬件資源是一個重要的考量因素，過大的模型無法適配到MCU平臺上。其次計算資源方面，不同的模型算子在NPU上的支持與否也很重要。YOLO V3版本算子簡單更適合部署在NPU上運行，而且其實現(xiàn)算法簡單，更適剪裁優(yōu)化。

3.1.2. 模型優(yōu)化

標(biāo)準(zhǔn)YOLO V3 Tiny版本模型經(jīng)過訓(xùn)練后權(quán)重有8 M左右，運行內(nèi)存需求6 M，遠(yuǎn)遠(yuǎn)超出了MCXN947的存儲大小。所以需要我們對模型的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行剪裁。

原始網(wǎng)絡(luò)結(jié)構(gòu)由骨干網(wǎng)絡(luò)Darknet53加檢測頭FPN組合而成，結(jié)構(gòu)圖如下圖2所示。

Figure 2. YOLO network

圖2. YOLO網(wǎng)絡(luò)結(jié)構(gòu)圖

優(yōu)化方向從兩個方面入手：首先縮減輸入分辨率，由416 × 416縮減至128 × 160。然后縮減骨干網(wǎng)絡(luò)，改用MobileNet網(wǎng)絡(luò)結(jié)構(gòu)，見圖3。

Figure 3. Backbone network

圖3. 骨干網(wǎng)絡(luò)

從圖2可知Darknet-53作為骨干網(wǎng)絡(luò)共有52個卷積，并且大量使用了殘差鏈接。殘差鏈接對內(nèi)存的需求量很大，不利于在MCU平臺上部署。改用MobileNet極大減少了內(nèi)存的使用，同時支持預(yù)訓(xùn)練權(quán)重，縮短了訓(xùn)練時間。骨干網(wǎng)絡(luò)分別提取1/8大小的特征圖，1/16大小特征圖以及1/32大小特征圖。

檢測頭網(wǎng)絡(luò)FPN根據(jù)根據(jù)骨干網(wǎng)絡(luò)提取的特征值進(jìn)行進(jìn)一步提煉與融合，最終輸出3個尺度的目標(biāo)預(yù)測，結(jié)構(gòu)見圖4。

經(jīng)過優(yōu)化后，模型大小為280 KB，運行RAM需求是195 KB，量化后在NPU上運行時間為22 ms，可以滿足實時控制需求。

3.2. 追蹤算法

經(jīng)過模型運算后得到人臉的二維坐標(biāo)信息，就可以控制電機根據(jù)人臉位置進(jìn)行旋轉(zhuǎn)。接下來有兩個問題需要解決。第一個問題：模型結(jié)果會有誤差會導(dǎo)致物體中心點位置出現(xiàn)抖動，需要引入算法解決抖動問題。第二個問題：模型檢測到多個物體，怎么判斷當(dāng)前該跟隨哪個目標(biāo)移動。

Figure 4. FPN network

圖4. 檢測頭網(wǎng)絡(luò)

SORT物體追蹤算法可以解決以上兩個問題。SORT算法主要基于物體的運動模型進(jìn)行追蹤，對于運動比較規(guī)律的目標(biāo)能夠取得較好的追蹤效果，其計算復(fù)雜度較低，能夠滿足實時性要求。廣泛應(yīng)用于視頻監(jiān)控，自動駕駛以及機器人視覺等領(lǐng)域。算法流程見圖5。

Figure 5. Algorithm workflow

圖5. 算法流程圖

從上圖所示，YOLO模型檢測得出多個目標(biāo)位置信息，經(jīng)過匈牙利匹配算法，查找歷史記錄中是否有與當(dāng)前目標(biāo)匹配的記錄，發(fā)現(xiàn)匹配記錄則更新卡爾曼濾波器中軌跡信息及協(xié)方差矩陣。未發(fā)現(xiàn)匹配記錄表示出現(xiàn)新目標(biāo)，根據(jù)新目標(biāo)的位置信息新建卡爾曼濾波器實例。同時遍歷其它濾波器，如果沒有新的軌跡更新則表示目標(biāo)脫離，刪除無效濾波器。當(dāng)所有濾波器更新完畢后根據(jù)更新后的軌跡控制電機，追蹤目標(biāo)。

4. 實驗驗證

基于WIDER-FACE [7]生成人臉檢測訓(xùn)練集，原始數(shù)據(jù)集圖像尺寸過大，大部分圖片包含身體部分，不適用當(dāng)前的應(yīng)用場景，需要根據(jù)模型輸入大小優(yōu)化精簡數(shù)據(jù)集。使用YOLOV3訓(xùn)練腳本訓(xùn)練模型，在訓(xùn)練開始階段加載MobileNetV1預(yù)訓(xùn)練權(quán)重可以提高訓(xùn)練效率的同時提高模型精度。經(jīng)過50輪訓(xùn)練后，平均精度mAP = 89.78%。

將訓(xùn)練后的模型進(jìn)行量化，保存成INT8數(shù)據(jù)格式的tflite文件。使用恩智浦官網(wǎng)提供的eIQ Toolkit將模型轉(zhuǎn)換成NPU可以識別的數(shù)據(jù)類型，部署在硬件MCX-N947。系統(tǒng)運行時檢測結(jié)果實時顯示在LCD上，可以看到模型檢測人臉的消耗時間是24 ms，可以滿足實時性控制需求。

5. 更多討論

本文實現(xiàn)了一種能夠在資源有限的微控制器單元(MCU)上運行的物體追蹤算法。還有很多細(xì)節(jié)問題可以進(jìn)一步討論，比如：

環(huán)境適應(yīng)性挑戰(zhàn)。光照條件的變化對嵌入式設(shè)備上物體追蹤的準(zhǔn)確性有著顯著影響，在強光直射的情況下，物體表面可能會出現(xiàn)過曝現(xiàn)象，原本的紋理、顏色等特征變得模糊不清，這使得基于特征識別的追蹤算法難以準(zhǔn)確提取有效的特征信息，從而導(dǎo)致追蹤失敗或者追蹤位置出現(xiàn)較大偏差。而從白天到夜晚的光照變化過程中，光線逐漸變暗，物體的對比度降低，對于一些依靠顏色、灰度等特征來區(qū)分物體和背景的追蹤算法來說，其區(qū)分度下降，誤判的概率大幅增加?？梢砸牍δ芨鼜姷臄z像頭或引入補光設(shè)備降低光照對輸入圖像的影響。

再比如遮擋問題，在實際應(yīng)用場景中，物體被遮擋是經(jīng)常出現(xiàn)的情況，這給物體追蹤帶來了很大的困難。當(dāng)物體被部分遮擋時，其可見的特征信息減少，追蹤算法依據(jù)有限的特征進(jìn)行匹配和定位的難度增大，容易出現(xiàn)誤跟或者跟丟的現(xiàn)象?？梢砸攵鄶z像頭不同角度采集圖像解決遮擋問題。

目前物體追蹤主要依賴視覺數(shù)據(jù)居多，未來結(jié)合其他模態(tài)數(shù)據(jù)如聲音、紅外熱成像、雷達(dá)信號等進(jìn)行融合追蹤將是重要發(fā)展方向。不同模態(tài)的數(shù)據(jù)可以相互補充、驗證，在復(fù)雜環(huán)境下提高追蹤的準(zhǔn)確性和魯棒性。例如，在低光照、煙霧等視覺受限的場景中，利用紅外熱成像和聲音信息輔助。

文中配合使用的代碼已經(jīng)開源，地址：https://github.com/nxp-appcodehub/dm-multiple-face-detection-on-mcxn947。

NOTES

*通訊作者。