本節(jié)詳細介紹了官方演示評估過程和效果演示手勢檢測和RTSP人臉識別。

手勢識別

通過加載神經(jīng)網(wǎng)絡(luò)(NN)訓(xùn)練模型實現(xiàn)手勢跟蹤、提取、仿真和識別。

代碼

注：修改WiFi名稱和密碼。

上傳

1. 長按BOOT鍵，再按EN鍵進入下載模式。

2. 選擇對應(yīng)的串口，單擊“下載”。等待上傳成功提示。

3. 重新按EN鍵運行程序。

配置

上傳完成后，打開串口監(jiān)視器。檢測到WiFi連接后，攝像頭的IP地址會顯示出來。

在VLC軟件中輸入rtsp://192.168.1.104:554實現(xiàn)rtsp流。

人臉識別

使用BW21-CBV-Kit開發(fā)板來識別檢測到的人臉。

代碼

詳細信息請參見：神經(jīng)網(wǎng)絡(luò)-人臉識別- Realtek IoT/Wi-Fi MCU解決方案

上傳

上傳完成后，打開串口監(jiān)視器。檢測到WiFi連接后，攝像頭的IP地址會顯示出來。在VLC軟件中輸入rtsp://192.168.253.1:554實現(xiàn)rtsp流。

把目標(biāo)臉對準攝像機。當(dāng)人臉被檢測到并被紅色框包圍時，在串口中輸入REG=Bean來注冊該人?？虻念伾珪兂删G色，表示對應(yīng)的人的名字

效果

動態(tài)識別

已經(jīng)觀察到，人臉識別的準確率在距離越遠的地方越高，而當(dāng)人臉占據(jù)畫面的較大部分時，準確率就會下降。

另外，在運行過程中，模塊溫度會明顯升高，因此需要考慮適當(dāng)?shù)纳帷?

可能的因素包括：

代碼中人臉信息采集分辨率設(shè)置為192x192，對于動態(tài)場景可能不夠，限制了模型處理不同人臉大小和表情的能力;相機分辨率限制;以及處理能力的限制。

改進方案：增強硬件計算能力，實現(xiàn)冷卻解決方案，擴大樣本量，增加訓(xùn)練迭代，完善模型。

注意：如果串口顯示錯誤信息error: vipnn not applied，請重新安裝開發(fā)板包。

本文編譯自hackster.io