該項目旨在開發(fā)一種設備，以提高視障游泳者在不熟悉的室內(nèi)游泳池中的安全性。該設備將使用機器學習來繪制泳池環(huán)境地圖，實時檢測障礙物，并向游泳者提供音頻反饋。

為了解決視障游泳者在不熟悉的室內(nèi)游泳池中安全航行的問題，我將制作一個配備傳感器(如IMU和攝像頭)的設備，利用機器學習來繪制游泳池環(huán)境并檢測障礙物。它將在兩種模式下運行：學習模式(用于繪制地圖)和游泳模式(通過音頻反饋進行實時導航)。

該解決方案與現(xiàn)有的解決方案不同，它結合了池映射、實時障礙物檢測和個性化音頻反饋。它更能適應不同的泳池環(huán)境和游泳者的喜好。

這個裝置很有用，因為它提高了視障游泳者的安全性和獨立性，使他們能夠自信地在不熟悉的游泳池中航行，享受充實的游泳體驗。

詳細的解決方案和PSoC?6 AI開發(fā)套件集成

我的解決方案采用了多方面的方法來指導視力受損的游泳者。我認為主要特點是：

泳池測繪(學習模式)：一名視力正常的助手，使用連接在沖浪板上的設備，將沿著泳池的周邊移動，允許攝像頭、IMU和雷達傳感器捕捉視覺和運動數(shù)據(jù)。這些數(shù)據(jù)將用于訓練機器學習模型，創(chuàng)建游泳池布局的數(shù)字地圖，包括墻壁和車道線。

實時指導(游泳模式)：游泳者將握住設備(可能集成到可穿戴設備中)。相機將持續(xù)捕捉圖像，并將其輸入訓練好的ML模型以進行對象檢測。IMU和雷達將跟蹤游泳者的動作和方向。

音頻反饋：基于ML模型的分析和攝像頭、IMU和雷達數(shù)據(jù)，該設備將向游泳者提供實時音頻反饋。這將包括關于靠近墻壁、車道邊界和潛在障礙物的提示。不同的音頻信號將指示所需行動的方向和緊迫性。

碰撞檢測：碰撞檢測功能將提供額外的安全層，如果設備(因此游泳者)與物體碰撞，將立即觸發(fā)警報。

PSoC?6 AI開發(fā)套件將有助于我的解決方案，因為它具有強大的功能和多功能性：

機器學習加速：該套件的專用AI功能將使訓練有素的機器學習模型能夠在Swim模式下進行實時對象檢測和分類。

傳感器集成：該套件的眾多外設和接口將促進與相機，IMU和其他傳感器的無縫集成，確保準確的數(shù)據(jù)收集和處理。

低功耗運行：該套件的低功耗特性對于延長電池壽命至關重要，可以在不頻繁充電的情況下進行更長時間的游泳。

音頻處理：該套件的音頻處理能力可以用來生成和輸出游泳者指導所需的各種音頻線索。

可定制設計：該套件的靈活性將允許定制硬件和軟件，以滿足游泳輔助的特定要求，優(yōu)化性能和用戶體驗。

我正在探索使用PSoC?6 AI開發(fā)套件的潛力，以創(chuàng)建一個創(chuàng)新的解決方案，提高視障游泳者的安全性和獨立性。該設備可以利用先進的技術，如機器學習和傳感器融合，為游泳者提供實時反饋和指導，提醒他們潛在的危險，協(xié)助導航，并優(yōu)化他們的游泳技術。

開發(fā)的組件和工具

結合PSoC?6 AI Kit(包括板載傳感器)、Deepcraft Studio和ModusToolbox，我打算利用安富利的IoTConnect平臺。我對PSoC 6 AI評估套件與安富利IoTConnect平臺集成的潛力很感興趣。我渴望探索這種集成如何促進云連接、數(shù)據(jù)可視化和邊緣人工智能應用程序的遠程監(jiān)控。

培訓數(shù)據(jù)收集

訓練數(shù)據(jù)將由在學習模式下捕獲的傳感器數(shù)據(jù)組成。這包括雷達數(shù)據(jù)：加速計和陀螺儀讀數(shù)捕捉設備的運動和方向，因為它被引導沿著池的周長。這些數(shù)據(jù)將用于訓練機器學習模型，以便在游泳模式下識別和分類這些特征，從而為游泳者提供準確和實時的障礙物檢測和指導。

機器學習推理將如何使用

確定與障礙物的距離：通過分析檢測到的物體(墻壁、車道線)及其與游泳者的距離，該設備可以評估游泳者與潛在碰撞的距離。生成音頻反饋：根據(jù)障礙物的距離和類型，該設備將觸發(fā)特定的音頻提示，如蜂鳴聲、音調(diào)或語音提示，以指導游泳者。引導游泳者：音頻反饋將告知游泳者采取必要的行動，例如改變方向，減速或停止，以避開障礙物并安全航行。

開發(fā)的組件和工具

將使用到以下組件和工具：

?PSoC 6 AI評估套件(CY8CKIT-062S2-AI

?ModusToolbox軟件v3.2或更高版本

?DEEPCRAFT Studio -邊緣設備上的人工智能/機器學習開發(fā)平臺。注意：DEEPCRAFT工作室僅適用于Windows操作系統(tǒng)

?DEEPCRAFT就緒模型-生產(chǎn)就緒的AI /機器學習模型

?安富利iot連接英飛凌的模塊工具箱和框架。

?PSOC 6人工智能評估工具包

?PSoC?6 MCU - CY8C624ABZI-S2D44

?村田LBEE5KL1YN模塊和基于AIROC CYW43439的藍牙®功能

?512 Mbit外部四路SPI NOR閃存，為數(shù)據(jù)和代碼提供快速、可擴展的內(nèi)存

?用于PSoC?6 MCU的兩個用戶led，一個用戶按鈕和一個復位按鈕

機載傳感器：

?6軸運動傳感器BMI270

?磁力儀(BMM350)

?高性能數(shù)字MEMS麥克風(IM72D128)

?氣壓傳感器(DPS368)

?雷達傳感器(BGT60TR13C)

調(diào)試代碼:

KitProg3板載SWD編程器/調(diào)試器，具有USB-UART和USB-I2C橋功能。一個模式選擇按鈕和一個狀態(tài)LED為KitProg3

電源:

PSoC?6 MCU 1.8 V和3.3 V工作

使用ModusToolbox， DEEPCRAFT Studio和安富利的IoTConnect開發(fā)代碼

開發(fā)與PSoC 6 AI：資源和指導

本次網(wǎng)絡研討會將深入探討端到端機器學習(ML)模型的開發(fā)過程，采用業(yè)界領先的PSOC?6 AI套件和英飛凌的AI/ML軟件，并由英飛凌的Clark Jarvis介紹

探索可用的代碼示例(ML示例)

使用KitProg3板上調(diào)試器直接調(diào)試開發(fā)代碼

通過使用ModusToolbox中的IoTConnect庫，使用安富利的IoTConnect軟件

測試IoTConnect儀表板，以便輕松可視化DEEPCRAFT就緒模型，尚未在網(wǎng)絡研討會中演示。

通過回顧和跟蹤演示，從提供的網(wǎng)絡研討會的38分鐘開始，我獲得了開始實施AquaGuide項目的必要技能。這包括學習如何利用PSoC 6 AI評估工具包、ModusToolbox和DEEPCRAFT Studio為邊緣設備開發(fā)和部署機器學習模型，特別是在傳感器數(shù)據(jù)處理和實時推理的背景下。這種親身實踐的學習方法使我能夠理解開發(fā)工具的工作流程和功能，然后我將其應用于為視力受損的游泳者創(chuàng)建導航輔助設備的特定需求。隨后的部分將詳細介紹具體的實現(xiàn)步驟，以及如何將這些學到的技能應用于構建AquaGuide設備。

本文編譯自hackster.io