雖然我當然不認為自己是數(shù)據(jù)科學家，但多年來我在各種簡單但功能強大的Edge AI項目上進行了實驗。為什么?可能是因為我通常使用的相對受限的硬件適合于構(gòu)建更簡單、不那么雄心勃勃的產(chǎn)品。但有了Edge AI，我們可以執(zhí)行以前認為在小型硬件上不可能完成的艱巨任務。

作為嵌入式設備上機器學習的早期先驅(qū)(又名TinyML或Edge AI)， Edge Impulse已經(jīng)發(fā)展成為開發(fā)人員最喜歡的，當涉及到構(gòu)建，測試和部署機器學習模型時，從小型esp32到最新的Jetson Orin Nano Super都可以運行。

在這個項目中，我通過展示如何構(gòu)建一個“多模型”項目，在我的邊緣人工智能之旅中邁出了下一步。由于單個ML模型不能總是執(zhí)行我們需要的每個計算或生成我們需要的每個推理，我們可能需要有效地將多個模型鏈接在一起以實現(xiàn)我們產(chǎn)品的目的。

具體來說，我們將學習如何：

?利用邊緣脈沖建立一個目標檢測模型。

?并利用邊緣脈沖建立了異常檢測模型。

?編寫一個Python應用程序，并將應用程序+模型部署到Raspberry Pi 5上。

?生成實時短信和電子郵件警報時，檢測到異常，使用藍調(diào)筆記卡蜂窩。

今天，我們的假冒公司生產(chǎn)磚。具體來說，就是那些帶有藍軍標志的小磚塊。隨著這些新磚從傳送帶上下來，我們想分析它們的問題。當發(fā)現(xiàn)“壞磚”時，我們也想要即時通知。

因此，我們將看到當應用程序運行時，我們的對象(磚塊)將被對象檢測模型檢測到，然后被異常檢測模型掃描異常。如果達到指定的異常計數(shù)，將生成警報并通過蜂窩發(fā)送到云，用于SMS和電子郵件通知(附帶異常圖像!)。

想看看實際的項目嗎?加入我們2月27日的網(wǎng)絡研討會：智能視覺，智能工業(yè)：邊緣脈沖和藍色異常檢測

首先，讓我們快速看看我們今天將使用的兩個關鍵平臺：Edge Impulse和Blues。

Edge Impulse簡介

如果你還不熟悉Edge Impulse，他們提供了一個強大的平臺，用于在受限設備上構(gòu)建、測試、部署和優(yōu)化Edge AI模型。

我們將使用Edge Impulse Studio來構(gòu)建部署到樹莓派5的對象檢測和異常檢測ML模型。

藍調(diào)簡介

bluesnotecard及其配套的云服務Notehub允許在幾乎任何主機微控制器或單板計算機(如樹莓派)上添加無線連接。

Notecard提供蜂窩，LoRa，Wi-Fi和衛(wèi)星選項，是各種規(guī)模的物聯(lián)網(wǎng)項目的易于使用的低功耗選項。

Notecard是用基于json的API編程的，它可以在所有無線電類型中工作，以及用于流行語言(如C， Arduino和Python)的sdk。

正如我們今天將看到的，Blues云服務Notehub與Notecard配對以提供安全的雙向通信。您可以發(fā)送/接收事件(或blue語言中的Notes)，并將這些出站Notes路由到任何云服務(現(xiàn)在是AWS)。

好了，讓我們開始建造吧!

構(gòu)建目標檢測模型

我們的第一步是獲取足夠的圖像來構(gòu)建一個機器學習模型，該模型可以準確地識別傳送帶上的磚塊。

我們可以從這個Python腳本開始，它使用Pi Camera模塊每1.5秒拍攝一次移動的傳送帶的照片。

注意：這個項目的完整Python源代碼可以在GitHub上找到，物體檢測邊緣脈沖項目也可以在這里找到。

允許Python腳本運行并保存足夠的磚塊在傳送帶上不同位置的圖像(我開始時大約有100個)。有了保存到Pi的圖像，是時候在邊緣脈沖工作室創(chuàng)建一個新項目了。

轉(zhuǎn)到Data acquisition選項卡并上傳您剛剛保存的所有圖像。請注意，它會自動將圖像分為訓練集和測試集。(稍后我們將回到測試方面。)

接下來，每個圖像需要將每個磚標記為這樣。這有點乏味，但Edge Impulse Studio內(nèi)部的工具確實使這成為一個相對痛苦的過程!

下一步是創(chuàng)建你的“沖動”(Edge impulse用來描述完整的ML管道)。前往Impulse設計選項卡并遵循提供的默認選項(Edge Impulse在幫助您根據(jù)已提供的數(shù)據(jù)選擇正確選項時非常聰明!)。

然后，您將前往圖像選項卡，從標記的圖像生成功能。在我們的例子中，我們只創(chuàng)建了一個功能：“磚塊”。

接下來，訪問Object detection選項卡來訓練模型。所有的培訓都發(fā)生在云端，所以不需要本地工具或花哨的gpu !

一旦您的模型得到訓練，就轉(zhuǎn)到模型測試選項卡。還記得分配給測試集的映像嗎?好吧，因為這些被標記但不用于訓練模型，它們是模型快速測試的完美候選者。

你應該會發(fā)現(xiàn)80-90%的對象(磚塊)被成功檢測!

現(xiàn)在可以在樹莓派上下載模型文件。有關如何在Pi上設置Edge Impulse CLI的說明，請參閱Edge Impulse文檔。

要登錄到Edge Impulse并下載剛剛創(chuàng)建的模型文件，您將在Pi上使用這樣的命令：

建立異常檢測模型

在這一點上，我們有一個功能對象檢測模型，將識別傳送帶上的磚塊。很好，但現(xiàn)在我們要仔細檢查每塊磚是否有異常。

和上一個模型一樣，我們的第一步是獲取磚塊的圖像。不幸的是，我們不能使用與前一步相同的圖像，因為我們需要這些新圖像特定于磚塊本身，而不需要任何其他周圍環(huán)境。

幸運的是，Edge Impulse的Louis Moreau構(gòu)建了一個基于flask的python應用程序，讓我們可以使用我們剛剛創(chuàng)建的對象檢測模型來保存磚塊的單個圖像。

注意：這個Python腳本是從前面提到的項目派生出來的。這個版本包含了一些輕微的調(diào)整，但所有的功勞都是路易斯的!此外，你可以在Edge Impulse Studio找到我的這個ML項目版本。

當你將——save-images-interval標志傳遞給這個Python腳本時，它會按照你指定的節(jié)奏(以秒為單位)簡單地保存檢測到的對象圖像：

讓一些磚塊在傳送帶上運行，這個Python應用程序?qū)⒃诙虝r間內(nèi)生成許多有用的磚塊圖像。

回到Edge Impulse Studio，為異常檢測模型創(chuàng)建一個新項目。

轉(zhuǎn)到圖像采集選項卡并上傳您剛剛保存的所有圖像。這一次，您可以指定一個標簽，而不是單獨標記圖像。“無異?！?上載時，所有圖片。

進入沖量選項卡，設置沖量：

之后，完成模型的步驟與之前相同：

前往圖像選項卡生成功能。

轉(zhuǎn)到視覺異常檢測選項卡來訓練你的模型。

在model testing選項卡下測試您的模型。

您可以點擊一個單獨的測試樣本，看看是否/為什么邊緣脈沖檢測到任何異常在您的測試圖像。在接下來的例子中，我意識到傳送帶的一小部分反射了很多光，導致模型認為這是磚的異常!

使用與上面相同的命令下載模型文件，但這次使用——clean參數(shù)切換到新項目：

這樣，我們就完成了Edge Impulse。是時候了解更多關于安全無線連接的信息了!

設置藍調(diào)記事卡和Notehub

這個項目的Blues Notecard和Notehub的優(yōu)點是能夠使用蜂窩，LoRa， Wi-Fi或衛(wèi)星連接，同時使用相同的，簡單的基于json的API。

現(xiàn)在，雖然許多基于pi的項目可以使用機載Wi-Fi，但通常部署在Wi-Fi范圍之外，或者本地IT不希望為不安全/未知的設備提供Wi-Fi訪問。

當您選擇Notecard和Notehub，你有一個交鑰匙，完全安全的云管道在您的處置!

記事卡硬件設置

在這個項目中，我們將使用即將發(fā)布的“中頻”Notecard Cellular。這款Notecard變體使用LTE Cat-1 bis，這是一種用于支持物聯(lián)網(wǎng)應用的LTE協(xié)議。它提供與Cat-1相同的吞吐量和延遲，在任何支持LTE的地方都支持，但更便宜，只需要一個天線設計即可運行。

記事卡插到一個叫做記事卡的載體板上。目前使用的是專用于Raspberry Pi兼容的單板計算機，稱為Notecarrier Pi Hat。這個帽子然后通過提供的頭插入樹莓派。

記事卡軟件設置

Notecard的API都是基于json的。這意味著您向Notecard發(fā)送(和從Notecard接收)的所有內(nèi)容都是JSON。例如，要獲得Notecard的GPS位置，您可以使用該卡。位置API:

...并以JSON格式返回請求的數(shù)據(jù)：

但是，在使用Python這樣的語言時，最好使用note-python庫與Notecard進行接口。

在提供的Python腳本中，您將看到發(fā)送了幾個命令來配置Notecard以與云通信。讓我們快速瀏覽一下：

首先，我們使用樞紐。設置API來告訴Notecard在Notehub中使用哪個云項目(是的，我們將在稍后創(chuàng)建一個免費的Notehub項目)：

其次，可選地創(chuàng)建一個模板，有效地為Notecard提供一個“提示”，以便更有效地存儲數(shù)據(jù)并將數(shù)據(jù)發(fā)送到Notehub。模板API:

被語法弄糊涂了?“異常”和“image_data”旁邊的那些值只是作為提示告訴Notecard異常計數(shù)將是2字節(jié)帶符號的整數(shù)，圖像數(shù)據(jù)將是字符串(base64編碼的圖像字符串)。

再往下，我們將得到最后一個Notecard命令，那就是筆記。添加API。這將在每次檢測到異常圖像時創(chuàng)建一個注釋(或事件)，并將異常計數(shù)(以及前面提到的二進制圖像數(shù)據(jù)的base64編碼字符串)發(fā)送到云：

注意：同樣，請務必查閱該項目的完整源代碼，以便在上下文中更好地理解這些命令。

Notehub云設置

前往notehub。創(chuàng)建您的免費藍調(diào)Notehub帳戶。

創(chuàng)建您的第一個項目并復制您的全局唯一產(chǎn)品標識符：

這個字符串表示Python腳本中使用的NOTEHUB_PRODUCT_UID的值。

當您使用Notecard和Notehub時，這就是將您的產(chǎn)品連接到云所需要的全部!

運行Python應用

是時候開始談正事了。如果此時運行Python腳本，它將執(zhí)行以下操作：

掃描視頻饋送中的物體(磚塊)。

如果發(fā)現(xiàn)了磚塊，它將使用第二個ML模型掃描異常情況。

如果在一張圖像中發(fā)現(xiàn)足夠多的異常，它將發(fā)送一個事件(一個筆記)到Notehub。

事實上，你會看到這些數(shù)據(jù)開始出現(xiàn)在Notehub：

這很棒，但是我們?nèi)匀蝗鄙倥c我們的云服務的集成，今天的云服務是一個AWS Lambda函數(shù)，用于接收來自Notehub的數(shù)據(jù)，而Twilio + SendGrid用于接收短信和電子郵件通知。

創(chuàng)建AWS Lambda函數(shù)

lambda是非常容易創(chuàng)建的云函數(shù)，它允許您處理來自任意源的入站數(shù)據(jù)(從Notehub路由數(shù)據(jù)的完美候選)。

Lambda函數(shù)的完整源代碼可以在GitHub上找到。

我將指出一些關鍵部分：

將圖像保存到S3

當Notehub將事件路由到Lambda時，我們希望將base64編碼的字符串作為jpeg圖像保存到S3桶中(是的，這意味著您還必須在AWS中設置S3桶)：

然后，我們需要在S3中為該圖像生成一個安全的URL，以便我們可以將其傳遞給Twilio和SendGrid以發(fā)出警報：

最后，我們將使用Twilio和SendGrid sdk來發(fā)送SMS和電子郵件通知。

以下是Twilio所需的代碼：

注意：我正在掩蓋設置Twilio和SendGrid帳戶的一些要求。要完成這一步，您將需要兩個服務中的一些密鑰、id和令牌，因此請查看Twilio文檔和SendGrid文檔。

最后，確保部署Lambda函數(shù)并從Configuration選項卡復制function URL，因為您將在下一步中用到它。

將數(shù)據(jù)從Notehub路由到AWS

我們的最后一步(我保證)是在Notehub中配置一條路由，將事件發(fā)送給Lambda函數(shù)。

返回到Notehub并單擊Routes選項卡。

使用“AWS”選項創(chuàng)建一條新路由：

確保在Type下拉框中選擇Lambda(這是默認的)，并將函數(shù)URL粘貼到URL字段中：

向下滾動一點，確保你的異常。qo選擇Notefile作為唯一將被路由到Lambda函數(shù)的Note/事件(否則，來自您的Notecard的所有事件也將被發(fā)送到AWS)：

一定要保存路線，這樣你就萬事通了!

回到你的樹莓派，讓我們再次運行Python應用程序：

嘗試切換對象的位置，混淆其中的一些，或者以其他方式制造一個“異?！?。如果你觀察Pi終端的輸出，你應該會看到檢測到的異常：

在一個重要的異常檢測后，在幾秒鐘內(nèi)，你會看到這些事件顯示在Notehub和圖像文件將出現(xiàn)在你的S3桶：

最后，您將看到短信和電子郵件通知，讓您知道檢測到異常情況(以及在對象本身上識別異常的有用圖像!)：

下一個步驟

我希望你能體驗到使用Edge Impulse實現(xiàn)多模型邊緣人工智能解決方案是多么容易，并將其與Blues， AWS和Twilio + SendGrid連接到云。

今天用你自己的Notecard和noteccarrier Pi Hat開始使用Blues(或者如果你想使用基于stm32的微控制器，可以查看Blues Starter Kit for Cell+WiFi)。

本文編譯自hackster.io