設(shè)計(jì)一個(gè)基于邊緣人工智能的語(yǔ)音控制爐，實(shí)現(xiàn)Picovoice,人工智能生成的語(yǔ)音識(shí)別模型和PSoC 6單片機(jī)

時(shí)間：2025-03-23 18:51:47

關(guān)鍵字： PSoC 6 單片機(jī) 人工智能伺服電機(jī)

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]想象一下，一個(gè)廚師在準(zhǔn)備沙拉或做面團(tuán)的時(shí)候正在烹飪一些東西，現(xiàn)在他/她可能需要調(diào)整爐子上的加熱。在這種情況下，語(yǔ)音控制的爐子/烤箱對(duì)廚師/廚師來(lái)說(shuō)非常有用。在任何情況下，用戶的雙手都在忙著做事情是利用語(yǔ)音控制應(yīng)用程序的最佳方案。

Edge AI智能爐子，可以通過(guò)語(yǔ)音命令和交互式語(yǔ)音反饋UI(如Alexa)操作，無(wú)需互聯(lián)網(wǎng)連接。

想象一下，一個(gè)廚師在準(zhǔn)備沙拉或做面團(tuán)的時(shí)候正在烹飪一些東西，現(xiàn)在他/她可能需要調(diào)整爐子上的加熱。在這種情況下，語(yǔ)音控制的爐子/烤箱對(duì)廚師/廚師來(lái)說(shuō)非常有用。在任何情況下，用戶的雙手都在忙著做事情是利用語(yǔ)音控制應(yīng)用程序的最佳方案。

不幸的是，現(xiàn)有的解決方案是連接的解決方案，比如Alexa或谷歌云連接烤箱之類(lèi)的東西。但是，為什么要讓他們知道你做什么，什么時(shí)候做呢?此外，用戶需要為設(shè)備設(shè)置wifi連接并下載另一個(gè)應(yīng)用程序!這對(duì)許多用戶來(lái)說(shuō)是一個(gè)很大的否定。

這是我的解決方案：邊緣人工智能語(yǔ)音控制爐，實(shí)現(xiàn)Picovoice。人工智能生成的語(yǔ)音識(shí)別模型和PSoC 6單片機(jī)。開(kāi)箱即用!

這不是“物聯(lián)網(wǎng)”，而是“物外互聯(lián)網(wǎng)”，所以它仍然是一個(gè)物聯(lián)網(wǎng)(雙關(guān)語(yǔ))。

特性

?聲控點(diǎn)火/火焰激活

?聲控火焰/加熱調(diào)節(jié)

?語(yǔ)音控制烹飪/燃燒器定時(shí)器設(shè)置

?交互式語(yǔ)音反饋UI確認(rèn)

?語(yǔ)音控制關(guān)機(jī)

?邊緣人工智能語(yǔ)音識(shí)別，無(wú)云連接

?自然語(yǔ)言多命令操作

硬件

這些硬件用于建造這個(gè)項(xiàng)目：

PSoC?6 62S2 Wi-Fi BT先鋒套件(CY8CKIT-062S2-43012)

這是PSoC?62雙核MCU CY8C624ABZI-S2D44 (150-MHz Arm Cortex-M4和100-MHz Arm Cortex-M0+內(nèi)核)的開(kāi)發(fā)板，具有2MB閃存。它的功能強(qiáng)大到可以在沒(méi)有互聯(lián)網(wǎng)連接的情況下運(yùn)行語(yǔ)音識(shí)別人工智能

物聯(lián)網(wǎng)傳感擴(kuò)展套件(CY8CKIT-028-SENSE)

物聯(lián)網(wǎng)感測(cè)擴(kuò)展套件是一個(gè)可與先鋒套件一起使用的附加(屏蔽)板，該板具有用于音頻輸入的模擬/數(shù)字麥克風(fēng)和用于音頻輸出的音頻編解碼器，這是本項(xiàng)目所需的

語(yǔ)音回放模塊

我最初的目標(biāo)是使用物聯(lián)網(wǎng)感知套件的音頻編解碼器來(lái)播放語(yǔ)音UI消息，并在PSoC6上使用2MB閃存來(lái)存儲(chǔ)波文件。不幸的是，我無(wú)法使用Modustoolbox中提供的I2S音頻演示代碼。這就是為什么我決定使用我去年做的一個(gè)項(xiàng)目，它可以存儲(chǔ)多達(dá)1000個(gè)獨(dú)立的mp3格式的音頻信息，最長(zhǎng)可達(dá)40分鐘。

這里是詳細(xì)的項(xiàng)目：倒計(jì)時(shí)語(yǔ)音計(jì)時(shí)器和起火器

它是使用費(fèi)米子錄音/播放模塊，DFRobot甲蟲(chóng)板和3瓦封閉式揚(yáng)聲器。

我已經(jīng)更改了原始固件(附在下面)，因此該模塊可以接收從PSoC 6發(fā)送的串行消息，并相應(yīng)地播放適當(dāng)?shù)囊纛l消息。

權(quán)力SupplyModule

該模塊由LM7809線性穩(wěn)壓器和輸出5伏的DC-DC降壓轉(zhuǎn)換器模塊組成。我已經(jīng)使用9 Vdc輸出為PSoC6先鋒供電。Buck轉(zhuǎn)換器的5 Vdc用于為伺服電機(jī)和語(yǔ)音回放模塊提供足夠的電源。

金屬齒輪伺服電機(jī)

本項(xiàng)目采用了兩臺(tái)金屬齒輪伺服電機(jī)。其中一個(gè)伺服電機(jī)控制(燃料)氣體流量閥部分打開(kāi)是必要的。當(dāng)燃燒器需要關(guān)閉時(shí)，這個(gè)伺服電機(jī)可以完全關(guān)閉閥門(mén)。另一個(gè)伺服電機(jī)拉動(dòng)點(diǎn)火桿產(chǎn)生火花點(diǎn)火。

便攜式煤氣爐

便攜式燃?xì)庠钍且粋€(gè)小型的單燃燒器爐子，內(nèi)置peizo點(diǎn)火器，起動(dòng)機(jī)和氣體流量調(diào)節(jié)閥。我選擇這個(gè)爐子是為了便于原型設(shè)計(jì)，因?yàn)樗苋菀装颜麄€(gè)設(shè)置放在我的電腦附近，用一個(gè)小爐子來(lái)開(kāi)發(fā)固件。當(dāng)然，這個(gè)項(xiàng)目可以擴(kuò)展到更大的，多燃燒器的爐子設(shè)置。

硬件建設(shè)

就像任何快速和低預(yù)算的原型一樣，我已經(jīng)用強(qiáng)力膠，熱熔膠，電纜扎帶和跳線組裝了硬件。主要目標(biāo)是減少成本、時(shí)間和精力。

所有的部件按照這個(gè)示意圖連接：

其中一個(gè)伺服電機(jī)被超級(jí)粘在氣體調(diào)節(jié)閥上，像這樣：

另一個(gè)伺服電機(jī)是螺紋到peizo點(diǎn)火火花發(fā)電機(jī)杠桿這樣：

這就是串口TX線是如何在不修改Dev工具包的情況下被黑掉的：

所有部件用扎帶固定在一塊硬板上。跳線用于連接所有硬件部件。

modstoolbox編程&構(gòu)建語(yǔ)音AI模型

Modustoolbox

要對(duì)PSoC6先鋒套件進(jìn)行編程，請(qǐng)下載并安裝Modustoolbox(MTB) SDK。我使用的是MTB 2.4版本，這個(gè)項(xiàng)目應(yīng)該避免使用MTB 2.1版本之前的任何版本。

安裝MTB后，您可能會(huì)遇到一些困難。確保在工具中添加路徑以使MTB正常工作。

以下是英飛凌的安裝指南，解釋了這個(gè)安裝過(guò)程：- modusool安裝指南

安裝了Modustoolbox(MTB)之后，讓我們首先開(kāi)始進(jìn)行語(yǔ)音識(shí)別演示。

運(yùn)行MTB并單擊“快速開(kāi)始”菜單中的“新建應(yīng)用程序”：

確保您的互聯(lián)網(wǎng)連接處于活動(dòng)狀態(tài)，因?yàn)檫@個(gè)過(guò)程將從Github下載示例應(yīng)用程序演示

從board Support Package菜單中選擇合適的平臺(tái)(PSoC 6)和正確的板(CY8CKIT-062S2-43012)

下一個(gè)。選擇Voice模板應(yīng)用，勾選demo項(xiàng)目“Picovoice E2E語(yǔ)音識(shí)別demo”，單擊“創(chuàng)建”

現(xiàn)在，打開(kāi)Picovoice E2E語(yǔ)音識(shí)別演示代碼中的main.c文件。找到接受Picovoice訪問(wèn)密鑰的線路，我們稍后會(huì)回到這里

保持MTB在后臺(tái)運(yùn)行并打開(kāi)web瀏覽器應(yīng)用程序，是時(shí)候使用Picovoice了。

Picovoice

Picovoice是構(gòu)建語(yǔ)音識(shí)別模型并在不同平臺(tái)上實(shí)現(xiàn)的最直觀的方法之一。簡(jiǎn)單地說(shuō)，你只需要輸入喚醒詞和語(yǔ)音到意圖詞，然后建立平臺(tái)特定的語(yǔ)音識(shí)別模型。一旦模型生成，下載并在您的嵌入式開(kāi)發(fā)項(xiàng)目中實(shí)現(xiàn)語(yǔ)音識(shí)別模型。

以下步驟將解釋這一過(guò)程：

步驟0：創(chuàng)建一個(gè)新帳戶并登錄。此頁(yè)面將出現(xiàn)

步驟1：訪問(wèn)鍵和UUID(唯一標(biāo)識(shí)符)

首先點(diǎn)擊“Show AccessKey”，它將提供一個(gè)唯一的字符串，復(fù)制這個(gè)字符串并將其保存在一個(gè)文本文件中。這個(gè)訪問(wèn)鍵在代碼中是必需的。

訪問(wèn)鍵看起來(lái)像這樣(這是一個(gè)虛擬字符串)：

該字符串必須在“ ”之間，并以;像這樣在代碼中：

為了制作語(yǔ)音識(shí)別模型，還需要一個(gè)信息，那就是設(shè)備UUID(在這種情況下是PSoC 6 (mcu)先鋒套件的UUID)。

復(fù)制Access Key字符串并粘貼/插入到之前像這樣打開(kāi)的MTB演示代碼中：

現(xiàn)在，選擇演示項(xiàng)目并單擊構(gòu)建按鈕(錘子圖標(biāo))。

同時(shí)，構(gòu)建過(guò)程正在進(jìn)行(需要一些時(shí)間)，將PSoC6先鋒套件(+ IoT Sense Kit連接在其上)與USB電纜連接到計(jì)算機(jī)。

一旦構(gòu)建完成，點(diǎn)擊Green Play圖標(biāo)來(lái)顯示代碼，確保選擇正確的程序員

Picovoice_E2E_Voice_Recognition_Program (KitProg3_MiniProg4)

現(xiàn)在，打開(kāi)一個(gè)串口終端應(yīng)用程序，如Putty或TeraTerm，選擇正確的串口(例如：COM5)，波特率115200

然后大聲說(shuō)“嘿，皮科”

您應(yīng)該在串行監(jiān)視器上獲得響應(yīng)，其中包含PSoC6先鋒套件的UUID，類(lèi)似于以下內(nèi)容(十六進(jìn)制數(shù))：

這個(gè)UUID將需要在Picovoice Console中創(chuàng)建語(yǔ)音識(shí)別模型。

現(xiàn)在。我們回到Picovoice控制臺(tái)。

步驟2：?jiǎn)拘言捳Z(yǔ)

Picovoice喚醒字是一個(gè)特殊的觸發(fā)字，它將激活設(shè)備。我要用這個(gè)詞：Hey Stove作為喚醒詞，因?yàn)檫@是一個(gè)語(yǔ)音控制的爐子。

轉(zhuǎn)到Picovoice控制臺(tái)的Porcupine選項(xiàng)

?類(lèi)型短語(yǔ)：嘿，爐子

?選擇語(yǔ)言：英語(yǔ)

?選擇平臺(tái)：ARM Cortex-M

?選擇單板：PSoC6

?輸入之前的UUID/唯一標(biāo)識(shí)符(十六進(jìn)制數(shù))

接下來(lái)，單擊火車(chē)喚醒詞，在幾秒鐘內(nèi)你的喚醒詞訓(xùn)練模型將準(zhǔn)備好。下載訓(xùn)練好的模型

您將得到一個(gè)下載的壓縮文件夾，將其解壓縮并使用任何文本編輯器(記事本)打開(kāi)pv_porcupine_parms .h文件。這是喚醒詞模型，一個(gè)十六進(jìn)制數(shù)的大數(shù)組。

稍后將詳細(xì)說(shuō)明這一點(diǎn)。

步驟3：語(yǔ)音到意圖模型

喚醒詞“嘿，爐子”將激活設(shè)備，但它不會(huì)執(zhí)行任何爐子操作。我想打開(kāi)爐子，關(guān)掉爐子，換煤氣/火焰，設(shè)置烹飪計(jì)時(shí)器等。我打算用我的爐子做一些事情。這就是需要語(yǔ)音到意圖引擎的地方。

Picovoice Rhino Speech-to-Intent引擎可以提取多個(gè)語(yǔ)音命令，這些命令可以用于執(zhí)行不同的操作。

轉(zhuǎn)到Picovoice控制臺(tái)的Rhino選項(xiàng)

型號(hào)名稱(chēng)：聲控爐

選擇模板：空

然后點(diǎn)擊Create Context，這將帶你進(jìn)入一個(gè)新頁(yè)面，在那里完成了實(shí)際的語(yǔ)音到意圖模型“編碼”。

這里是一個(gè)快速概述的意圖，槽和微語(yǔ)音宏：-

意圖

意圖是您希望通過(guò)語(yǔ)音控制執(zhí)行的某些操作。把它們看作語(yǔ)法中使用的動(dòng)詞。意圖有表達(dá)方式，這與帶有動(dòng)詞的句子的英語(yǔ)語(yǔ)法非常相似。

意圖表達(dá)=動(dòng)作(做某事)+主語(yǔ)/賓語(yǔ)(關(guān)于某事)

這個(gè)語(yǔ)音控制爐有4個(gè)單獨(dú)的意圖：

?點(diǎn)火：在爐子上點(diǎn)火

?停止燃燒：停止燃燒

?設(shè)置火焰：通過(guò)調(diào)節(jié)氣體來(lái)改變火焰

?SetTimer：設(shè)置一個(gè)烹飪定時(shí)器，當(dāng)時(shí)間過(guò)去時(shí)關(guān)閉火

每個(gè)意圖都有它自己的表達(dá)式，你必須鍵入它。表達(dá)式應(yīng)該是這樣的：

一開(kāi)始可能看起來(lái)有點(diǎn)混亂，但你最終會(huì)明白的(別擔(dān)心)。

槽

槽是意圖中的變量。槽可以容納表示不同變量的多個(gè)元素，或者一個(gè)變量的不同名稱(chēng)

把它想象成英語(yǔ)語(yǔ)法中的主語(yǔ)/賓語(yǔ)，需要在其上執(zhí)行動(dòng)作。

例如，如果我們想設(shè)置一個(gè)烹飪計(jì)時(shí)器，時(shí)間將根據(jù)命令的不同而不同。

?把計(jì)時(shí)器設(shè)為一分鐘

?把計(jì)時(shí)器調(diào)到三分鐘

?把計(jì)時(shí)器調(diào)到五分鐘

?插槽=行動(dòng)中的變量(通常)

語(yǔ)音到意圖引擎可以提取這些差異。

當(dāng)在表達(dá)式中使用時(shí)，Slot前面會(huì)有$符號(hào)

Picovoice有一些內(nèi)置插槽，比如pv。百分比，它可以直接從用戶意圖中提取百分比值。

宏

宏完全用于具有相同含義(意圖)的不同單詞。它相當(dāng)于英語(yǔ)語(yǔ)法中的同義詞。

在表達(dá)式中使用宏時(shí)，宏的前面會(huì)有@符號(hào)

宏=動(dòng)詞的同義詞

例如：Start可以說(shuō)成turn on/power up/enable/activate這些詞中的任意一個(gè)。

那么，你是怎么把這些東西組合在一起的呢?

首先，想想人類(lèi)表達(dá)特定意圖的“同一件事”的所有可能方式。然后在Macros中列出所有動(dòng)詞/名詞，在Slots中列出所有變量，并為意圖創(chuàng)建如下表達(dá)式：

如果語(yǔ)音識(shí)別模型能夠檢測(cè)到各種具有相同意圖的人類(lèi)短語(yǔ)，那么它將會(huì)更好地工作。正確列出宏元素和更好的表達(dá)是成功的關(guān)鍵。

步驟4：訓(xùn)練模型

當(dāng)所有的intent， Slots， Macros都完成后，點(diǎn)擊右下角的“Train”：

選擇如下：

型號(hào)平臺(tái)：ARM Cortex-M

單板類(lèi)型：PSoC6

唯一標(biāo)識(shí)符(UUID)：即十六進(jìn)制數(shù)

然后點(diǎn)擊訓(xùn)練“語(yǔ)音控制爐”為ARM Cortex-M

解壓縮下載的文件。

然后打開(kāi)“Voice-Controlled-Stove_en_cortexm_v2_1_0.h”文件

文件中有一個(gè)十六進(jìn)制數(shù)字的大數(shù)組，這是語(yǔ)音到意圖模型。

步驟5：在模塊工具箱中編輯main.c和param.h

現(xiàn)在，回到modstoolbox。復(fù)制這里附加的main.c代碼。

從Picovoice E2E語(yǔ)音識(shí)別演示的main.c中替換整個(gè)原始演示代碼

接下來(lái)，編輯param.h，將喚醒詞模型的數(shù)組和語(yǔ)音包含到意圖模型的數(shù)組中。這兩個(gè)模型(喚醒詞+從語(yǔ)音到意圖)被組合到param.h中。

我將修改后的param.h附在下面。復(fù)制它的內(nèi)容并替換param.h的原始內(nèi)容，以避免任何混淆。

如果你想了解代碼是如何工作的，請(qǐng)閱讀它。代碼中有大量的注釋解釋了大多數(shù)事情

最后，點(diǎn)擊錘子圖標(biāo)來(lái)構(gòu)建和綠色播放按鈕圖標(biāo)來(lái)將固件flash到PSoC6 mcu中，如前所述(見(jiàn)步驟1)。

準(zhǔn)備播放語(yǔ)音的音頻文件

Step1：我使用了文字轉(zhuǎn)語(yǔ)音服務(wù)來(lái)進(jìn)行音頻反饋。

第二步：當(dāng)演講播放時(shí)，我用Audacity錄制了聲音。選擇Windows WASPAPI和源作為耳機(jī)/揚(yáng)聲器，然后單擊Record圖標(biāo)以在計(jì)算機(jī)中捕獲音頻播放。

第三步：錄音后，將音頻分割成多個(gè)mp3文件。要分離音頻的每個(gè)片段(每個(gè)數(shù)字的聲音)，用鼠標(biāo)選擇該部分，然后使用快捷鍵Ctrl+C(復(fù)制)，Ctrl+N(新建)，Ctrl+V(粘貼)該音頻片段。對(duì)每個(gè)音頻段重復(fù)此步驟。

第四步：進(jìn)入Files >導(dǎo)出為MP3，選擇48 kbps的質(zhì)量，重命名為FILE0000.MP3, FILE0001.MP3, FILE0002.MP3，直到FILE0100.MP3

(所有的音頻文件都附在下面，你可以跳過(guò)第1-4步，只需按照第5步下載并復(fù)制文件)

第五步：語(yǔ)音模塊用USB C線連接到電腦，16mb閃存盤(pán)出現(xiàn)。第一次使用時(shí)需要格式化(FAT)。接下來(lái)，將所有mp3文件復(fù)制到語(yǔ)音模塊閃存驅(qū)動(dòng)器中的DF_REC目錄。

您可以放置最多1000個(gè)MP3文件，總音頻長(zhǎng)度為40分鐘@ 48kbps。更高采樣頻率的歌曲/音頻將工作，但音頻長(zhǎng)度將減少，由于較大的文件大小

音頻回放是如何工作的?

連接PSoC6單片機(jī)的串行TX和甲蟲(chóng)板單片機(jī)的串行RX，實(shí)現(xiàn)半雙工串行通信。PSoC6 mcu簡(jiǎn)單地發(fā)送printf(“一些數(shù)字”)，它被傳輸?shù)郊紫x(chóng)板的mcu。根據(jù)從PSoC6 mcu接收到的數(shù)字，甲蟲(chóng)板mcu將向語(yǔ)音播放模塊發(fā)送命令，播放代表該數(shù)字的mp3文件。

例如：printf("040")命令將播放0040.mp3文件。看看我的這個(gè)項(xiàng)目，它詳細(xì)地解釋了這一點(diǎn)

設(shè)備操作

為了理解設(shè)備操作，讓我們看一下所有的PSoC6應(yīng)用資源(PSoC6 mcu內(nèi)部硬件)

應(yīng)用程序資源

根據(jù)用戶的語(yǔ)音命令，這些資源中的一些將激活某些模塊來(lái)控制伺服器，啟用定時(shí)器，向語(yǔ)音播放模塊發(fā)送打印消息等。

兩個(gè)PWM模塊將產(chǎn)生50 Hz的PWM信號(hào)。通過(guò)調(diào)整這些信號(hào)的占空比，控制兩個(gè)伺服電機(jī)。

LPTIMER將測(cè)量烹飪計(jì)時(shí)器功能激活時(shí)所經(jīng)過(guò)的時(shí)間

UART TX將發(fā)送printf()消息到甲蟲(chóng)板播放mp3文件

當(dāng)檢測(cè)到喚醒字時(shí)，GPIO將驅(qū)動(dòng)PSoC6 Pioneer Kit板上的綠色LED。當(dāng)檢測(cè)到語(yǔ)音意圖時(shí)，藍(lán)色LED將發(fā)光。

下面是一些語(yǔ)音命令和硬件交互的例子：