在DFRobot ESP32 S3相機(jī)上構(gòu)建DIY語(yǔ)音控制GPT系統(tǒng)
曾經(jīng)希望使用DFRobot ESP32-S3 AI相機(jī)創(chuàng)建聲控ChatGPT嗎?這篇博客將指導(dǎo)你完成整個(gè)過(guò)程。我們將引導(dǎo)您完成以下步驟:通過(guò)內(nèi)置麥克風(fēng)收集用戶命令,將音頻保存為SD卡上的WAV文件,使用Deepgram API將音頻轉(zhuǎn)換為文本,查詢OpenAI的響應(yīng),并在串行終端中打印答案。
組件要求:
?DFRobot ESP32-S3 AI攝像頭
?MicroSD卡
?USB電纜
?安裝Arduino IDE的計(jì)算機(jī)
ESP32-S3 AI CAM概述:
ESP32-S3 AI CAM是一款基于ESP32-S3芯片的高級(jí)攝像頭模塊,專(zhuān)為視頻圖像處理和語(yǔ)音交互而設(shè)計(jì)。它在視頻監(jiān)控、邊緣圖像識(shí)別和語(yǔ)音對(duì)話等人工智能項(xiàng)目中表現(xiàn)出色。該模塊具有廣角紅外攝像頭,可全天候監(jiān)控,即使在低光條件下也能確保清晰的圖像。
內(nèi)置麥克風(fēng)和揚(yáng)聲器,支持語(yǔ)音識(shí)別和對(duì)話,是智能家居和物聯(lián)網(wǎng)應(yīng)用的理想選擇。此外,它還可以通過(guò)Wi-Fi連接到互聯(lián)網(wǎng),通過(guò)云人工智能平臺(tái)實(shí)現(xiàn)圖像分類(lèi)和自然語(yǔ)言對(duì)話等高級(jí)任務(wù)。
用Justway的3D打印服務(wù)開(kāi)啟制造業(yè)的未來(lái)!
通過(guò)JUSTWAY的頂級(jí)3D打印服務(wù),體驗(yàn)創(chuàng)新和效率的頂峰。無(wú)論您是想創(chuàng)建詳細(xì)的原型,功能部件還是定制設(shè)計(jì),我們都能為您提供幫助。
JUSTWAY的尖端技術(shù),包括SLA, SLS, DLP, MJF, FDM和SLM,確保每一個(gè)打印的精度和質(zhì)量。從各種材料中選擇,如樹(shù)脂,尼龍,金屬等,讓您的視覺(jué)栩栩如生。
受益于即時(shí)報(bào)價(jià),無(wú)縫的在線訂單跟蹤,和專(zhuān)業(yè)的后處理服務(wù)。憑借快速的生產(chǎn)和可靠的交付,JUSTWAY是您所有3D打印需求的首選合作伙伴。
但是等等,還有更多!JUSTWAY還提供一系列其他一流的金屬3D打印服務(wù),以補(bǔ)充您的制造要求:
?數(shù)控加工服務(wù):高精度銑削,車(chē)削,電火花加工(EDM)復(fù)雜的零件。
?鈑金加工服務(wù):根據(jù)您的規(guī)格定制鈑金零件。
?注塑成型服務(wù):高品質(zhì),大批量生產(chǎn)各種材料的零件。
?表面精加工服務(wù):通過(guò)專(zhuān)業(yè)的精加工選擇,提高零件的外觀和耐用性。
通過(guò)justway提升您的制造游戲-創(chuàng)新與完美的結(jié)合!
如何在JUSTWAY為您的3D模型下訂單
訂購(gòu)您的3D模型JUSTWAY是簡(jiǎn)單的。首先以可接受的格式準(zhǔn)備您的3D CAD文件。訪問(wèn)JUSTWAY網(wǎng)站,登錄或創(chuàng)建一個(gè)帳戶,并在“獲取即時(shí)報(bào)價(jià)”部分上傳您的設(shè)計(jì)。
選擇您的制造工藝,定制您的訂單與所需的材料和完成,并收到一個(gè)即時(shí)報(bào)價(jià)。確認(rèn)細(xì)節(jié),付款,并在線跟蹤您的訂單。
一旦您的訂單被放置,JUSTWAY將確保高質(zhì)量的生產(chǎn)與嚴(yán)格的質(zhì)量控制檢查。期望您的3D模型在指定的交貨期內(nèi)交付。使用JUSTWAY,享受將您的3D模型帶入生活的便利和效率!
項(xiàng)目流程:
我計(jì)劃使用OpenAI或DeepSeek支持創(chuàng)建一個(gè)語(yǔ)音助手,包括向ESP32 S3 AI相機(jī)提出一個(gè)問(wèn)題。相機(jī)將通過(guò)其內(nèi)置的I2S PDM麥克風(fēng)捕捉我們的請(qǐng)求,然后將錄音保存到SD卡上
然后我們可以使用DeepGram將音頻轉(zhuǎn)換為文本,然后我們可以使用OpenRouter來(lái)獲得答案。
步驟1:設(shè)置硬件
將MicroSD卡插入ESP32-S3 AI攝像機(jī)。
步驟2:設(shè)置軟件
安裝Arduino IDE:從官方網(wǎng)站下載并安裝最新版本的Arduino IDE。
安裝所需庫(kù):打開(kāi)Arduino IDE,安裝以下庫(kù):
?SD
?HTTPClient
?WiFiClientSecure
?ArduinoJson
要安裝這些庫(kù),請(qǐng)轉(zhuǎn)到Sketch > Include Library > Manage libraries,搜索每個(gè)庫(kù),然后單擊install
步驟3:收集音頻數(shù)據(jù)
初始化麥克風(fēng):使用以下代碼初始化內(nèi)置麥克風(fēng)和錄制音頻命令。
下面的草圖可以錄制5秒的音頻,然后它也會(huì)將其保存為。wav文件在SD卡上,它通過(guò)內(nèi)置揚(yáng)聲器播放音頻。
步驟4:使用Deepgram API將音頻轉(zhuǎn)換為文本
注冊(cè)Deepgram API:登錄Deepgram網(wǎng)站,然后,注冊(cè)一個(gè)API密鑰。
發(fā)送音頻文件到Deepgram:使用以下代碼將WAV文件發(fā)送到Deepgram API并將音頻轉(zhuǎn)換為文本。
在這個(gè)代碼部分,您只需要輸入您的音頻文件。它將使用Deepgram將WAV文件轉(zhuǎn)換為文本。
步驟5:查詢OpenAI的響應(yīng)
注冊(cè)O(shè)penAI API:訪問(wèn)OpenRouter網(wǎng)站并注冊(cè)一個(gè)API密鑰。
發(fā)送文本到OpenAI:使用以下代碼發(fā)送文本到OpenAI API并打印響應(yīng)。
步驟6:整合一切
最終代碼:將前面的步驟合并到一個(gè)代碼庫(kù)中。
最后的輸出:
設(shè)置好所有內(nèi)容后,只需打開(kāi)串行終端并查找響應(yīng)。
首先,它將連接到網(wǎng)絡(luò),然后它將錄制5秒的音頻。然后它會(huì)使用deepGram將音頻轉(zhuǎn)換為文本,然后它會(huì)向OpenAI或DeepSeek查詢。
演示:
根據(jù)我的測(cè)試,結(jié)果很快就出來(lái)了。我的下一個(gè)計(jì)劃是使用ESP32 S3的揚(yáng)聲器將響應(yīng)轉(zhuǎn)換為音頻輸出。
使用案例
?無(wú)障礙解決方案:開(kāi)發(fā)先進(jìn)的人工智能助手,為身體殘疾的個(gè)人提供免提互動(dòng)。
?智能家居自動(dòng)化:通過(guò)語(yǔ)音命令控制家用電器,提高便利性
結(jié)論
恭喜你!您已經(jīng)使用OpenAI、DFRobot ESP32-S3 AI Camera和Deepgram API成功構(gòu)建了語(yǔ)音命令ChatGPT。本指南提供了一個(gè)全面的演練,以幫助您創(chuàng)建和定制您的聲控AI助手。編碼快樂(lè)!
您可以隨意嘗試并添加更多功能,不要猶豫,分享您的項(xiàng)目和經(jīng)驗(yàn)。如果您有任何問(wèn)題或需要進(jìn)一步的幫助,請(qǐng)隨時(shí)提出!
本文編譯自hackster.io