先進的人工智能(AI),就像生成型人工智能一樣,正在增強我們所有的智能設備。然而,一個常見的誤解是,這些AI工作負載只能在云和數據中心處理。事實上,大多數人工智能推理工作負載在實際設備上可以在邊緣進行處理,而這些工作負載比訓練要便宜和快。

今天,CPU在整個設備中的可用性和不斷增長的人工智能正在幫助將更多的人工智能推理處理推向邊緣。異構計算方法為業(yè)界提供了使用不同計算組件的靈活性--包括CPU、GPU和NPU--來處理不同的AI使用案例和需求,而邊緣計算中的AI推理則是CPU的優(yōu)勢所在。

有鑒于此,下面是為什么CPU是人工智能推理工作負載的最佳目標的前五個原因。

人工智能推理對CPU的好處

邊緣效率

邊緣人工智能處理對技術產業(yè)很重要,因為邊緣人工智能處理越多,就越能不需要從云端發(fā)送數據而節(jié)省電力。這將大大節(jié)省能源和成本。用戶還得益于更快的、響應性更強的人工智能推理經驗,以及更大的隱私性,因為數據是在本地處理的。這些對于電源受限的設備和邊緣應用程序尤為重要,如無人機、智能可穿戴設備和智能家用設備,在這些設備中,功率效率、延遲性和安全性是最重要的。在這種情況下,CPU起著至關重要的作用,因為它能夠以最有效的方式處理這些AI推理任務。

各種人工智能推理任務的通用性

CPU的多功能性使它能夠處理各種各樣的人工智能推理任務,特別是對于需要快速響應和可靠性能的應用程序和設備。例如,實時數據處理任務,如預測性維護、環(huán)境監(jiān)控或自主導航,在CPU上處理起來更有效率和更快。在工業(yè)化的iot應用程序中,這確保系統(tǒng)能夠在毫秒內響應其環(huán)境或環(huán)境中的任何變化。這對安全和功能至關重要。

小型人工智能模型性能優(yōu)異

cps支持各種各樣的人工智能框架,如meta的皮托和執(zhí)行火炬,谷歌的AI邊緣的媒體,使部署大型語言模型(llm)為AI推理。這些LLMS正在以快速的速度發(fā)展,特殊的用戶體驗通過參數不斷減少的小型緊湊型模型來解鎖。模型越小,它在CPU上運行的效率和效力就越高。

小型LLMS的可用性,如新的LMA3.2b和3B版本,對于在規(guī)模上支持人工智能推理至關重要。最近,?展示手臂 通過ARM計算機優(yōu)化內核在以ARM為動力的移動設備上運行LMAMA3.2LM,這導致了快速處理方面的5倍改進和令牌生成方面的3倍改進。

我們已經看到開發(fā)人員編寫了更緊湊的模型來運行低功率的處理器,甚至微控制器,這樣可以節(jié)省時間和成本。?普魯梅雷 它提供軟件解決方案來加速ARM皮層A和皮層M系統(tǒng)芯片上的神經網絡(SOCS),在一個基于ARM的微控制器上運行超過1mb的人工智能代碼來進行面部檢測和識別。為了保護用戶隱私,所有的推理都在芯片上完成,所以沒有面部特征或其他個人數據被發(fā)送到云端進行分析。

為開發(fā)人員提供更大的靈活性和可編程性

由于CPU具有靈活性和可編程性,軟件社區(qū)正在積極選擇CPU作為選擇其人工智能工作負載的首選路徑。CPU的更大靈活性意味著開發(fā)人員可以以更多樣的數據格式運行更廣泛的軟件,而無需開發(fā)人員構建多個版本的代碼。與此同時,每個月都有不同架構和量化方案的新模型出現。由于CPU是高度可編程的,這些新的模型可以在一個小時內部署到CPU上。

人工智能創(chuàng)新架構基金會

這種開發(fā)人員的創(chuàng)新是建立在CPU架構的基礎上的,它不斷地添加新的功能和指令來處理更高級的AI工作負載。CPU的無處不在意味著開發(fā)人員可以訪問這些功能,以進一步加速和創(chuàng)新基于AI的體驗。實際上,CPU體系結構的不斷演變與應用程序的演變直接相關,而這些應用程序現在更快、更智能。

為什么人工智能推理的CPU是不可或缺的

CPU不僅僅是芯片上系統(tǒng)的一個組成部分(?SOC )設計,它們使人工智能能夠在各種各樣的邊緣應用程序和設備中實現實用、高效和可訪問。提供一個獨特的混合效率,多功能性和可訪問性,CPU是不可或缺的人工智能推理。它們通過在邊緣處理人工智能任務,同時為最終用戶提供更快、更有響應性的人工智能體驗,有助于減少能源消耗和延遲。隨著人工智能繼續(xù)發(fā)展并滲透到技術的各個方面,CPU在處理人工智能推理工作量中的作用只會增加,從而確保人工智能能夠在各個行業(yè)中廣泛和可持續(xù)地部署。