隨著許多嵌入式系開始變得「智能」且「自主」，以人工智能(AI)神經網絡為導向的嵌入式系統(tǒng)市場即將起飛，神經網絡加速器大戰(zhàn)一觸發(fā)。

嵌入式神經網絡加速器市場持續(xù)升溫，從智能音箱、無人機到智能燈泡等越來越多的系統(tǒng)準備在本地執(zhí)行神經網絡，以取代傳送至云端進行運算的途徑。

Movidius副總裁兼總經理Remi El-Ouazzane日前在接受訪問時，將這個成長中的趨勢定義為「讓事情變得更智能與自主的一場競賽」。

Remi El-Ouzaane，Movidius副總裁兼總經理Remi El-Ouazzane

英特爾旗下子公司Movidius在上周推出了一款采用USB外形的獨立式人工智能(AI)加速器。 El-Ouazzane說，這款名為Movidius神經運算棒(Neural Compute Stick)的AI加速器設計，可輕松簡單地插入Raspberry Pi或X86 PC，讓大學研究人員、獨立軟件開發(fā)人員與程序增補人員易于為嵌入式系統(tǒng)進行編譯、調整以及加速深度學習應用。

Movidius在去年秋天被英特爾收購后，如今已成為英特爾新技術部門的一部份。 Movidius之前曾經開發(fā)出業(yè)界首款視覺處理器——Myriad 2 VPU。 如今，El-Ouazzane表示，推出這款運算棒的最終目標在于讓Movidius VPU成為可在邊緣執(zhí)行神經網絡的「參考架構」。

Movidius Myria 2 VPU方塊圖盡管目標遠大，但業(yè)界分析師隨即指出，Movidius Myriad 2 VPU當然不是嵌入式系統(tǒng)中可在邊緣執(zhí)行神經網絡的唯一選擇。

催生新產品類別：神經加速器

Tirias Research首席分析師Jim McGregor表示：「從技術上來看，您可以使用任何具有處理組件的開發(fā)板，并用于執(zhí)行一種模型。 例如機器學習(Machine learning)/AI模型已經執(zhí)行于各種廣泛的處理器和SoC了，特別是針對行動領域。 」

高通(Qualcomm)以Snapdragon系列實現(xiàn)的影像辨識可說是最佳的例子。 高通從Snapdragon 820開始采用自家開發(fā)的模型，McGregor說：「Snapdragon基本上就是推理引擎」。

具有平行處理組件(如GPU、DSP和FPGA)的處理解決方案非常適于作為推理引擎。 McGregor解釋說，許多正在開發(fā)中的客制化芯片解決方案都采用可內建于SoC的DSP或FPGA。

Linley Gwennap首席分析師Linley Gwennap對此表示贊同。 他在最近出刊的《微處理器報告》(Microprocessor Report)中寫道：高通、蘋果(Apple)和英特爾(Movidius)都在「打造一種新的產品類別：神經加速器。 」

Gwennap解釋說，對于這些以客戶端為基礎的加速器需求來自于要求極低延遲的自動駕駛車。 Gwennap在該報告的評論中指出，在本地進行處理的新技術將會開始「滲透至一些較低成本的應用」。 他預測，「在消費裝置中，小型的神經加速器可能是SoC中的一個重要區(qū)塊，就像是繪圖核心或圖像處理器一樣。 幾家知識產權(IP)供貨商開始提供這一類加速器，期望盡可能地降低額外的硬件成本。 」

Gwennap在的訪談中指出，Movidius Neural Compute Stick對于開發(fā)人員幾乎沒有什么不同。 「對于開發(fā)人員來說，這并沒什么不起。 典型的PC就能產生至少100GFLOPS，特別是如果它還內建繪圖卡，直接在PC上進行開發(fā)會更好。 對于需要較低功率處理器的嵌入式系統(tǒng)，高通Snapdragon 835提供超過250GOPS的效能，對于大多數的推理應用來說都夠了。 」

不過，Movidius的El-Ouazzane并不贊同這樣的看法。

首先，Movidius Neural Compute Stick利用USB讓神經網絡更易于存取，有利于制造商或程序增補人員用于開發(fā)深度神經網絡原型或進行調整。

其次是電源效率的問題。 El-Ouazzane指出，Movidius的解決方案可讓神經網絡在邊緣運算時旳功耗小于2瓦(W)。

然后，還有成本的考慮。 El-Ouazzane說：「我認為這是一個殺手級因素。 Movidius Neural Compute Stick要價79美元，可望讓神經網絡的發(fā)展變得『超級普遍』。 」

他預期開發(fā)人員能使用Movidius的神經運算平臺(Neural Compute Platform)應用程序編程接口(API)，「將經過訓練的Caffe、前饋卷積神經網絡(CNN)輸入工具套件中，并進行配置，然后編譯成一種可用于嵌入式部署的調整版本。 」

以AI為導向的嵌入式應用?

隨著許多嵌入式系開始變得「智能」且「自主」，El-Ouazzane預計以AI為導向的嵌入式系統(tǒng)即將爆發(fā)。

但是，不久的將來即將出現(xiàn)什么樣的AI裝置?

McGregor預測，「我認為在2025年以前，每個人所接觸的每一款新系統(tǒng)/平臺都將具有某種程度的AI元素，它可能內建于裝置本身，或存在于網絡、云端，或是分散在其間。 」

他補充說：「它可能就像是用戶接口或應用一樣簡單，或者是像虛擬助理或自主控制般復雜的某種裝。 目前已經有許多應用已經導入了AI，包括虛擬助理、搜索引擎、財務建模、與文章寫作。..。. 等等。 」

他說：「而在裝置上，AI將因各種不同的原因而持續(xù)成長，特別是數據的安全、實時互動/處理以及帶寬限制等。 然而，在裝置上進行訓練才是真正的挑戰(zhàn)，最終可能需要新的處理模型。 」

英特爾想掌握一切。

當然，Movidus現(xiàn)在是英特爾的子公司，但其目標并不僅限于有更多嵌入式系統(tǒng)在邊緣執(zhí)行神經網絡。 El-Ouazzane將其產品發(fā)布架構在英特爾端對端AI產品組合的更大脈絡之下。

他指出，英特爾擁有廣泛的AI產品組合，并為其提供一整套完整的開發(fā)工具和資源。

「無論是在英特爾Nervana云端上訓練AI神經網絡、優(yōu)化新興的工作負載(如AI、、VR和AR)，以及使用英特爾Xeon Scalable處理器實現(xiàn)自動駕駛，或是以Movidius視覺處理器技術將AI導入邊緣，」英特爾宣稱該公司已為下一代AI驅動的產品和服務提供了全面的AI產品組合、工具、訓練和部署選擇。

然而，Movidus是否真的能在即將變得無所不在的AI嵌入式系統(tǒng)中成為其關鍵參考架構，目前還不而知。

Tirias Research的McGregor盡管認同Neural Compute Stick是「一款可在新設計中快速評估AI模型訓練效能的有利工具，」但他仍指出，「設計人員仍然必須在最后的系統(tǒng)設計時間執(zhí)行類測試，特別是如果他們并未使用Moviduis的芯片和/或Caffe架構。 」

The Linley Group的Gwennap還認為，Movidius無法達到其目標——實現(xiàn)在邊緣運算神經網絡的嵌入式系統(tǒng)設計。

區(qū)隔推理引擎與訓練

Gwennap指出，「值得注意的是，新的AI時代并不會有『參考架構』。 諸如TensorFlow和Caffe等架構將會把軟件(神經網絡)和硬件分開來。 」他補充說：「映像到Myriad VPU的網絡可以輕易地映像到Snapdragon或其他處理器上。 因此，AI處理器將在性能和效率的基礎上進行競爭，而不是鎖定于指令集。 」

同樣地，他也不認同「同樣的工具適用于訓練和推理」的論點。 Gwennap說：「一旦網絡開始接受訓練，就可以輕松地部署在支持主流架構的任何平臺上。 而且，主流的架構都是開放源碼，以避免單一家廠商鎖定。 」。

El-Ouazzane看好AI處理器抽取底層硬件的能力，它讓設計者可將推論與練訓分離開來。 但他重申先前的觀點，從長遠來看，能夠使用相同的工具進行神經網絡的訓練和部署，才有助于系統(tǒng)設計人員。

他以Movidius的開發(fā)藍圖為例表示，未來三年，深度學習的效能預計將會增加50倍。 「為了在不增加功耗的情況下實現(xiàn)這一目標，我們可以在訓練方面設計許多架構技巧。 」El-Ouazzane補充說：「當你在斟酌這些技巧時，讓學習和推理方面置于同一平臺是至關重要的。 」