人工智能(AI)在自動駕駛、物聯(lián)網(wǎng)和機器人技術(shù)中的應(yīng)用離不開數(shù)據(jù)處理。目前終端設(shè)備需要將采集的大量數(shù)據(jù)，包括圖像、視頻、音頻等，通過網(wǎng)絡(luò)傳輸至數(shù)據(jù)中心進行AI相關(guān)的處理，然后再將結(jié)果返回至終端設(shè)備。這就帶來了網(wǎng)絡(luò)帶寬、數(shù)據(jù)傳輸穩(wěn)定性及安全性等問題。

因此，AI從云端走向邊緣終端設(shè)備是大勢所趨，AI邊緣推理芯片應(yīng)運而生。

Intel、Google、Nvidia及Flex Logix邊緣推理芯片

目前的AI邊緣推理芯片有Intel的Myriad、Google的Edge TPU、Nvidia的Jetson Nano及Flex Logix的InferX X1等。

(圖片來源：Flex Logix)

(圖片來源：Flex Logix)

Flex Logix的InferXtm X1邊緣推理芯片是在業(yè)界領(lǐng)先的eFPGA互連技術(shù)上，結(jié)合專為AI推理運算而優(yōu)化的nnMAXtm乘加器(MAC)而開發(fā)。

Flex Logix公司稱，在通常只有一個攝像頭或傳感器、需要完成小批量數(shù)據(jù)處理的邊緣應(yīng)用中，InferX X1的性能接近數(shù)據(jù)中心推理芯片，并且只需一個DRAM即可在邊緣應(yīng)用中提供高吞吐量，同時保持系統(tǒng)功耗和成本。

“設(shè)計邊緣神經(jīng)網(wǎng)絡(luò)推理芯片的一個難題是如何降低大量的數(shù)據(jù)交換及降低功耗，而我們的可編程互連技術(shù)是接近完美的解決方案。”Flex Logix公司CEO Geoff Tate說。

Tate表示，InferX X1基于低DRAM帶寬，與高端數(shù)據(jù)中心服務(wù)器的黃金標準Nvidia的Tesla T4相比，每瓦吞吐量提高了四倍，每美元吞吐量提高了三倍。

Tate提到，InferX在YoloV2，YoloV3和GoogleNet等推理基準方面優(yōu)于其它供應(yīng)商的邊緣推理芯片，如Intel的Myriad X和Nvidia的Jetson Nano。

圖：InferX X1與Nvidia Tesla T4的價格/性能比和性能/瓦特比。(圖片來源：Flex Logix)

Tate強調(diào)InferX雖然不具Tesla T4的吞吐量，但其最終售價將僅為T4價格的幾分之一。

“我們的InferX X1 AI邊緣推理芯片專注于AI推理，而Intel及Nvidia等邊緣推理產(chǎn)品除了推理還提供AI訓(xùn)練，因此可以說Flex Logix的邊緣推理芯片做得更專更精。”Flex Logix的銷售總監(jiān)Jim Jian在接受《電子工程專輯》記者的采訪時談到。

Jim還特別提到，目前幾乎沒有哪個邊緣推理產(chǎn)品的供應(yīng)商公布其產(chǎn)品的Benchmark，“我們決定將InferX X1的Benchmark公之于眾，方便客戶在不同的供應(yīng)商之間進行比較和選擇。”顯示出Flex Logix對InferX X1 AI邊緣推理芯片的信心。

(圖片來源：Flex Logix)

高算力，低成本，InferX X1是怎樣做到的?

InferX AI芯片的核心技術(shù)源自Flex Logix擁有專利的現(xiàn)有eFPGA IP里的可編程互連技術(shù)，同時結(jié)合專為AI推理而設(shè)計的乘加器(MAC)和存儲單元。這些乘加器支持INT8、INT16、BF16等AI算法里常見的精度數(shù)字。

(圖片來源：Flex Logix)

“在運算一層網(wǎng)絡(luò)的時候，我們利用可編程互連將InferX的MAC根據(jù)這一層網(wǎng)絡(luò)的dataflow來連接，等于是專為這一層運算配置了一個ASIC。同時對下一層網(wǎng)絡(luò)進行pre-load，以實現(xiàn)在這一層運算完后可以最快速地配置下一層。同樣的可編程互連也與片上的SRAM連接，將這一層的輸出，快速配置成下一層的輸入，從而避免了大量的數(shù)據(jù)交換。所以InferX只需要一顆x32 DRAM就夠了。這讓我們可以將芯片設(shè)計得更小，大大降低了功耗和成本。”Flex Logix公司CEO Geoff Tate指出。

InferX X1芯片可以通過擴展口來連接數(shù)個芯片以增加算力。Flex Logix同時還提供搭載InferX X1的半高半長PCIe卡給Edge Server和gateway客戶。

(圖片來源：Flex Logix)

正是因為應(yīng)用了核心的可編程互連技術(shù)，并在InferX芯片產(chǎn)品中引入其它新技術(shù)，才使得InferX X1能在提供高算力的同時提供低功耗和低成本，并且適用于任何神經(jīng)網(wǎng)絡(luò)。

InferX X1應(yīng)用在哪些領(lǐng)域?

InferX X1是專為邊緣推理應(yīng)用而設(shè)計的，適用于邊緣終端設(shè)備，特別是需要實時處理數(shù)據(jù)的設(shè)備和應(yīng)用，例如L3~L5的汽車自動駕駛、視頻監(jiān)控和識別、自然語音處理等。除此之外，還可用于機器人、無人機、醫(yī)療設(shè)備，甚至云端的推理服務(wù)器。

(圖片來源：Flex Logix)

InferX X1可以支持語音，圖像，視頻等任何基于TensorFlow-Lite或ONNX的模型和算法，特別適用于大型的模型算法和實時識別。例如YOLOv3實時物體識別算法，InferX X1在batch=1的情況下，可以對1Megapixel圖像達到25.4幀每秒(fps)的吞吐量，而對2Megapixel高清圖像則達到12.7幀每秒(fps)。

工程師在使用InferX X1時應(yīng)當(dāng)注意什么?

當(dāng)《電子工程專輯》記者問到工程師在使用InferX X1時應(yīng)當(dāng)特別注意什么時，Jim Jian說，F(xiàn)lex Logix的eFPGA的用戶主要是設(shè)計芯片的硬件工程師，而InferX X1芯片用于AI推理，所以客戶主要是算法工程師。算法工程師不需要了解芯片內(nèi)部的結(jié)構(gòu)及運行，他們關(guān)注的是自己的神經(jīng)網(wǎng)絡(luò)模型在InferX X1芯片上是否能夠達到所需的性能。

所以，這些算法工程師在設(shè)計擁有推理功能的邊緣終端設(shè)備或系統(tǒng)時，首先要確認推理計算的芯片是否能提供足夠的算力來達到自己算法需要的精度和吞吐量，同時還需要考慮設(shè)備對功耗的限制，以及對成本的要求。

(圖片來源：Flex Logix)

Flex Logix向客戶提供編譯器軟件nnMAX Compiler，客戶可以將基于TensorFlow-Lite或ONNX的算法直接用nnMAX Compiler軟件編譯。因此，設(shè)計一開始客戶就能了解自己的算法在InferX芯片上運行的性能和功耗等數(shù)據(jù)，從而迅速評估并優(yōu)化自己的設(shè)計。