（文章來源：教育新聞網(wǎng)）

如今，人工智能無處不在。SoC供應商不得不屈服于將這些功能融入其產(chǎn)品中。從市場頂部的英特爾和Nvidia到高通，谷歌和特斯拉，每個人都在談論開發(fā)新芯片來處理與人工智能和機器學習有關的各種工作負載。

盡管這些公司在各種測試中展示了自己的產(chǎn)品并取得了驕人的成績，但仍需要獨立第三方可以用來比較和評估芯片的工具。MLPerf是數(shù)十名開發(fā)人員，學者以及來自涉及AI / DL各個方面的許多公司和組織的有興趣的個人的共同努力。該項目的目標是創(chuàng)建一個可用于評估各種潛在產(chǎn)品和用例的測試框架。

在這種情況下，我們正在討論推理，而不是訓練。推理是將模型應用于任務。培訓是指首先創(chuàng)建模型。模型通常在高端PC，服務器或等效的HPC群集上進行訓練，而推理工作負載可以在從手機到高端服務器的任何設備上運行。

根據(jù)推理基準開發(fā)共同主席David Kanter的說法，MLPerf的設計團隊已經(jīng)確定了他們評估的四個關鍵方案。邊緣設備(例如手機)專注于一次從一個流中讀取數(shù)據(jù)。這些設備強調低延遲，并以這些標準為基準。下一類產(chǎn)品可一次讀取多個數(shù)據(jù)流，例如帶有八個獨立攝像頭的特斯拉。在這些情況下，系統(tǒng)在可接受的延遲范圍內處理所有相關數(shù)據(jù)流的能力變得很重要。

在后端，存在一個問題，即服務器是否可以在定義的響應范圍內每秒保持足夠數(shù)量的查詢，而“脫機”測試則用于照片排序等沒有時間維度的任務依附于他們。從概念上講，這四個任務把預期使用推理的區(qū)域括起來。

MLPerf將允許用戶在封閉和開放部門中提交基準測試結果。封閉的部門將對其提交和測試有更嚴格的規(guī)定，而開放的部門將允許更多的實驗和定制。我特別喜歡的一個小功能是MLPerf結果的分類方式。共有三類：可用，預覽和RDO(研究，開發(fā)，其他)?？捎帽硎灸裉炜梢再徺I硬件，預覽意味著您可以在180天內或MLPerf的下一個版本開始之前購買該硬件，RDO用于非常規(guī)生產(chǎn)的原型和系統(tǒng)。這種區(qū)別將使用戶了解應該比較哪些硬件平臺。