（文章來源：教育新聞網(wǎng)）

如今，人工智能無處不在。SoC供應(yīng)商不得不屈服于將這些功能融入其產(chǎn)品中。從市場頂部的英特爾和Nvidia到高通，谷歌和特斯拉，每個(gè)人都在談?wù)撻_發(fā)新芯片來處理與人工智能和機(jī)器學(xué)習(xí)有關(guān)的各種工作負(fù)載。

盡管這些公司在各種測試中展示了自己的產(chǎn)品并取得了驕人的成績，但仍需要獨(dú)立第三方可以用來比較和評估芯片的工具。MLPerf是數(shù)十名開發(fā)人員，學(xué)者以及來自涉及AI / DL各個(gè)方面的許多公司和組織的有興趣的個(gè)人的共同努力。該項(xiàng)目的目標(biāo)是創(chuàng)建一個(gè)可用于評估各種潛在產(chǎn)品和用例的測試框架。

在這種情況下，我們正在討論推理，而不是訓(xùn)練。推理是將模型應(yīng)用于任務(wù)。培訓(xùn)是指首先創(chuàng)建模型。模型通常在高端PC，服務(wù)器或等效的HPC群集上進(jìn)行訓(xùn)練，而推理工作負(fù)載可以在從手機(jī)到高端服務(wù)器的任何設(shè)備上運(yùn)行。

根據(jù)推理基準(zhǔn)開發(fā)共同主席David Kanter的說法，MLPerf的設(shè)計(jì)團(tuán)隊(duì)已經(jīng)確定了他們評估的四個(gè)關(guān)鍵方案。邊緣設(shè)備(例如手機(jī))專注于一次從一個(gè)流中讀取數(shù)據(jù)。這些設(shè)備強(qiáng)調(diào)低延遲，并以這些標(biāo)準(zhǔn)為基準(zhǔn)。下一類產(chǎn)品可一次讀取多個(gè)數(shù)據(jù)流，例如帶有八個(gè)獨(dú)立攝像頭的特斯拉。在這些情況下，系統(tǒng)在可接受的延遲范圍內(nèi)處理所有相關(guān)數(shù)據(jù)流的能力變得很重要。

在后端，存在一個(gè)問題，即服務(wù)器是否可以在定義的響應(yīng)范圍內(nèi)每秒保持足夠數(shù)量的查詢，而“脫機(jī)”測試則用于照片排序等沒有時(shí)間維度的任務(wù)依附于他們。從概念上講，這四個(gè)任務(wù)把預(yù)期使用推理的區(qū)域括起來。

MLPerf將允許用戶在封閉和開放部門中提交基準(zhǔn)測試結(jié)果。封閉的部門將對其提交和測試有更嚴(yán)格的規(guī)定，而開放的部門將允許更多的實(shí)驗(yàn)和定制。我特別喜歡的一個(gè)小功能是MLPerf結(jié)果的分類方式。共有三類：可用，預(yù)覽和RDO(研究，開發(fā)，其他)?？捎帽硎灸裉炜梢再徺I硬件，預(yù)覽意味著您可以在180天內(nèi)或MLPerf的下一個(gè)版本開始之前購買該硬件，RDO用于非常規(guī)生產(chǎn)的原型和系統(tǒng)。這種區(qū)別將使用戶了解應(yīng)該比較哪些硬件平臺(tái)。