英國一名資深芯片工程師James W. Hanlon,盤點(diǎn)了當(dāng)前十大AI訓(xùn)練芯片。
并給出了各個(gè)指標(biāo)的橫向?qū)Ρ?,也是目前對AI訓(xùn)練芯片最新的討論與梳理。
其中,華為昇騰910是中國芯片廠商唯一入選的芯片,其性能如何,也在這一對比中有了展現(xiàn)。
Cerebras Wafer-Scale Engine
這一芯片于今年8月份正式面世,被稱為“史上最大AI芯片”,名為“晶圓級引擎”(Cerebras Wafer Scale Engine,簡稱WSE)。
其最大的特征是將邏輯運(yùn)算、通訊和存儲器集成到單個(gè)硅片上,是一種專門用于深度學(xué)習(xí)的芯片。
一舉創(chuàng)下4項(xiàng)世界紀(jì)錄:
晶體管數(shù)量最多的運(yùn)算芯片:總共包含1.2萬億個(gè)晶體管。雖然三星曾造出2萬億個(gè)晶體管的芯片,卻是用于存儲的eUFS。
芯片面積最大:尺寸約20厘米×23厘米,總面積46225平方毫米。
片上緩存最大:包含18GB的片上SRAM存儲器。
運(yùn)算核心最多:包含410,592個(gè)處理核心
之所以能夠有如此亮眼的數(shù)據(jù),直接得益于其集成了84個(gè)高速互連的芯片,單個(gè)芯片在FP32上的峰值性能表現(xiàn)為40 Tera FLOPs,芯片功率達(dá)15千瓦,與AI集群相當(dāng)。
片上緩存也達(dá)到了18GB,是GPU緩存的3000倍;可提供每秒9PB的內(nèi)存帶寬, 比GPU快10,000倍。
晶片規(guī)模集成,并不是一個(gè)新的想法,但產(chǎn)量、功率傳輸和熱膨脹相關(guān)的問題使其很難商業(yè)化。在這些方面,Cerebras都給出了相應(yīng)的解決辦法:
為了解決缺陷導(dǎo)致良率不高的問題,Cerebras在設(shè)計(jì)的芯片時(shí)候考慮了1~1.5%的冗余,添加了額外的核心,當(dāng)某個(gè)核心出現(xiàn)問題時(shí)將其屏蔽不用,因此有雜質(zhì)不會導(dǎo)致整個(gè)芯片報(bào)廢。
Cerebras與臺積電合作發(fā)明了新技術(shù),來處理具有萬億加晶體管芯片的刻蝕和通訊問題。
在芯片上方安裝了一塊“冷卻板”,使用多個(gè)垂直安裝的水管直接冷卻芯片。
Cerebras公司由Sean Lie(首席硬件架構(gòu)師)、Andrew Feldman(首席執(zhí)行官)等人于2016年創(chuàng)立。后者曾創(chuàng)建微型服務(wù)器公司SeaMicro,并以3.34億美元的價(jià)格出售給AMD。
該公司在加州有194名員工,其中包括173名工程師,迄今為止已經(jīng)從Benchmark等風(fēng)投機(jī)構(gòu)獲得了1.12億美元的投資。