目前AI芯片市場(chǎng)很火熱，產(chǎn)品類型也很豐富：GPU、ASIC、FPGA、CPU等。據(jù)一家名為Allied Market Research的預(yù)測(cè)，2025年AI芯片相比2018年將迎來(lái)10倍到20倍的增長(zhǎng)。而未來(lái)最有潛力的增長(zhǎng)將來(lái)自專用ASIC。雖然GPU是目前AI芯片市場(chǎng)的明星，但是專用ASIC將主導(dǎo)市場(chǎng)的這種苗頭已經(jīng)從近期Habana Labs的產(chǎn)品發(fā)布中顯露出來(lái)。

業(yè)界最大幅度能效提升，單卡性能小幅提升

Habana Labs在去年曾推出了專門(mén)應(yīng)用于推理的AI芯片Goya，而今年在北京，Habana Labs的首席商務(wù)官Eitan Medina先生宣布了全新訓(xùn)練AI芯片Gaudi的發(fā)布。

根據(jù)給出的信息來(lái)看，在運(yùn)行ResNet-50模型的時(shí)候，Gaudi的處理能力比英偉達(dá)的V100提升了14%;而更令人印象深刻的是其功耗的表現(xiàn)，消耗每瓦特的功耗可以提供的IPS處理能力相比特斯拉T4提升了94%!據(jù)Eitan先生介紹，單卡的Gaudi的功耗是140W，可以實(shí)現(xiàn)1650 IPS的性能。Gaudi的另一個(gè)優(yōu)勢(shì)在于其集群的處理能力的增長(zhǎng)率也要比V100好上很多，如下圖所示，在大約640個(gè)Gaudi和640個(gè)V100性能對(duì)比下，Gaudi是V100的3.8倍。所以Gaudi從小型服務(wù)器到大規(guī)模服務(wù)器的部署，都非常適合。尤其是在大規(guī)模部署方面，絕對(duì)是目前市場(chǎng)上最佳選擇之一。

那么這種優(yōu)異的隨數(shù)增速的處理能力來(lái)自哪里呢?那就不得不提到其內(nèi)置的RoCE。

內(nèi)置RoCE實(shí)現(xiàn)任性拓展

RoCE是一種目前業(yè)內(nèi)普遍認(rèn)可的英偉達(dá)曾在今年3月份以69億美元現(xiàn)金收購(gòu)以色列芯片商Mellanox Technologies，看重的就是RoCE技術(shù)。在近期的GTC 2019上，黃教主就強(qiáng)調(diào)了RoCE的重要性：隨著服務(wù)器數(shù)量的提升，必須要借助RoCE的功能才可以將整個(gè)系統(tǒng)的處理性能實(shí)現(xiàn)提升。通過(guò)NVLink+PCIE+RoCE等技術(shù)構(gòu)成了英偉達(dá)的NCCL的通信庫(kù)，確保整個(gè)系統(tǒng)的性能隨著硬件堆疊而繼續(xù)提升。而Habana  Labs則直接將RoCE功能集成到了Gaudi中。

Gaudi使用標(biāo)準(zhǔn)以太網(wǎng)RoCE來(lái)進(jìn)行拓展，相比起英偉達(dá)的NVLink和InfiniBand在系統(tǒng)拓展和構(gòu)建方面就更為簡(jiǎn)單。每個(gè)Gaudi中都內(nèi)置了十個(gè)RoCE端口，而英偉達(dá)的V100則需要首先外接一個(gè)PCIE的轉(zhuǎn)換卡，然后連接到RDMA上實(shí)現(xiàn)以太網(wǎng)的帶寬拓展。Gaudi在成本和設(shè)計(jì)簡(jiǎn)化度上明顯優(yōu)于V100。

Habana Labs在芯片之上提供兩種不同的產(chǎn)品形態(tài)：PCB板卡樣式的HL-205和PCIe卡樣式的HL-200。以HL-205為例，通過(guò)內(nèi)置的RoCE可以實(shí)現(xiàn)多種不同的組合。

上圖是8個(gè)HL-205，加上兩個(gè)PCIe的開(kāi)關(guān)組成的一個(gè)訓(xùn)練系統(tǒng)，接口為4x16 PCIe Gen4，可連接到外部主機(jī)服務(wù)器，最多80X100Gb以太網(wǎng)鏈路。外部以太網(wǎng)鏈路可以連接到任何交換層次結(jié)構(gòu)。這種系統(tǒng)可以實(shí)現(xiàn)超大型模型并行訓(xùn)練。

這8個(gè)HL-205還可以有另一種網(wǎng)絡(luò)的方式，這種方式主要是針對(duì)已經(jīng)使用了V100的訓(xùn)練系統(tǒng)中進(jìn)行V100的替換。因?yàn)閂100只有六個(gè)端口用于拓展。HL-205支持在OAM規(guī)范中定義的6個(gè)通道上分配20個(gè)SerDes端口。但是這種網(wǎng)絡(luò)連接的系統(tǒng)并沒(méi)有將Gaudi的性能發(fā)揮到極致，這非常適合在現(xiàn)有V100的系統(tǒng)中進(jìn)行器件替換。如果你想要構(gòu)建一個(gè)更為高效的訓(xùn)練系統(tǒng)，Habana Labs提供了另一種名為HLS-1的系統(tǒng)。

HLS-1對(duì)外提供PCIE的這種接口，同時(shí)還提供了以太網(wǎng)接口。在系統(tǒng)內(nèi)部，每個(gè)Gaudi會(huì)拿出10個(gè)RoCE中的7個(gè)來(lái)與其它7個(gè)Gaudi實(shí)現(xiàn)互連，剩下的3個(gè)作為外部以太網(wǎng)接口。所以HLS-1可以提供24個(gè)100G的外部以太網(wǎng)接口。這是一個(gè)非常高效的訓(xùn)練系統(tǒng)，無(wú)需任何以太網(wǎng)交換機(jī)，用戶使用起來(lái)也非常方便，只需要通過(guò)PCIE就可以將HLS-1與自己的計(jì)算系統(tǒng)進(jìn)行互聯(lián)。而且復(fù)用率較高，可以連接到各種不同的CPU平臺(tái)進(jìn)行整個(gè)訓(xùn)練系統(tǒng)的搭建。

兩個(gè)HLS-1通過(guò)背板連接在一起就可以提供一個(gè)非常高效的16 Gaudi的訓(xùn)練系統(tǒng)。同時(shí)6個(gè)HLS-1可以放在同一個(gè)機(jī)架上組成一個(gè)訓(xùn)練系統(tǒng)。

到這里還沒(méi)有結(jié)束，接下來(lái)給大家介紹下更大規(guī)模集成的訓(xùn)練系統(tǒng)的組成，因?yàn)镚audi內(nèi)置了10個(gè)RoCE，所以HLS-205相比英偉達(dá)的DGX-2在大規(guī)模集群方面可以實(shí)現(xiàn)更強(qiáng)大的堆疊。

24個(gè)HLS-205之間可以保持相互100GbE的通信速率。如果將通信速率降低為50GbE，那么自然可以直接使系統(tǒng)數(shù)量翻兩倍。而DGX-2在進(jìn)行大規(guī)模集群的情況下，性能放大的表現(xiàn)并不足夠優(yōu)秀。Gaudi的這種集群系統(tǒng)可以在幾小時(shí)內(nèi)訓(xùn)練大量的模型，這對(duì)于想要最大限度地減少培訓(xùn)時(shí)間，建立大型，高效率的AI訓(xùn)練系統(tǒng)的客戶群而言非常有價(jià)值。

在Habana Labs的官方介紹中，提供了1000多個(gè)Gaui橫向擴(kuò)展的方案，這是一個(gè)8*11*12 = 1056的拓展方案。如果想要更大規(guī)模的拓展 ，則需要犧牲一定的帶寬來(lái)實(shí)現(xiàn)。

也可以選擇采用全連接的單跳系統(tǒng)的方式來(lái)進(jìn)行拓展，8個(gè)HL205的Gaudi系統(tǒng)通過(guò)網(wǎng)絡(luò)交換機(jī)進(jìn)行連接，總計(jì)16個(gè)100G的網(wǎng)絡(luò)連接。這種大規(guī)模的系統(tǒng)可以直接連接到深度學(xué)習(xí)的加速器。

還有一種拓展方式稱為“high end 2k Gaudi”系統(tǒng)。每個(gè)HL205包含一個(gè)64口的交換器，每個(gè)交換器都連接到256X100G的交換機(jī)。

Gaudi內(nèi)置10個(gè)RoCE所帶來(lái)的優(yōu)勢(shì)非常明顯，V100被遠(yuǎn)遠(yuǎn)甩在了身后。但在Gaudi上進(jìn)行開(kāi)發(fā)的體驗(yàn)是否有保證呢?Habana Labs也考慮的非常周到。

將現(xiàn)有設(shè)計(jì)移植到Gaudi平臺(tái)

新的硬件平臺(tái)出來(lái)后，性能一般都會(huì)更優(yōu)異，但客戶最終會(huì)關(guān)心的一個(gè)問(wèn)題是，如何將我現(xiàn)有的設(shè)計(jì)方便地移植到新的平臺(tái)上?這是他們決定是否進(jìn)行硬件平臺(tái)變換的重要因素。

Habana提供的軟件環(huán)境叫做SynapseAI，軟件在上層API可以對(duì)接多種主流框架，例如TensorFlow、Caffe2、ONNX和Glow等等。軟件的核心包括一個(gè)Habana Labs的庫(kù)、一個(gè)用戶庫(kù)和一個(gè)圖形組件。如果客戶有定制化的需求，可以通過(guò)用戶庫(kù)來(lái)進(jìn)行定制化的設(shè)計(jì)。軟件下層公國(guó)KMD API與Gaudi的PCIe驅(qū)動(dòng)進(jìn)行連接。

Habana Labs的Synapse AI希望可以幫助到做深度學(xué)習(xí)的開(kāi)發(fā)者能夠?qū)Ｗ⒂谒惴ū旧淼拈_(kāi)發(fā)，而無(wú)需考慮過(guò)多的硬件移植和適配等問(wèn)題。

---

Gaudi在性能、拓展性和功耗方面超越了V100和T4，隨著未來(lái)AI方面需求的逐漸明確，專用的ASIC的方案肯定會(huì)比GPU、CPU等更加高效和適合。