PyTorch 宣布支持蘋果 M1 芯片,GPU大大加速,訓(xùn)練推理都加速
今年 3 月,蘋果發(fā)布了其自研 M1 芯片的最終型號(hào) M1 Ultra,它由 1140 億個(gè)晶體管組成,是有史以來(lái)個(gè)人計(jì)算機(jī)中最大的數(shù)字。蘋果宣稱只需 1/3 的功耗,M1 Ultra 就可以實(shí)現(xiàn)比桌面級(jí) GPU RTX 3090 更高的性能。
隨著用戶數(shù)量的增長(zhǎng),人們已經(jīng)逐漸接受使用 M1 芯片的計(jì)算機(jī),但作為一款 ARM 架構(gòu)芯片,還有人在擔(dān)心部分任務(wù)的兼容性問(wèn)題。昨天,通過(guò)與蘋果 Metal 團(tuán)隊(duì)工程師合作,PyTorch 官方宣布已正式支持在 M1 版本的 Mac 上進(jìn)行 GPU 加速的 PyTorch 機(jī)器學(xué)習(xí)模型訓(xùn)練。此前,Mac 上的 PyTorch 訓(xùn)練僅能利用 CPU,但隨著即將發(fā)布的 PyTorch v1.12 版本,開發(fā)和研究人員可以利用蘋果 GPU 大幅度加快模型訓(xùn)練?,F(xiàn)在,人們可以在 Mac 上相對(duì)高效地執(zhí)行機(jī)器學(xué)習(xí)工作,例如在本地進(jìn)行原型設(shè)計(jì)和微調(diào)。蘋果芯片的 AI 訓(xùn)練優(yōu)勢(shì)PyTorch GPU 訓(xùn)練加速是使用蘋果 Metal PeRFormance Shaders ( MPS ) 作為后端來(lái)實(shí)現(xiàn)的。MPS 后端擴(kuò)展了 PyTorch 框架,提供了在 Mac 上設(shè)置和運(yùn)行操作的腳本和功能。MPS 使用針對(duì)每個(gè) Metal GPU 系列的獨(dú)特特性進(jìn)行微調(diào)的內(nèi)核能力來(lái)優(yōu)化計(jì)算性能。新設(shè)備將機(jī)器學(xué)習(xí)計(jì)算圖和原語(yǔ)映射到 MPS Graph 框架和 MPS 提供的調(diào)整內(nèi)核上。
PyTorch的前身是Torch,其底層和框架一樣,但是使用Python重新寫了很多內(nèi)容,不僅更加靈活,支持動(dòng)態(tài)圖,而且提供了Python接口。它是由Torch7團(tuán)隊(duì)開發(fā),是一個(gè)以Python優(yōu)先的深度學(xué)習(xí)框架,不僅能夠?qū)崿F(xiàn)強(qiáng)大的GPU加速,同時(shí)還支持動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)。PyTorch既可以看作加入了GPU支持的numpy,同時(shí)也可以看成一個(gè)擁有自動(dòng)求導(dǎo)功能的強(qiáng)大的深度神經(jīng)網(wǎng)絡(luò)。除了Facebook外,它已經(jīng)被Twitter、CMU和Salesforce等機(jī)構(gòu)采用。
M1 Ultra將兩個(gè)M1 Max芯片融合在一起,組成了一個(gè)具有20個(gè)CPU核和64個(gè)GPU核的處理器,以及高達(dá)128GB的RAM,這是我們測(cè)試過(guò)的速度最快的處理器之一。隨著 Mac Studio 的推出,蘋果還發(fā)布了全新的 Apple Silicon 芯片 M1 Ultra。這實(shí)際上是將兩個(gè) M1 Max 芯片合二為一。Geekbench 測(cè)試顯示它比 Intel Mac Pro 中提供的最高規(guī)格 CPU 更強(qiáng)大時(shí),我們初步了解到 M1 Ultra 芯片的強(qiáng)大程度。 “28 核 Intel Xeon W-3275M 處理器是 Mac Pro 中最好的處理器,多核得分為 19951。這意味著 M1 Ultra 比英特爾 Mac Pro 可用的最昂貴的 CPU 快約 20%?!盡acworld 運(yùn)行了一組非常全面的基準(zhǔn)測(cè)試,這表明高端芯片的優(yōu)勢(shì)差異很大,ProRes 攝像師看到了最大的改進(jìn)。 “如果你對(duì) ProRes 和 H.265 等視頻編解碼器很感興趣,那么擁有雙倍于 Ultra 中的加速器將帶來(lái)巨大的性能提升。如果你關(guān)心照片編輯器,那么兩種型號(hào)的單核性能幾乎相同,這意味著可以選擇更便宜的版本。但是,如果你確實(shí)需要進(jìn)行較重的照片工作,Ultra 的更高內(nèi)存限制可以派上用場(chǎng)。再次,認(rèn)識(shí)到你的工作流程需要什么,然后做出相應(yīng)的選擇?!?
一般認(rèn)為,蘋果的UltraFusion封裝架構(gòu)是基于臺(tái)積電(TSMC)的CoWoS(Chip-on-Wafer-on-Substrate),這是一項(xiàng)2.5D封裝技術(shù),可以將多個(gè)小芯片封裝到一個(gè)基板上。不過(guò)半導(dǎo)體封裝方面的專業(yè)人士Tom Wassick則放出了相關(guān)的幻燈片,顯示M1 Ultra采用的是名為“InFO_LI”的封裝方式,屬于本地芯片互聯(lián)的晶圓級(jí)封裝。
此前在春季發(fā)布會(huì)上,蘋果并沒(méi)有更新自家的筆記本產(chǎn)品線,而是“另起爐灶”推出了Mac Studio產(chǎn)品線,以替代此前設(shè)計(jì)稍顯過(guò)時(shí)的Mac Mini。芯片方面,Mac Studio采用的是將兩顆M1 Max“縫合”在一起的M1 Ultra芯片。那么在此后的WWDC 2022上,有業(yè)內(nèi)人士預(yù)測(cè)M2芯片將有極大可能正式亮相,并且實(shí)裝在全新的MacBook Air上。
同時(shí),MacBook Air也將會(huì)更換全新的模具,并且像此前的M1 iMac一樣,擁有更多的配色。M2還將會(huì)可能被應(yīng)用在入門款的MacBook Pro和iMac系列產(chǎn)品上,這兩類產(chǎn)品也將有可能在WWDCC 2022上迎來(lái)更新。不知道,新的M2芯片,什么時(shí)候能被Torch兼容呢?這樣,Mac的優(yōu)勢(shì)就更大了。