微軟和瑞士國家計(jì)算中心（CSCS）的科學(xué)家們?nèi)〉昧酥卮笸黄?，將超?jí)計(jì)算機(jī)上深度學(xué)習(xí)的訓(xùn)練時(shí)間縮減到數(shù)分鐘。訓(xùn)練時(shí)間的縮短，再加上超級(jí)計(jì)算機(jī)技術(shù)的引入，或能夠解決現(xiàn)在在圖像、視頻和語音識(shí)別，自然語言處理等方面問題的瓶頸?？紤]到深度學(xué)習(xí)能夠提供的復(fù)雜性，這樣的研究還可能擴(kuò)展到其它多個(gè)領(lǐng)域。微軟AI研究員黃學(xué)東認(rèn)為，這項(xiàng)研究甚至可能推動(dòng)深度學(xué)習(xí)的界限，因?yàn)樗砹擞?xùn)練及評(píng)估深度學(xué)習(xí)算法的大突破。

深度學(xué)習(xí)模型通常需要數(shù)周的時(shí)間來訓(xùn)練。

但現(xiàn)在，微軟和瑞士國家計(jì)算中心（CSCS）的科學(xué)家們?nèi)〉昧酥卮笸黄?，將超?jí)計(jì)算機(jī)上深度學(xué)習(xí)的訓(xùn)練時(shí)間縮減到數(shù)分鐘。

訓(xùn)練時(shí)間的縮短，再加上超級(jí)計(jì)算機(jī)技術(shù)的引入，或能夠解決現(xiàn)在在圖像、視頻和語音識(shí)別，自然語言處理等方面問題的瓶頸?？紤]到深度學(xué)習(xí)能夠提供的復(fù)雜性，這樣的研究還可能擴(kuò)展到其它多個(gè)領(lǐng)域。

該團(tuán)隊(duì)將微軟認(rèn)知工具包（一個(gè)訓(xùn)練深度學(xué)習(xí)算法的開源代碼包）擴(kuò)展到瑞士實(shí)驗(yàn)室的Cray XC50超級(jí)計(jì)算機(jī)上的超過1000個(gè)Nvidia Tesla P100 GPU加速器，這臺(tái)超級(jí)計(jì)算機(jī)代號(hào)Piz Daint。

根據(jù)該團(tuán)隊(duì)研究員的解釋，深度學(xué)習(xí)在算法方面和傳統(tǒng)運(yùn)行在大規(guī)模并行超級(jí)計(jì)算機(jī)上的應(yīng)用是類似的，通過使用Cray XC Aries網(wǎng)絡(luò)以及高性能的MPI庫來優(yōu)化節(jié)點(diǎn)間通信，每個(gè)訓(xùn)練任務(wù)可以使用更多的計(jì)算資源，進(jìn)而縮短訓(xùn)練單個(gè)模型所需的時(shí)間。

瑞士超級(jí)計(jì)算中心主任Thomas Schulthess表示，這項(xiàng)突破意味著研究人員能夠利用現(xiàn)有的超級(jí)計(jì)算機(jī)解決那些以前被認(rèn)為不可行的深度學(xué)習(xí)問題，以前一般認(rèn)為那些問題需要幾個(gè)月的時(shí)間來訓(xùn)練模型。

微軟AI研究工程師黃學(xué)東認(rèn)為，這項(xiàng)研究甚至可能推動(dòng)深度學(xué)習(xí)的界限，因?yàn)樗砹擞?xùn)練及評(píng)估深度學(xué)習(xí)算法的大突破。這一突破的結(jié)果將允許研究人員運(yùn)行更大型、更復(fù)雜的深度學(xué)習(xí)工作負(fù)載。