人工智能已經(jīng)成為世界上一些變革性最強的技術(shù)背后的推動力。從醫(yī)療、金融到汽車和娛樂等行業(yè)的重塑潛力無窮。然而,隨著人工智能的采用繼續(xù)激增,對訓(xùn)練和部署這些復(fù)雜模型所需的巨大處理能力的需求也隨之激增。這導(dǎo)致了數(shù)據(jù)中心資本支出和業(yè)務(wù)支出的上升,而數(shù)據(jù)中心是這場數(shù)字革命的支柱。

當(dāng)業(yè)界努力應(yīng)對這些不斷增加的成本時,許多數(shù)據(jù)中心的所有者采取了一種策略,利用?人工智能訓(xùn)練 支持推理成本的設(shè)備,如部署訓(xùn)練有素的AI模型。雖然這一方法提供了合理的短期支出管理途徑,但它具有可能損害數(shù)據(jù)中心的財務(wù)穩(wěn)定性和業(yè)務(wù)效率的重大風(fēng)險。為了保持人工智能的可持續(xù)增長,需要改變戰(zhàn)略--重點是平衡CAPEX和OPEX,同時確保長期設(shè)備的耐久性和效率。

現(xiàn)行戰(zhàn)略:攤銷和分?jǐn)傎M用

人工智能培訓(xùn)硬件在預(yù)期壽命內(nèi)的攤銷策略很簡單。人工智能培訓(xùn)涉及大量的計算資源,包括頂級的GPS和?加速器 數(shù)百萬美元。通過將成本分?jǐn)偟綆啄?數(shù)據(jù)中心所有者的目的是為這種龐大的CAPEX辯護,并使高端培訓(xùn)設(shè)備在財務(wù)上可行。

然而,這些昂貴的硬件不僅僅停留在訓(xùn)練階段,它們通常在訓(xùn)練階段結(jié)束后被重新用于推理。其邏輯是,如果數(shù)據(jù)中心可以使用相同的硬件進行訓(xùn)練和推理,那么合并產(chǎn)生的收入將抵消最初的投資和持續(xù)的電力成本。從理論上講,這是有意義的:在多個業(yè)務(wù)中攤銷資本資本可以減少對財務(wù)指標(biāo)的壓力,從理論上講,這將導(dǎo)致更大的盈利性。

然而,現(xiàn)實更為復(fù)雜。依靠人工智能訓(xùn)練設(shè)備進行推理帶來了數(shù)據(jù)中心再也不能忽視的局限性。

真正的罪魁禍?zhǔn)?電力消耗

雖然培訓(xùn)設(shè)備是一項重要的資本支出投資,但在數(shù)據(jù)中心中,主要的OPEX犯罪者是培訓(xùn)和推理所需的耗電量。高性能的GPS和加速器產(chǎn)生巨大的熱量,并需要大量的冷卻努力,推動電力賬單和對電力基礎(chǔ)設(shè)施的壓力。即使有先進的冷卻技術(shù)和節(jié)能做法,?運行人工智能的動力要求 在規(guī)模上繼續(xù)超過控制它們的努力。

當(dāng)數(shù)據(jù)中心使用大功率訓(xùn)練設(shè)備進行長時間的推理時,這個問題變得更加突出。與訓(xùn)練不同的是,訓(xùn)練通常會很激烈,并且可能會斷斷續(xù)續(xù)地進行,推理通常是一個連續(xù)的操作,因為模型會響應(yīng)實時的數(shù)據(jù)輸入。這種持續(xù)的工作負荷意味著這些高容量系統(tǒng)運行在接近高峰的電源使用時間較長,使OPEX高于預(yù)期。

隱藏的罪魁禍?zhǔn)?潛伏期

在硬件處理的世界中,有一個屬性經(jīng)常在雷達下飛行,但卻有重要的暗示:延遲。延遲是指提交查詢與收到響應(yīng)之間的時間延遲。雖然在訓(xùn)練階段,ML的潛伏期通常是可以容忍的,但推斷卻是一個不同的故事。在這里,即使輕微的延遲也會產(chǎn)生級聯(lián)影響。超過幾秒鐘的響應(yīng)時間會削弱用戶的參與,破壞用戶體驗,破壞實時處理的目的。

為了消除延遲,工程師可能會考慮通過添加更多的處理器來增加處理能力,以便并行運行。乍一看,這種方法看起來很合理;畢竟,更多的處理器應(yīng)該等于更快的處理。然而,現(xiàn)實情況更為復(fù)雜。添加處理器可以顯著提高性能,但它帶來了一個巨大的權(quán)衡:CAPEX和OPEX的指數(shù)級增長。擴大硬件資源就像是在火上澆汽油。雖然它可以暫時解決延遲問題,但它同時將成本膨脹到潛在的不可持續(xù)的水平。

這種成本螺旋式上升不僅影響到初始投資,而且也影響到日常業(yè)務(wù)預(yù)算,導(dǎo)致電力消耗、維護和資源管理需求增加。對于許多企業(yè)來說,這種方法可能成為一種超越延遲時間減少帶來的好處的業(yè)務(wù)交易責(zé)任。為了應(yīng)對這一局面,公司需要采用更高效和更可持續(xù)的減緩延遲的方法,無論是通過專門的硬件優(yōu)化、更智能的數(shù)據(jù)處理架構(gòu),還是利用旨在在不破壞預(yù)算的情況下簡化實時響應(yīng)的技術(shù)。

設(shè)備折舊和使用壽命方面的挑戰(zhàn)

當(dāng)前攤銷策略的一個主要缺陷是,人工智能訓(xùn)練設(shè)備將持續(xù)足夠長的時間,以便在重新設(shè)計用于推斷時充分折舊。雖然這些機器是設(shè)計用于穩(wěn)健的處理能力,但持續(xù)使用的磨損可能是重要的。

在訓(xùn)練過程中,AI硬件被推到極限,然后在連續(xù)的操作中進行推理可能不會像預(yù)期的那樣持久。嚴(yán)酷的事實是,許多數(shù)據(jù)中心可能在這些系統(tǒng)完全折舊之前就面臨更換這些系統(tǒng)的需要,導(dǎo)致提前的資本注銷和額外的財政壓力。

尋求可持續(xù)的解決辦法

面對這些挑戰(zhàn),該行業(yè)必須尋求可持續(xù)的解決辦法,在CAPEX和OPEX之間取得平衡,確保對人工智能基礎(chǔ)設(shè)施的投資不僅是合理的,而且隨著時間的推移也是持久和高效的。這就是考慮到長壽和電力效率的創(chuàng)新發(fā)揮作用的地方。

一個潛在的解決方案來自一個傳統(tǒng)上與數(shù)據(jù)中心無關(guān)的來源:汽車工業(yè)。?自動級技術(shù) 長期以來一直被設(shè)計為耐久性,一致的性能和能源效率。與傳統(tǒng)的數(shù)據(jù)中心硬件不同,自動化級系統(tǒng)能夠經(jīng)受惡劣的環(huán)境和長期的持續(xù)使用,而不會出現(xiàn)明顯的退化。這種復(fù)原力轉(zhuǎn)化為延長壽命和減少更換頻率----在考慮設(shè)備攤銷時的關(guān)鍵優(yōu)勢。

自動化的方法

一位原本專注于汽車行業(yè)的創(chuàng)新者開發(fā)了一種技術(shù),可以重新定義數(shù)據(jù)中心如何對待他們的AI戰(zhàn)略。通過利用設(shè)計,嚴(yán)格的質(zhì)量和耐久性標(biāo)準(zhǔn)的汽車世界,自動級解決方案提供了幾個優(yōu)勢,很好地配合數(shù)據(jù)中心的需要。

首先,這些系統(tǒng)設(shè)計用于較低的耗電量.不同于許多高端GPPS和人工智能加速器,這一技術(shù)優(yōu)先考慮能源效率,而不犧牲性能。這解決了電力消耗方面的主要業(yè)務(wù)操作挑戰(zhàn),減少了與大規(guī)模運行人工智能模型相關(guān)的總體運行成本。

第二,這樣的解決方案比傳統(tǒng)的人工智能訓(xùn)練硬件壽命更長。該設(shè)備采用自動化等級的回彈能力,可以承受長期使用的嚴(yán)酷,而不會出現(xiàn)困擾傳統(tǒng)數(shù)據(jù)中心硬件的過早磨損。這意味著攤銷期延長,新硬件的資本投資減少,減輕了數(shù)據(jù)中心運營商的財務(wù)負擔(dān)。

重新思考人工智能策略

人工智能的崛起并沒有減緩,對數(shù)據(jù)中心的要求也沒有減緩。目前通過將昂貴的訓(xùn)練設(shè)備重新用于推理來攤銷昂貴訓(xùn)練設(shè)備的戰(zhàn)略,被證明是一種短視的方法,低估了電力消耗和硬件壽命的實際影響。為了避免不可持續(xù)的財政和業(yè)務(wù)壓力,必須進行戰(zhàn)略轉(zhuǎn)變。

將自動化技術(shù)解決方案納入人工智能基礎(chǔ)設(shè)施規(guī)劃可以提供急需的緩解。雖然這些系統(tǒng)可能會有一個需要重新調(diào)整預(yù)算分配的初始資本支出,但長期的好處--減少電力消耗、延長設(shè)備壽命和更平衡的攤銷時間表--超過了預(yù)付費用。

最后的想法

隨著數(shù)據(jù)中心繼續(xù)推動人工智能革命,該領(lǐng)域的領(lǐng)導(dǎo)人必須重新考慮他們的戰(zhàn)略,以管理與擴展人工智能相關(guān)的隱藏成本。目前通過在推理中共享使用來分?jǐn)偱嘤?xùn)設(shè)備和抵消成本的做法忽略了關(guān)鍵的OPEX挑戰(zhàn)和硬件壽命的現(xiàn)實。

通過轉(zhuǎn)向優(yōu)先考慮效率和耐久性的解決方案,數(shù)據(jù)中心可以為人工智能的未來建立一個更可持續(xù)、更具成本效益的基礎(chǔ)。前進的道路不僅要求在人工智能模型中進行創(chuàng)新,而且還要求在驅(qū)動這些模型的基礎(chǔ)設(shè)施中進行創(chuàng)新。