人工智能的重要性怎么強(qiáng)調(diào)都不為過。人工智能正被用于改進(jìn)從智能手機(jī)到農(nóng)業(yè)設(shè)備到醫(yī)療系統(tǒng)再到半導(dǎo)體生產(chǎn)的一切。AI 也被用于解決非常復(fù)雜的問題，這些問題到目前為止根本無法解決。

開發(fā)人工智能技術(shù)本身就是一個(gè)充滿活力的領(lǐng)域，但人工智能的全部意義在于實(shí)現(xiàn)幾乎所有其他電子應(yīng)用的創(chuàng)新。人工智能的潛在市場(chǎng)與近年來出現(xiàn)的任何技術(shù)的前景一樣無限，這讓投資者異常興奮。

少數(shù)人工智能初創(chuàng)公司吸引的不是數(shù)千萬美元，而是數(shù)億美元。一小部分仍然吸引了超過 10 億美元的投資者現(xiàn)金。SambaNova 就是其中之一。該公司現(xiàn)在被認(rèn)為整體價(jià)值超過 50 億美元，這使其比財(cái)富 500 強(qiáng)中的許多公司更有價(jià)值。對(duì)于一家僅在兩年前從隱身模式中脫穎而出的初創(chuàng)公司來說，處于這個(gè)位置是一個(gè)有趣的位置。風(fēng)險(xiǎn)投資絕不能保證成功，但至少籌集到 10 億美元可以證明許多投資者認(rèn)為 SambaNova 正在走向成功。

首先，SambaNova 主要關(guān)注數(shù)據(jù)中心，所以我們關(guān)注數(shù)據(jù)中心的培訓(xùn)和服務(wù)模型。當(dāng)然，整個(gè)目標(biāo)是提供能夠訓(xùn)練非常非常大、準(zhǔn)確的模型的能力。如果你看看當(dāng)前的計(jì)算能力格局，主要由 GPU 主導(dǎo)，你需要的是很多很多 GPU，因?yàn)槊總€(gè) GPU 可以擁有的內(nèi)存量有限。

因此，SambaNova 帶來的是一個(gè)或兩個(gè)或四分之一機(jī)架的能力，能夠提供數(shù) TB 的內(nèi)存。這樣一來，您就可以構(gòu)建龐大的模型，可以為任何感興趣的特定工業(yè)垂直或商業(yè)垂直服務(wù)。

因此，例如，用于金融部門或用于開發(fā)聊天機(jī)器人和客戶服務(wù)、基于語音的商務(wù)的巨大自然語言處理模型。此外，自然語言處理也可用于癌癥研究。

或者我們稱之為真實(shí)分辨率的巨大視覺模型，它允許您在不降低分辨率使圖像更加模糊的情況下處理醫(yī)學(xué)圖像，這樣您就可以將其適應(yīng)傳統(tǒng)系統(tǒng)的內(nèi)存要求。

或者，相反，人們?yōu)楣芾碛邢迌?nèi)存所做的另一件事是將大約 20k x 20k 的圖像切成小塊，然后可以處理這些小塊中的每一個(gè)。但是您獨(dú)立處理補(bǔ)丁，并且您可能會(huì)丟失跨邊界的重要功能。因此，通過能夠處理 20k x 20k 的圖像并創(chuàng)建可以采用圖像的整個(gè)分辨率的模型，你們都可以獲得精細(xì)的細(xì)節(jié)，有可能取消你試圖成像的任何東西。您還可以獲得跨越大片圖像的特征，并使用這些特征來提高您嘗試做的任何事情的準(zhǔn)確性。

因此，在醫(yī)學(xué)成像、天文學(xué)、科學(xué)成像、X 射線成像中，所有這些都在生成巨大的圖像，而這些圖像無法用今天的能力輕松處理。我們能夠使用 SambaNova 系統(tǒng)做到這一點(diǎn)。

這么多種類的用例。第三個(gè)經(jīng)典用例是大型推薦系統(tǒng)。您要做的是準(zhǔn)確捕捉您要為其推薦的潛在客戶的個(gè)性。這以所謂的巨大嵌入表的形式出現(xiàn)，它捕捉了這種細(xì)節(jié)。這些表達(dá)到了 TB 級(jí)。

同樣，您希望能夠處理那些大型嵌入表，因?yàn)榍度氡碓酱螅Ｐ驮綔?zhǔn)確，您就能提供更好的推薦。

因此，所有這些功能都由 SambaNova 系統(tǒng)提供。我們?cè)谙到y(tǒng)開發(fā)過程中關(guān)注的關(guān)鍵特性之一是能夠訓(xùn)練這些大型模型(以及這些大型模型，它們將為您提供最先進(jìn)的準(zhǔn)確性)，但也為他們服務(wù)。

這有兩個(gè)好處。一是，你服務(wù)于你所訓(xùn)練的，對(duì)吧?因此，您不必在不同的服務(wù)環(huán)境中重新驗(yàn)證模型。所以通常情況下，今天，你在 GPU 上訓(xùn)練，因?yàn)?GPU 非常擅長(zhǎng)大批量訓(xùn)練，對(duì)吧?所以當(dāng)你談到訓(xùn)練時(shí)，你需要批次中有很多例子，因?yàn)檫@是填充 GPU 能力以使其高效的唯一方法。

但是如果批次太小，GPU 就會(huì)變得非常低效。所以人們所做的就是他們說，GPU 不擅長(zhǎng)做小批量。因此，我們將轉(zhuǎn)向 CPU，因?yàn)樵谕评矸矫?，您一次?huì)收到一個(gè)請(qǐng)求。這些請(qǐng)求不會(huì)成批出現(xiàn)，或者如果您等到收到一批請(qǐng)求，那么您當(dāng)然會(huì)延遲最先出現(xiàn)的請(qǐng)求。所以你的延遲會(huì)變得更糟。

所以你想要的是既能非常有效地進(jìn)行大批量訓(xùn)練，又能非常有效地進(jìn)行單批次推理的能力。所以我們可以用 SambaNova 系統(tǒng)做到這一點(diǎn)。因此，將 SambaNova 系統(tǒng)視為非常有效地進(jìn)行訓(xùn)練和推理的能力。然后是真正的完整循環(huán)：一旦你可以在同一個(gè)平臺(tái)上進(jìn)行訓(xùn)練和推理，你就可以在它們之間動(dòng)態(tài)切換。

因此，正在開發(fā)一類新的模型，使您能夠進(jìn)行所謂的持續(xù)訓(xùn)練，在這種情況下，您獲得的數(shù)據(jù)分布會(huì)發(fā)生變化，并且您想進(jìn)行調(diào)整。舉個(gè)例子，假設(shè)你有一個(gè)攝像頭正在觀察東北某處的十字路口。十字路口的景象在夏季和冬季看起來會(huì)大不相同。你希望能夠改變你的模型以適應(yīng)雪、冰或雨，而不是在陽光明媚的日子訓(xùn)練它。

所以事實(shí)證明你可以嘗試訓(xùn)練 Uber 模型，但如果你有一個(gè)自適應(yīng)的模型，結(jié)果會(huì)好得多。但這需要什么呢?這意味著您需要能夠非常有效地進(jìn)行訓(xùn)練和推理。所以這一切都指向我們所說的融合。所以你設(shè)置了非常低的功率推斷。

好吧，你可以想象，如果你有一些移動(dòng)設(shè)備需要進(jìn)行推理，你真的很關(guān)心低功耗，但在很多情況下，你想要做的是，你在服務(wù)器中有一些邊緣計(jì)算能力，哪個(gè)更靠近邊緣，或者你實(shí)際上一直回到某個(gè)數(shù)據(jù)中心。但無論哪種情況，您想要的是同時(shí)進(jìn)行訓(xùn)練和推理的能力。

這就是我們對(duì) SambaNova 的看法，因?yàn)檫@種能力提供了計(jì)算能力，而且還有更多。

同時(shí)做這兩件事的能力是罕見的還是獨(dú)一無二的?這個(gè)問題的來源是，你看看最大的 GPU 供應(yīng)商，你會(huì)看到他們進(jìn)入 CPU 并做了大量研究來弄清楚如何在處理和內(nèi)存之間快速有效地來回移動(dòng)數(shù)據(jù)。同樣的事情還有一些最大的 CPU 公司進(jìn)入 GPU 領(lǐng)域并進(jìn)行試驗(yàn)，試圖找出處理處理和內(nèi)存并簡(jiǎn)化交換的方法。他們正在取得進(jìn)展。