事情變得越來越復(fù)雜，但我們正在嘗試簡化它們。但是功耗和處理之間存在關(guān)系。我想知道問題的復(fù)雜性、我們在解決該問題的處理方面所做的工作以及功耗之間的相互作用是什么。

對。嗯，這是一個很好的觀點。因為我們一直在談?wù)摰暮芏嚓P(guān)于人工智能的東西聽起來像是很多軟件，而且確實如此。歸根結(jié)底，你可以在幾乎任何類型的執(zhí)行引擎上完成 AI，無論是通用 CPU、通用 DSP，當(dāng)然，GPU 很早就成為了流行的選擇，對吧?因為它們在結(jié)構(gòu)上的架構(gòu)使得它們比 CPU 和 DSP 更有效地進(jìn)行矩陣運算。

但你幾乎可以在每臺設(shè)備上運行 AI。近年來發(fā)生的事情是，我們會看到一系列專門用于創(chuàng)建專門用于運行 AI 工作負(fù)載的架構(gòu)的專業(yè)化。諸如 TPU 之類的東西，它們是張量處理單元。事物有不同的名稱。NPU 代表神經(jīng)處理單元，專為 AI 工作負(fù)載而設(shè)計。你能否將在 NPU 上運行的 AI 工作負(fù)載運行在通用 CPU 或 DSP 上?也許你可以。我們所暗示的問題是，與專用處理器相比，它對在通用處理器上運行該圖的效率有什么影響?兩者之間可能存在數(shù)量級的效率差異。而且，當(dāng)然，

處理方面的另一個元素是我在最后提到的帶有 U 的東西：CPU、TPU 和 NPU。這意味著一種可以配置的架構(gòu)，但它有點用于這些專門的工作負(fù)載。我們看到很多客戶都有非常具體的用例，他們正在構(gòu)建自己的神經(jīng)網(wǎng)絡(luò)加速器。即使是一個通用的流程被設(shè)計用來處理，比如說，一個類或廣泛的人工智能工作負(fù)載，對于他們的特定應(yīng)用程序來說可能不夠高效。因此，他們正在推出自己的產(chǎn)品，他們正在建造自己的，并且正在建造自己的加速器。順便說一句，這些加速器可能與 CPU 或 DSP 或 NPU 并存。

但隨后他們正在處理一些特定的 AI 工作負(fù)載，這些工作負(fù)載可能需要以比我們在更通用的處理元素之一中完成的更高的性能水平運行。所以我會說，在那種學(xué)習(xí)模式下，人工智能有點像，作為一個行業(yè)，我們正在開發(fā)特別適合更好地做人工智能的處理器架構(gòu)。

順便說一句，AI 不會取代 SOC 上存在的一些現(xiàn)有處理要求。例如，我們必須能夠進(jìn)行實時控制;你必須能夠進(jìn)行信號處理。而且，將每種處理工作負(fù)載所需的所有門都安裝到單個執(zhí)行單元處理器中并不是很有效，甚至在技術(shù)上也不可能。

因此，客戶通常正在尋找一種方法來創(chuàng)建異構(gòu)處理平臺，在這些平臺上，他們可以使用由 CPU、DSP、浮點單元，然后是信號處理器、GPU 和 AI 加速器或 AI 或 NPU、神經(jīng)處理單元的總線連接的任意組合，以完成其特定應(yīng)用程序的任何任務(wù)。所以他們希望基本上混合和匹配，對于我想在我的應(yīng)用程序中完成的不同工作負(fù)載，最有效的處理單元是什么?

如果我們是一家大型公司，例如超大規(guī)模企業(yè)之一，那么我們可能擁有在內(nèi)部執(zhí)行此操作的專業(yè)知識。如果你是一家規(guī)模較小的公司，AI 知道，你內(nèi)部可能沒有這種專業(yè)知識。我們可能不想在內(nèi)部擁有這種專業(yè)知識，因為我們可能不會一直需要它。我想對于那個級別的公司來說，走出去尋找同時具備 IP 專業(yè)知識和設(shè)計專業(yè)知識的人是一種溢價。

是的。并且不要忘記其中的工具部分。所以有硬件部分，你剛才準(zhǔn)確地描述了客戶，根據(jù)這些客戶的規(guī)模，做出權(quán)衡。這是經(jīng)典的構(gòu)建與購買。如果我能找到現(xiàn)成的組件——例如 IP——滿足我的要求，我的 PPA——我的性能、功率和面積要求——那么這可能是我的最佳選擇。

而且我可以把我寶貴的資源投入到做更有差異化的事情上。

因此，客戶正在與他們交談的供應(yīng)商中做出這些選擇。他們從一個供應(yīng)商那里得到的東西越多，通常就越好。但工具方面也很重要。我不僅指實現(xiàn) SOC 所需的各種工具，我還指與處理器架構(gòu)配套使用的工具。處理器本身，無論架構(gòu)多么巧妙，如果你不能對它們進(jìn)行編程，它們就毫無價值。理解大部分努力都用于開發(fā)軟件并不是一個革命性的想法，并且我們需要能夠?qū)④浖顿Y從一代處理器帶到下一代。因此，這些工具對于程序員能夠以有效的方式創(chuàng)建以及標(biāo)準(zhǔn)之間的互操作性非常重要，

而且，在邊緣設(shè)備的情況下，你必須擔(dān)心內(nèi)存。設(shè)備上有多少內(nèi)存?所以代碼密度。云中沒有人擔(dān)心代碼。關(guān)于他們的計劃有多大。在這些類型的應(yīng)用程序中，大部分內(nèi)存都是免費的。

在受限設(shè)備中，情況并非如此。所以你甚至在看類似的東西，我的編譯器會創(chuàng)建非常密集的程序嗎?因此，一些編譯器比其他編譯器更優(yōu)化，更擅長做這件事。因此，我們將所有這些因素都考慮在內(nèi)——所需的工具、可用的操作系統(tǒng)、用于執(zhí)行機器學(xué)習(xí)應(yīng)用程序的庫構(gòu)建塊，以及它們在多大程度上允許我映射到我擁有的不同硬件資源— SOC 開發(fā)人員在考慮選擇供應(yīng)商時會考慮所有這些因素。

我們一直在與 Synopsys 的 Matt Gutierrez 討論邊緣人工智能。我提到，隨著去年收購 Virage，Synopsys 現(xiàn)在擁有更豐富的 IP 組合來為其客戶提供服務(wù)。這是 Matt 提供了一些關(guān)于其中包含的內(nèi)容的細(xì)節(jié)。

大多數(shù)人都知道 Synopsys 是用于實施和驗證 SOC 的 EDA 工具提供商。當(dāng)然，我們以廣泛的知識產(chǎn)權(quán)組合而聞名。Synopsys 的 IP 產(chǎn)品線之一是弧形處理器 IP 產(chǎn)品組合，專為嵌入式設(shè)備而設(shè)計：具有功率和面積限制的設(shè)備。因此，我們針對不同的處理工作負(fù)載開發(fā)了一系列處理器。

我們有 CPU;我們有 DSP，包括高端矢量 DSP;我們有視覺處理器;我們有神經(jīng)網(wǎng)絡(luò)加速器。所以我們認(rèn)識到 SOC 正變得越來越異構(gòu)。特別是在邊緣設(shè)備中，我們需要能夠高效地處理工作負(fù)載。我們無法在一個大型處理器上完成所有工作，我們需要將這些工作負(fù)載分解為各種處理元素，這些元素將以最省電和最節(jié)省面積的方式完成。這就是我們構(gòu)建投資組合的方式。

如果你考慮一下這個應(yīng)用程序，我認(rèn)為這是一個真正的應(yīng)用程序，我們將在不遠(yuǎn)的將來看到，走進(jìn)那個商場，讓一些東西能夠識別你和你的風(fēng)格并提出建議。我認(rèn)為對于某些人來說，這將是一個問題，有時是原則性的，只是因為這感覺像是對某種隱私的侵犯。而且我認(rèn)為還有其他像我這樣的人可能會受到時尚挑戰(zhàn)，他們實際上可能會欣賞一些人工智能大腦找出可能符合我的風(fēng)格或我對我的偏好并提出建議的人。

因此，它與我們在互聯(lián)網(wǎng)上描述的尾隨并沒有太大區(qū)別。當(dāng)我們在亞馬遜上尋找一些東西時，我們會發(fā)現(xiàn)有多煩人，而我們在其他網(wǎng)站甚至亞馬遜本身上卻被一堆廣告擊中?嘿，如果你買了這個，你可能會對這五樣?xùn)|西感興趣。有時它非常有用，有時它很煩人。我認(rèn)為同樣的事情也適用于這些更多零售環(huán)境中的一些人工智能用例。