2022年11月30日，ChatGPT正式上線。以其為代表的生成式AI顛覆了人們對于生產力的認知，而此后整個2023年，科技巨頭紛紛強勢入局，各種大語言模型也蜂擁而至。經(jīng)過了一年的沉淀，從底層大模型、到基礎設施、再到消費端應用，生成式AI的生態(tài)已經(jīng)初步建立。

隨著2024年伊始，我們看到生成式AI并不僅僅局限于一個聊天工具，而是逐步深入到了各個垂直領域，開始重塑千行百業(yè)。機器人就是生成式AI能夠下沉并發(fā)揮作用的一個重要方向，通過兩者結合，機器人可以加速機器學習的速度并增強人機交互的能力，創(chuàng)造出更緊密的人機協(xié)作型機器人。

一家名為Marketresearch.biz的機構預測，生成式AI機器人這一市場在2022 年的估值會達到152.29 億美元，2032年該市場將飆升至驚人的8.56億美元，預測期內的年復合年增長率（CAGR）將達到驚人的34.2%。如此巨大的市場規(guī)模和增長前景，讓機器人公司開始思考，如何能夠快速實現(xiàn)生成式AI在機器人端的部署？

要知道，大模型的背后是基礎設施提供的算力支持，而生成式AI和機器人這兩者之間的結合，離不開NVIDIA提供的Isaac平臺。在CES 2024上，NVIDIA嵌入式和邊緣計算副總裁Deepu Talla發(fā)表了關于融合AI與機器人技術的演講。他在演講中提到，“由 AI 驅動的自主機器人越來越多地應用于提高效率、降低成本和解決勞動力短缺問題。”

生成式AI和LLM將如何賦能機器人發(fā)展？

生成式AI和LLM對機器人的賦能有兩種方式，一是提高機器人工程師的工作效率，二是讓機器人本身變得更加智能。要提高機器人工程師的工作效率，則意味著基于LLM構建的工具將幫助工程師在更短的時間內完成更大規(guī)模的任務，包括構建、測試和培訓機器人等。而要讓機器人本身變得更加智能咋意味著機器人自身可以更好地了解自己的環(huán)境，并且有更好的能力在這些環(huán)境中執(zhí)行更復雜的技能，這涉及到了各種多模態(tài)數(shù)據(jù)的輸入、區(qū)分和融合，以及對于人類發(fā)出的語義的精準高效處理等。

首先，如何幫助機器人工程師來加速機器人開發(fā)？例如，對于一名機器學習工程師而言，他可能并不具備非常強的3D場景生成的能力，因此如何快速構建完整準備的3D場景并喂給模型進行機器學習，最終部署到機器人上，就變成了一個非常耗時的過程。而如果其一旦擁有了LLM和NVIDIA Omniverse中提供的其他新工具，他就可以化身為一個技術藝術家，輕松創(chuàng)建復雜機器人工作單元或整個倉庫仿真。

據(jù)Talla介紹，借助 NVIDIA Picasso等生成式 AI 工具，用戶可以根據(jù)簡單的文字提示來生成逼真的 3D 資產，并將其添加到數(shù)字場景中，以實現(xiàn)動態(tài)、全面的機器人訓練環(huán)境。這一功能還可擴展到在 Omniverse 中創(chuàng)建多樣化且符合物理學的場景，從而加強機器人的測試和訓練，保證機器人在現(xiàn)實世界中的適用性。

第二，如何讓機器人自己變得越來越聰明？因為依賴于在極大的數(shù)據(jù)集上的相同基礎特質進行訓練，因此生成式AI模型能夠變得越來越聰明，而這也將會是機器人的未來，可以幫助機器人改善其感知和規(guī)劃能力。例如某些協(xié)作機器人（cobot），現(xiàn)在可以直接在端側利用LLM來實現(xiàn)人類自然語言的理解，將其翻譯成在該環(huán)境中操縱機器人的機器語言。

將生成式AI與機器人的結合，已經(jīng)成為了機器人發(fā)展的技術風向標，多家領先的機器人公司都基于NVIDIA的平臺開始了創(chuàng)新：Agility Robotics、NTT 和其他公司正在將生成式 AI 整合到他們的機器人中，以幫助理解文本或語音命令。追覓科技的機器人吸塵器，正在由生成式 AI 模型創(chuàng)建的模擬生活空間中接受訓練。同時，Electric Sheep 也正在開發(fā)一種自動割草的全球范式。

雙計算機模型，加速機器人AI開發(fā)和應用

要實現(xiàn)機器人AI開發(fā)和應用的加速，僅僅靠一臺計算機是不夠的。NVIDIA的Isaac平臺，是通過一種雙計算機模型的方式，來幫助AI部署到機器人中。

據(jù)Talla介紹，第一臺計算機被稱為“AI 工廠”，是創(chuàng)建和不斷改進 AI 模型的核心。AI 工廠中使用了 NVIDIA 數(shù)據(jù)中心計算基礎設施以及NVIDIA AI和NVIDIA Omniverse平臺，可以仿真和訓練AI模型。第二臺計算機代表機器人的運行環(huán)境。運行環(huán)境根據(jù)應用的不同而有所變化，比如可以是云或數(shù)據(jù)中心；對于半導體制造中的缺陷檢測等任務則是本地服務器；配備多個傳感器和攝像頭的自主機器也可能成為運行環(huán)境。

在AI 工廠里， 所有的人工智能算法、人工智能模型都可以在這里進行訓練、模擬和測試。而在機器人計算機上，人工智能將來自傳感器的數(shù)據(jù)進行處理， 幫助機器人規(guī)劃和導航、或幫助它們理解物理世界環(huán)境，幫助機器人理解人類并與人類更緊密地協(xié)作。

透過雙計算機模型，NVIDIA Isaac加速了智能機器人的設計、模擬、測試和部署。以下是NVIDIA Isaac的一些主要特點和組成部分：

· 模擬與實時測試：NVIDIA Isaac 提供了一個高度逼真的3D模擬環(huán)境，稱為Isaac Sim。這個環(huán)境允許開發(fā)者在一個虛擬世界中模擬他們的機器人，進行實時測試和調試。這種模擬技術特別有用，因為它可以在機器人實際構建或部署之前，識別并解決潛在的問題。

· 機器學習和AI：該平臺包含了一系列機器學習和人工智能的工具，使開發(fā)者能夠訓練和實現(xiàn)復雜的AI模型。這些模型可以讓機器人進行自主決策、對象識別、路徑規(guī)劃等。

· 硬件兼容性：NVIDIA Isaac 與多種硬件設備兼容，包括NVIDIA自己的Jetson平臺。Jetson是一種小型、功耗低的AI計算設備，適合在邊緣計算環(huán)境中使用，如機器人和嵌入式系統(tǒng)。

· 軟件開發(fā)套件（SDK）：NVIDIA為開發(fā)者提供了一個包含各種庫和API的軟件開發(fā)套件，以便于集成和開發(fā)。

· NVIDIA Omniverse集成：Isaac Sim是集成在NVIDIA Omniverse平臺中的，這是一個用于3D設計和虛擬協(xié)作的平臺，它提供了強大的實時物理和光線追蹤功能。

通過這些工具和資源，NVIDIA Isaac加速了AI機器人從概念到實際部署的過程，該平臺特別適合那些需要進行復雜任務和自主決策的機器人的開發(fā)，如服務機器人、自動引導車輛（AGV）和其他自動化解決方案。

據(jù)悉，NVIDIA Isaac和Jetson平臺已經(jīng)被超過120萬名開發(fā)人員和10,000 名客戶以及合作伙伴所使用。

結語

從生成式AI的一開始，NVIDIA 就一直是處在這場變革的核心。十年前，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛親手將第一臺 NVIDIA DGX AI 超級計算機交付給 OpenAI。如今，得益于 OpenAI 的 ChatGPT，生成式 AI 已成為當代發(fā)展最快的技術之一。

而這一切才剛剛開始。Talla 預測，生成式 AI 的影響將超越文本和圖像生成，進入到家庭和辦公室、農場和工廠、醫(yī)院和實驗室中。其關鍵在于，類似于人類大腦語言中心的大語言模型（LLM），使機器人能夠更自然地理解和響應人類指令。這些機器能夠不斷地向人類、彼此和周圍的世界學習。Talla 表示：“鑒于這些特性，生成式 AI 非常適合用于機器人技術。”

當生成式AI的浪潮來襲，無數(shù)垂直領域的產品形態(tài)、服務業(yè)態(tài)都將會被重塑。而對于這些傳統(tǒng)領域的客戶而言，從零開始去學習如何構建AI模型、應用AI能力、部署生成式AI將會是一個極大的投入。對于機器人領域的客戶而言，其優(yōu)勢在于對于自己業(yè)務領域的各種機器人場景的理解，而不是如何去從零構建一個生成式AI的機器人平臺。對此而言，選擇NVIDIA Isaac和Jetson平臺將會大大加速其生成式AI機器人的研發(fā)和面世，從而快速掌握生成式AI的能力，在本輪AI浪潮中贏得先機。