對于NVIDIA GR00T，想必大家都聽說過，但是你真的了解NVIDIA GR00T嗎？為增進大家對NVIDIA GR00T的認(rèn)識，本文將對NVIDIA GR00T以及開發(fā)人形機器人NVIDIA GR00T的工作流予以介紹。如果你對NVIDIA GR00T具有興趣，不妨和小編一起來繼續(xù)往下閱讀哦。

一、?NVIDIA Project GR00T

?NVIDIA Project GR00T?是NVIDIA在2024年3月的GTC大會上發(fā)布的人形機器人通用基礎(chǔ)模型，旨在進一步推動機器人和具身智能領(lǐng)域的突破。GR00T模型通過模仿人類行為來學(xué)習(xí)動作，能夠理解自然語言并通過觀察人類行為來模仿動作，從而快速學(xué)習(xí)協(xié)調(diào)、靈活性和其他技能，以便在現(xiàn)實世界中進行導(dǎo)航、適應(yīng)和互動。

GR00T模型的核心優(yōu)勢在于其多模態(tài)指令處理能力，能夠處理語言、視頻和演示等多種輸入，生成機器人要執(zhí)行的動作。此外，GR00T模型還通過NVIDIA Isaac Lab進行強化學(xué)習(xí)，并從視頻數(shù)據(jù)中生成機器人動作，使其能夠在各種環(huán)境中靈活應(yīng)對。

為了實現(xiàn)這些功能，NVIDIA還發(fā)布了一系列相關(guān)工具和硬件，包括基于NVIDIA Thor系統(tǒng)級芯片（SoC）的Jetson Thor人形機器人計算機，以及用于機器人學(xué)習(xí)和仿真訓(xùn)練的Isaac Lab和OSMO計算編排系統(tǒng)?23。這些工具和硬件的發(fā)布標(biāo)志著NVIDIA在具身AI領(lǐng)域的重大進展，為開發(fā)者提供了強大的平臺來創(chuàng)建和訓(xùn)練通用人形機器人基礎(chǔ)模型。?

二、開發(fā)人形機器人 GR00T 工作流介紹

1、GR00T-Gen 多樣化環(huán)境

GR00T-Gen 是一套在 OpenUSD 中生成機器人任務(wù)和仿真就緒環(huán)境的工作流，用于訓(xùn)練通用機器人執(zhí)行操縱、移動和導(dǎo)航。

為了讓機器人學(xué)習(xí)得更“扎實”，需要在具有各種物體和場景的多樣化環(huán)境中進行訓(xùn)練。但通常情況下，在現(xiàn)實世界中生成大量不同環(huán)境既昂貴又耗時，而且大多數(shù)開發(fā)者還無法使用，因此仿真成為了一個極佳的替代方案。

GR00T-Gen 使用大語言模型（LLM）和 3D 生成式 AI 模型創(chuàng)建并提供以人為本的逼真、多樣化環(huán)境。它擁有 2500 多個 3D 資產(chǎn)，涵蓋了 150 多個物體類別。為了創(chuàng)建視覺多樣化場景，在仿真中加入了多種紋理以實現(xiàn)域隨機化。域隨機化使訓(xùn)練而成的模型和策略在部署到現(xiàn)實世界中時能夠有效地泛化。

GR00T-Gen 為移動機械臂和人形機器人提供了跨具身支持并且包含了 100 多種任務(wù)，例如開門、按鍵和導(dǎo)航。

2、GR00T-Mimic 機器人運動和軌跡生成工作流

GR00T-Mimic 是一個強大的工作流，它可從遠程操作演示中生成用于模仿學(xué)習(xí)的運動數(shù)據(jù)。模仿學(xué)習(xí)是一種訓(xùn)練機器人的方法，機器人通過觀察和復(fù)制教師演示的動作來掌握技能。該訓(xùn)練過程的一個關(guān)鍵要素是可用演示數(shù)據(jù)的數(shù)量和質(zhì)量。

人形機器人要想有效、安全地在以人為中心的環(huán)境中移動，其“老師”必須是人類示范者，這樣才能讓機器人通過模仿人類行為來學(xué)習(xí)。但現(xiàn)有的高質(zhì)量訓(xùn)練數(shù)據(jù)十分匱乏，這就帶來了巨大的挑戰(zhàn)。

為了解決這個問題，需要開發(fā)能夠捕捉人類行為的大量數(shù)據(jù)集。生成這種數(shù)據(jù)的可行方法之一是遠程操作，即人類操作員遠程控制機器人演示特定任務(wù)。雖然遠程操作可以生成高保真的演示數(shù)據(jù)，但在特定時間能夠訪問這些系統(tǒng)的人數(shù)有限。

GR00T-Mimic 旨在擴大數(shù)據(jù)采集流程的規(guī)模。該方法包括在物理世界中使用擴展現(xiàn)實（XR）和空間計算設(shè)備（如 Apple Vision Pro）采集數(shù)量有限的人類演示。然后利用這些初始演示生成合成運動數(shù)據(jù)，從而有效地擴大演示數(shù)據(jù)集。我們的目標(biāo)是創(chuàng)建一個全面的人類動作庫供機器人學(xué)習(xí)，從而提高它們在真實世界環(huán)境中執(zhí)行任務(wù)的能力。

為了進一步支持 GR00T-Mimic，NVIDIA Research 還發(fā)布了 SkillMimicGen。這是利用最少的人類演示解決實機操縱任務(wù)的第一步。

3、GR00T-Dexterity 精細靈巧

GR00T-Dexterity 是一套用于精細靈巧操作的模型和策略并包含開發(fā)這些模型和策略的參考工作流。

傳統(tǒng)的機器人抓取需要集成從識別抓取點到規(guī)劃運動和控制手指等多個復(fù)雜環(huán)節(jié)。對于有許多執(zhí)行器的機器人來說，管理這些系統(tǒng)（尤其是使用狀態(tài)機來處理抓取失敗等故障）使端到端抓取成為了一大難題。

GR00T-Dexterity 引入了一個借鑒研究論文 DextrAH-G 的工作流。該工作流是一種基于強化學(xué)習(xí)（RL）的機器人靈巧性策略開發(fā)方法。借助它，可以創(chuàng)建出像素到動作的端到端抓取系統(tǒng)。該系統(tǒng)經(jīng)過仿真訓(xùn)練后，可部署到物理機器人上。該工作流專為生成能夠根據(jù)輸入的深度數(shù)據(jù)流進行快速、反應(yīng)性抓取的策略而設(shè)計，并且可以泛化到新物體。

該流程涉及創(chuàng)建一個幾何織物定義機器人的運動空間和簡化抓取動作，同時針對并行化訓(xùn)練進行優(yōu)化。通過使用 NVIDIA Isaac Lab，可在多顆 GPU 上使用強化學(xué)習(xí)訓(xùn)練織物引導(dǎo)的策略，從而泛化抓取行為。最后，通過模仿學(xué)習(xí)，可利用輸入的深度將學(xué)習(xí)到的策略提煉為適用于現(xiàn)實世界的版本，從而在數(shù)小時內(nèi)制定出穩(wěn)健的策略。

以上便是此次帶來的GR00T 相關(guān)內(nèi)容，通過本文，希望大家對GR00T 已經(jīng)具備一定的了解。如果你喜歡本文，不妨持續(xù)關(guān)注我們網(wǎng)站哦，將于后期帶來更多精彩內(nèi)容。最后，十分感謝大家的閱讀，have a nice day!