對(duì)于NVIDIA GR00T，想必大家都聽說過，但是你真的了解NVIDIA GR00T嗎？為增進(jìn)大家對(duì)NVIDIA GR00T的認(rèn)識(shí)，本文將對(duì)NVIDIA GR00T以及開發(fā)人形機(jī)器人NVIDIA GR00T的工作流予以介紹。如果你對(duì)NVIDIA GR00T具有興趣，不妨和小編一起來繼續(xù)往下閱讀哦。

一、?NVIDIA Project GR00T

?NVIDIA Project GR00T?是NVIDIA在2024年3月的GTC大會(huì)上發(fā)布的人形機(jī)器人通用基礎(chǔ)模型，旨在進(jìn)一步推動(dòng)機(jī)器人和具身智能領(lǐng)域的突破。GR00T模型通過模仿人類行為來學(xué)習(xí)動(dòng)作，能夠理解自然語言并通過觀察人類行為來模仿動(dòng)作，從而快速學(xué)習(xí)協(xié)調(diào)、靈活性和其他技能，以便在現(xiàn)實(shí)世界中進(jìn)行導(dǎo)航、適應(yīng)和互動(dòng)。

GR00T模型的核心優(yōu)勢(shì)在于其多模態(tài)指令處理能力，能夠處理語言、視頻和演示等多種輸入，生成機(jī)器人要執(zhí)行的動(dòng)作。此外，GR00T模型還通過NVIDIA Isaac Lab進(jìn)行強(qiáng)化學(xué)習(xí)，并從視頻數(shù)據(jù)中生成機(jī)器人動(dòng)作，使其能夠在各種環(huán)境中靈活應(yīng)對(duì)。

為了實(shí)現(xiàn)這些功能，NVIDIA還發(fā)布了一系列相關(guān)工具和硬件，包括基于NVIDIA Thor系統(tǒng)級(jí)芯片（SoC）的Jetson Thor人形機(jī)器人計(jì)算機(jī)，以及用于機(jī)器人學(xué)習(xí)和仿真訓(xùn)練的Isaac Lab和OSMO計(jì)算編排系統(tǒng)?23。這些工具和硬件的發(fā)布標(biāo)志著NVIDIA在具身AI領(lǐng)域的重大進(jìn)展，為開發(fā)者提供了強(qiáng)大的平臺(tái)來創(chuàng)建和訓(xùn)練通用人形機(jī)器人基礎(chǔ)模型。?

二、開發(fā)人形機(jī)器人 GR00T 工作流介紹

1、GR00T-Gen 多樣化環(huán)境

GR00T-Gen 是一套在 OpenUSD 中生成機(jī)器人任務(wù)和仿真就緒環(huán)境的工作流，用于訓(xùn)練通用機(jī)器人執(zhí)行操縱、移動(dòng)和導(dǎo)航。

為了讓機(jī)器人學(xué)習(xí)得更“扎實(shí)”，需要在具有各種物體和場(chǎng)景的多樣化環(huán)境中進(jìn)行訓(xùn)練。但通常情況下，在現(xiàn)實(shí)世界中生成大量不同環(huán)境既昂貴又耗時(shí)，而且大多數(shù)開發(fā)者還無法使用，因此仿真成為了一個(gè)極佳的替代方案。

GR00T-Gen 使用大語言模型（LLM）和 3D 生成式 AI 模型創(chuàng)建并提供以人為本的逼真、多樣化環(huán)境。它擁有 2500 多個(gè) 3D 資產(chǎn)，涵蓋了 150 多個(gè)物體類別。為了創(chuàng)建視覺多樣化場(chǎng)景，在仿真中加入了多種紋理以實(shí)現(xiàn)域隨機(jī)化。域隨機(jī)化使訓(xùn)練而成的模型和策略在部署到現(xiàn)實(shí)世界中時(shí)能夠有效地泛化。

GR00T-Gen 為移動(dòng)機(jī)械臂和人形機(jī)器人提供了跨具身支持并且包含了 100 多種任務(wù)，例如開門、按鍵和導(dǎo)航。

2、GR00T-Mimic 機(jī)器人運(yùn)動(dòng)和軌跡生成工作流

GR00T-Mimic 是一個(gè)強(qiáng)大的工作流，它可從遠(yuǎn)程操作演示中生成用于模仿學(xué)習(xí)的運(yùn)動(dòng)數(shù)據(jù)。模仿學(xué)習(xí)是一種訓(xùn)練機(jī)器人的方法，機(jī)器人通過觀察和復(fù)制教師演示的動(dòng)作來掌握技能。該訓(xùn)練過程的一個(gè)關(guān)鍵要素是可用演示數(shù)據(jù)的數(shù)量和質(zhì)量。

人形機(jī)器人要想有效、安全地在以人為中心的環(huán)境中移動(dòng)，其“老師”必須是人類示范者，這樣才能讓機(jī)器人通過模仿人類行為來學(xué)習(xí)。但現(xiàn)有的高質(zhì)量訓(xùn)練數(shù)據(jù)十分匱乏，這就帶來了巨大的挑戰(zhàn)。

為了解決這個(gè)問題，需要開發(fā)能夠捕捉人類行為的大量數(shù)據(jù)集。生成這種數(shù)據(jù)的可行方法之一是遠(yuǎn)程操作，即人類操作員遠(yuǎn)程控制機(jī)器人演示特定任務(wù)。雖然遠(yuǎn)程操作可以生成高保真的演示數(shù)據(jù)，但在特定時(shí)間能夠訪問這些系統(tǒng)的人數(shù)有限。

GR00T-Mimic 旨在擴(kuò)大數(shù)據(jù)采集流程的規(guī)模。該方法包括在物理世界中使用擴(kuò)展現(xiàn)實(shí)（XR）和空間計(jì)算設(shè)備（如 Apple Vision Pro）采集數(shù)量有限的人類演示。然后利用這些初始演示生成合成運(yùn)動(dòng)數(shù)據(jù)，從而有效地?cái)U(kuò)大演示數(shù)據(jù)集。我們的目標(biāo)是創(chuàng)建一個(gè)全面的人類動(dòng)作庫供機(jī)器人學(xué)習(xí)，從而提高它們?cè)谡鎸?shí)世界環(huán)境中執(zhí)行任務(wù)的能力。

為了進(jìn)一步支持 GR00T-Mimic，NVIDIA Research 還發(fā)布了 SkillMimicGen。這是利用最少的人類演示解決實(shí)機(jī)操縱任務(wù)的第一步。

3、GR00T-Dexterity 精細(xì)靈巧

GR00T-Dexterity 是一套用于精細(xì)靈巧操作的模型和策略并包含開發(fā)這些模型和策略的參考工作流。

傳統(tǒng)的機(jī)器人抓取需要集成從識(shí)別抓取點(diǎn)到規(guī)劃運(yùn)動(dòng)和控制手指等多個(gè)復(fù)雜環(huán)節(jié)。對(duì)于有許多執(zhí)行器的機(jī)器人來說，管理這些系統(tǒng)（尤其是使用狀態(tài)機(jī)來處理抓取失敗等故障）使端到端抓取成為了一大難題。

GR00T-Dexterity 引入了一個(gè)借鑒研究論文 DextrAH-G 的工作流。該工作流是一種基于強(qiáng)化學(xué)習(xí)（RL）的機(jī)器人靈巧性策略開發(fā)方法。借助它，可以創(chuàng)建出像素到動(dòng)作的端到端抓取系統(tǒng)。該系統(tǒng)經(jīng)過仿真訓(xùn)練后，可部署到物理機(jī)器人上。該工作流專為生成能夠根據(jù)輸入的深度數(shù)據(jù)流進(jìn)行快速、反應(yīng)性抓取的策略而設(shè)計(jì)，并且可以泛化到新物體。

該流程涉及創(chuàng)建一個(gè)幾何織物定義機(jī)器人的運(yùn)動(dòng)空間和簡(jiǎn)化抓取動(dòng)作，同時(shí)針對(duì)并行化訓(xùn)練進(jìn)行優(yōu)化。通過使用 NVIDIA Isaac Lab，可在多顆 GPU 上使用強(qiáng)化學(xué)習(xí)訓(xùn)練織物引導(dǎo)的策略，從而泛化抓取行為。最后，通過模仿學(xué)習(xí)，可利用輸入的深度將學(xué)習(xí)到的策略提煉為適用于現(xiàn)實(shí)世界的版本，從而在數(shù)小時(shí)內(nèi)制定出穩(wěn)健的策略。

以上便是此次帶來的GR00T 相關(guān)內(nèi)容，通過本文，希望大家對(duì)GR00T 已經(jīng)具備一定的了解。如果你喜歡本文，不妨持續(xù)關(guān)注我們網(wǎng)站哦，將于后期帶來更多精彩內(nèi)容。最后，十分感謝大家的閱讀，have a nice day!