Cosmos 世界基礎(chǔ)模型（WFM）使開發(fā)者能夠輕松生成大量基于物理學(xué)的逼真合成數(shù)據(jù)，以用于訓(xùn)練和評估其現(xiàn)有的模型。為增進(jìn)大家對英偉達(dá)Cosmos的認(rèn)識，本文將對英偉達(dá)Cosmos世界基礎(chǔ)模型予以超詳細(xì)介紹。如果你對英偉達(dá)Cosmos具有興趣，不妨繼續(xù)往下閱讀哦。

英偉達(dá)布局工業(yè)人工智能，物理AI領(lǐng)域邁入新紀(jì)元。2025年1月，英偉達(dá)發(fā)布新一代工業(yè)仿真平臺Cosmos，首次將物理引擎與生成式AI深度融合，標(biāo)志著AI的工業(yè)軟件應(yīng)用進(jìn)入新階段。區(qū)別于傳統(tǒng)的仿真模型，它專注于處理視頻數(shù)據(jù)并理解視頻中動態(tài)的場景、物體的運動，這有助于機(jī)器理解現(xiàn)實世界并實現(xiàn)交互。據(jù)英偉達(dá)技術(shù)報告顯示，Cosmos基于2000萬小時視頻數(shù)據(jù)訓(xùn)練，涵蓋擴(kuò)散模型與自回歸模型兩大架構(gòu)，支持文本生成視頻（Text2World）及視頻增強(qiáng)生成（Video2World）兩種模式，其GitHub項目上線首日即獲2k星標(biāo)。英偉達(dá)Cosmos平臺賦能自動駕駛、機(jī)器人、工業(yè)數(shù)字孿生等領(lǐng)域，實現(xiàn)增強(qiáng)訓(xùn)練。

NVIDIA Cosmos 是一個用于加速物理 AI 開發(fā)的平臺，推出了一系列世界基礎(chǔ)模型——可以預(yù)測和生成虛擬環(huán)境未來狀態(tài)的物理感知視頻的神經(jīng)網(wǎng)絡(luò)，以幫助開發(fā)者構(gòu)建新一代機(jī)器人和自動駕駛汽車（AV）。

如同大語言模型一樣，世界基礎(chǔ)模型（WFM）屬于基礎(chǔ)類模型。這類模型使用包括文本、圖像、視頻和運動在內(nèi)的輸入數(shù)據(jù)來生成和仿真虛擬世界，以準(zhǔn)確模擬場景中物體的空間關(guān)系及其物理交互。

在 CES 大會上，NVIDIA 推出第一批 Cosmos 世界基礎(chǔ)模型，用于基于物理的仿真和合成數(shù)據(jù)生成，配備先進(jìn)的 tokenizer、護(hù)欄、加速數(shù)據(jù)處理和管理工作流，以及模型定制和優(yōu)化框架。

無論公司規(guī)模大小，研究人員和開發(fā)者都可以根據(jù) NVIDIA 允許商業(yè)使用的開放模型許可下，自由使用 Cosmos 模型。構(gòu)建 AI 智能體的企業(yè)還可以使用在 CES 上推出的新開源 NVIDIA Llama Nemotron 和 Cosmos Nemotron 模型。

Cosmos 先進(jìn)的開放模型能夠幫助物理 AI 開發(fā)者解決障礙，無拘無束構(gòu)建機(jī)器人和自動駕駛汽車技術(shù)，并使各種規(guī)模的企業(yè)能夠更快地將其物理 AI 應(yīng)用推向市場。開發(fā)者可以直接使用 Cosmos 模型生成基于物理學(xué)的合成數(shù)據(jù)，或利用 NVIDIA NeMo 框架，根據(jù)自己的視頻對模型進(jìn)行微調(diào)，以實現(xiàn)特定物理 AI 設(shè)置。

物理 AI 領(lǐng)先者——包括機(jī)器人公司 1X、Agility Robotics 和小鵬汽車，以及自動駕駛汽車開發(fā)商 Uber 和 Waabi ——已經(jīng)在與 Cosmos 協(xié)作，加速并增強(qiáng)模型開發(fā)。

開發(fā)者可以在 NVIDIA API 目錄中預(yù)覽首個 Cosmos 自回歸和擴(kuò)散模型，并從 NGC 目錄和 Hugging Face 下載模型系列和微調(diào)框架。

Cosmos 世界基礎(chǔ)模型是一套用于物理感知視頻生成的開放式擴(kuò)散和自回歸 Transformer 模型。這些模型已基于 2000 萬小時的真實世界人類互動、環(huán)境、工業(yè)、機(jī)器人和駕駛數(shù)據(jù)，訓(xùn)練了 9,000 萬億個 token。

該類模型分為三類：Nano，用于針對實時、低延遲推理和邊緣部署進(jìn)行優(yōu)化的模型；Super，用于高性能基線模型；Ultra，具有高質(zhì)量和保真度，適合用于蒸餾自定義模型。

配合 NVIDIA Omniverse 3D 輸出時，擴(kuò)散模型生成可控的高質(zhì)量合成視頻數(shù)據(jù)，用于啟動機(jī)器人和自動駕駛汽車感知模型的訓(xùn)練。自回歸模型基于輸入幀和文本，預(yù)測視頻幀序列中的下一步動態(tài)?？蓪崿F(xiàn)實時下一個 token 預(yù)測，讓物理 AI 模型預(yù)測他們的下一個最佳行動。

開發(fā)者可以使用 Cosmos 開放模型進(jìn)行文本到世界和視頻到世界的生成。擴(kuò)散或自回歸模型版本的參數(shù)量在 40 億到 140 億之間，現(xiàn)可以在 NGC 目錄和 Hugging Face 上查詢。

還提供用于總結(jié)文本提示的參數(shù)量級達(dá) 120 億的上采樣模型、針對增強(qiáng)現(xiàn)實優(yōu)化 70 億參數(shù)級視頻解碼器、以及確保負(fù)責(zé)任和安全使用的護(hù)欄模型。

為了展示定制的機(jī)會，NVIDIA 還發(fā)布了針對垂直應(yīng)用的微調(diào)模型樣本，例如為自動駕駛汽車生成多傳感器視圖。

海內(nèi)外發(fā)力，實現(xiàn)多維度、多層次的AI+工業(yè)應(yīng)用生態(tài)。根據(jù)Gartner的數(shù)據(jù)顯示，至2025年，80%的工程和制造企業(yè)將會在其項目中集成AI技術(shù)。這一趨勢表明，AI大模型將成為提升企業(yè)競爭力的關(guān)鍵工具。IDC預(yù)測，2024-2028年中國AI+工業(yè)軟件細(xì)分市場復(fù)合增速將到達(dá)41.4%，遠(yuǎn)超同期核心工業(yè)軟件19.3%的年復(fù)合增長率，到2028年，AI+工業(yè)軟件的滲透率也將從2025年的9%提升至22%。索辰科技、寶信軟件、華為等均已布局AI+工業(yè)軟件產(chǎn)品。展望未來，認(rèn)為AI+工業(yè)軟件的發(fā)展方向有：①生態(tài)整合加速軟件的全生命周期覆蓋。②生成式AI推動工業(yè)流程范式變革。工業(yè)軟件格局或受到AI的影響加速迭代進(jìn)化。

以上便是此次帶來的英偉達(dá)Cosmos相關(guān)內(nèi)容，通過本文，希望大家對英偉達(dá)Cosmos已經(jīng)具備一定的了解。如果你喜歡本文，不妨持續(xù)關(guān)注我們網(wǎng)站哦，將于后期帶來更多精彩內(nèi)容。最后，十分感謝大家的閱讀，have a nice day!