Cosmos 世界基礎模型（WFM）使開發(fā)者能夠輕松生成大量基于物理學的逼真合成數(shù)據(jù)，以用于訓練和評估其現(xiàn)有的模型。為增進大家對英偉達Cosmos的認識，本文將對英偉達Cosmos世界基礎模型予以超詳細介紹。如果你對英偉達Cosmos具有興趣，不妨繼續(xù)往下閱讀哦。

英偉達布局工業(yè)人工智能，物理AI領域邁入新紀元。2025年1月，英偉達發(fā)布新一代工業(yè)仿真平臺Cosmos，首次將物理引擎與生成式AI深度融合，標志著AI的工業(yè)軟件應用進入新階段。區(qū)別于傳統(tǒng)的仿真模型，它專注于處理視頻數(shù)據(jù)并理解視頻中動態(tài)的場景、物體的運動，這有助于機器理解現(xiàn)實世界并實現(xiàn)交互。據(jù)英偉達技術報告顯示，Cosmos基于2000萬小時視頻數(shù)據(jù)訓練，涵蓋擴散模型與自回歸模型兩大架構，支持文本生成視頻（Text2World）及視頻增強生成（Video2World）兩種模式，其GitHub項目上線首日即獲2k星標。英偉達Cosmos平臺賦能自動駕駛、機器人、工業(yè)數(shù)字孿生等領域，實現(xiàn)增強訓練。

NVIDIA Cosmos 是一個用于加速物理 AI 開發(fā)的平臺，推出了一系列世界基礎模型——可以預測和生成虛擬環(huán)境未來狀態(tài)的物理感知視頻的神經(jīng)網(wǎng)絡，以幫助開發(fā)者構建新一代機器人和自動駕駛汽車（AV）。

如同大語言模型一樣，世界基礎模型（WFM）屬于基礎類模型。這類模型使用包括文本、圖像、視頻和運動在內(nèi)的輸入數(shù)據(jù)來生成和仿真虛擬世界，以準確模擬場景中物體的空間關系及其物理交互。

在 CES 大會上，NVIDIA 推出第一批 Cosmos 世界基礎模型，用于基于物理的仿真和合成數(shù)據(jù)生成，配備先進的 tokenizer、護欄、加速數(shù)據(jù)處理和管理工作流，以及模型定制和優(yōu)化框架。

無論公司規(guī)模大小，研究人員和開發(fā)者都可以根據(jù) NVIDIA 允許商業(yè)使用的開放模型許可下，自由使用 Cosmos 模型。構建 AI 智能體的企業(yè)還可以使用在 CES 上推出的新開源 NVIDIA Llama Nemotron 和 Cosmos Nemotron 模型。

Cosmos 先進的開放模型能夠幫助物理 AI 開發(fā)者解決障礙，無拘無束構建機器人和自動駕駛汽車技術，并使各種規(guī)模的企業(yè)能夠更快地將其物理 AI 應用推向市場。開發(fā)者可以直接使用 Cosmos 模型生成基于物理學的合成數(shù)據(jù)，或利用 NVIDIA NeMo 框架，根據(jù)自己的視頻對模型進行微調(diào)，以實現(xiàn)特定物理 AI 設置。

物理 AI 領先者——包括機器人公司 1X、Agility Robotics 和小鵬汽車，以及自動駕駛汽車開發(fā)商 Uber 和 Waabi ——已經(jīng)在與 Cosmos 協(xié)作，加速并增強模型開發(fā)。

開發(fā)者可以在 NVIDIA API 目錄中預覽首個 Cosmos 自回歸和擴散模型，并從 NGC 目錄和 Hugging Face 下載模型系列和微調(diào)框架。

Cosmos 世界基礎模型是一套用于物理感知視頻生成的開放式擴散和自回歸 Transformer 模型。這些模型已基于 2000 萬小時的真實世界人類互動、環(huán)境、工業(yè)、機器人和駕駛數(shù)據(jù)，訓練了 9,000 萬億個 token。

該類模型分為三類：Nano，用于針對實時、低延遲推理和邊緣部署進行優(yōu)化的模型；Super，用于高性能基線模型；Ultra，具有高質(zhì)量和保真度，適合用于蒸餾自定義模型。

配合 NVIDIA Omniverse 3D 輸出時，擴散模型生成可控的高質(zhì)量合成視頻數(shù)據(jù)，用于啟動機器人和自動駕駛汽車感知模型的訓練。自回歸模型基于輸入幀和文本，預測視頻幀序列中的下一步動態(tài)?？蓪崿F(xiàn)實時下一個 token 預測，讓物理 AI 模型預測他們的下一個最佳行動。

開發(fā)者可以使用 Cosmos 開放模型進行文本到世界和視頻到世界的生成。擴散或自回歸模型版本的參數(shù)量在 40 億到 140 億之間，現(xiàn)可以在 NGC 目錄和 Hugging Face 上查詢。

還提供用于總結文本提示的參數(shù)量級達 120 億的上采樣模型、針對增強現(xiàn)實優(yōu)化 70 億參數(shù)級視頻解碼器、以及確保負責任和安全使用的護欄模型。

為了展示定制的機會，NVIDIA 還發(fā)布了針對垂直應用的微調(diào)模型樣本，例如為自動駕駛汽車生成多傳感器視圖。

海內(nèi)外發(fā)力，實現(xiàn)多維度、多層次的AI+工業(yè)應用生態(tài)。根據(jù)Gartner的數(shù)據(jù)顯示，至2025年，80%的工程和制造企業(yè)將會在其項目中集成AI技術。這一趨勢表明，AI大模型將成為提升企業(yè)競爭力的關鍵工具。IDC預測，2024-2028年中國AI+工業(yè)軟件細分市場復合增速將到達41.4%，遠超同期核心工業(yè)軟件19.3%的年復合增長率，到2028年，AI+工業(yè)軟件的滲透率也將從2025年的9%提升至22%。索辰科技、寶信軟件、華為等均已布局AI+工業(yè)軟件產(chǎn)品。展望未來，認為AI+工業(yè)軟件的發(fā)展方向有：①生態(tài)整合加速軟件的全生命周期覆蓋。②生成式AI推動工業(yè)流程范式變革。工業(yè)軟件格局或受到AI的影響加速迭代進化。

以上便是此次帶來的英偉達Cosmos相關內(nèi)容，通過本文，希望大家對英偉達Cosmos已經(jīng)具備一定的了解。如果你喜歡本文，不妨持續(xù)關注我們網(wǎng)站哦，將于后期帶來更多精彩內(nèi)容。最后，十分感謝大家的閱讀，have a nice day!