英偉達(dá)Cosmos世界基礎(chǔ)模型，由最先進(jìn)的生成式世界基礎(chǔ)模型、高級標(biāo)記器、護(hù)欄和加速視頻處理管道組成。為增進(jìn)大家對英偉達(dá)Cosmos的認(rèn)識，本文將對英偉達(dá)Cosmos的功能、英偉達(dá)Cosmos工作原理以及相關(guān)知識予以介紹。如果你對英偉達(dá)Cosmos具有興趣，不妨繼續(xù)往下閱讀哦。

一、英偉達(dá)Cosmos功能及其工作原理

1、主要功能

Cosmos主要功能，生成虛擬世界狀態(tài)：Cosmos能根據(jù)文本、圖像或視頻的提示生成高度仿真的虛擬世界狀態(tài)，適用于自動駕駛和機(jī)器人應(yīng)用。

生成式模型：平臺基于生成式模型快速生成與真實世界場景相似的數(shù)據(jù)，幫助開發(fā)者訓(xùn)練和評估現(xiàn)有的AI模型。

高級標(biāo)記器和數(shù)據(jù)處理：Cosmos集成了高級標(biāo)記器和加速視頻處理管道，生成的數(shù)據(jù)在后續(xù)的模型訓(xùn)練中發(fā)揮更大的作用。

安全與合規(guī)：平臺還提供了安全防護(hù)機(jī)制，確保數(shù)據(jù)的安全與合規(guī)。

開放模型許可：Cosmos將以開放模型許可的形式在Hugging Face和NVIDIA NGC目錄中提供，支持開發(fā)者進(jìn)行定制化應(yīng)用。

2、Cosmos的技術(shù)原理

生成式世界基礎(chǔ)模型（WFM）：Cosmos使用先進(jìn)的生成式模型技術(shù)，模型包括擴(kuò)散模型和自回歸Transformer模型，能生成與真實世界高度一致的場景。

駕駛環(huán)境模擬：Cosmos能生成各種天氣和路況條件下的合成數(shù)據(jù)，為自動駕駛系統(tǒng)的訓(xùn)練提供豐富的場景。

策略模型優(yōu)化：通過生成大量逼真的駕駛場景，Cosmos可以幫助自動駕駛系統(tǒng)在模擬環(huán)境中進(jìn)行強(qiáng)化學(xué)習(xí)，優(yōu)化決策策略模型，測試在不同場景下的性能。

復(fù)雜環(huán)境適應(yīng)性訓(xùn)練：Cosmos可以為機(jī)器人提供復(fù)雜環(huán)境的實時模擬，使其感知系統(tǒng)通過合成數(shù)據(jù)進(jìn)行訓(xùn)練。

導(dǎo)航與任務(wù)執(zhí)行：基于Cosmos生成的虛擬世界狀態(tài)，機(jī)器人可以更好地理解和適應(yīng)周圍環(huán)境，實現(xiàn)更精準(zhǔn)的導(dǎo)航和任務(wù)執(zhí)行。

逼真場景生成：Cosmos能生成高度仿真的虛擬世界狀態(tài)，適用于虛擬現(xiàn)實游戲和仿真訓(xùn)練。例如，開發(fā)者可以使用Omniverse創(chuàng)建三維場景，然后通過Cosmos將其轉(zhuǎn)換為逼真的場景，使機(jī)器人在模擬環(huán)境中進(jìn)行訓(xùn)練。

工業(yè)數(shù)字孿生：結(jié)合NVIDIA的Omniverse和Cosmos，可以創(chuàng)建工業(yè)數(shù)字孿生環(huán)境，用于工廠和倉庫的模擬、測試和優(yōu)化。這使得在復(fù)雜生產(chǎn)設(shè)施和配送中心網(wǎng)絡(luò)中，能更好地進(jìn)行手動設(shè)計、操作和優(yōu)化。

二、通過 NVIDIA Cosmos 進(jìn)行自定義和部署

除基礎(chǔ)模型外，Cosmos 平臺還包括由 NVIDIA NeMo Curator 提供支持的數(shù)據(jù)處理和管理工作流，并針對 NVIDIA 數(shù)據(jù)中心 GPU 進(jìn)行了優(yōu)化。

機(jī)器人和自動駕駛汽車開發(fā)者收集數(shù)百萬或數(shù)十億小時的真實世界錄制視頻，從而產(chǎn)生數(shù)千萬億字節(jié)級的數(shù)據(jù)。Cosmos 使開發(fā)者能夠在 NVIDIA Hopper GPU 上僅用 40 天處理 2000 萬小時的數(shù)據(jù)，在 NVIDIA Blackwell GPU 上只需 14 天就能處理 2000 萬小時的數(shù)據(jù)。使用在具有等效功耗的 CPU 系統(tǒng)上運(yùn)行的未優(yōu)化的工作流，處理相同數(shù)量的數(shù)據(jù)將需要三年以上的時間。

該平臺還擁有一套強(qiáng)大的視頻和圖像 tokenizer，可以將視頻轉(zhuǎn)換為不同視頻壓縮比的標(biāo)記，用于訓(xùn)練各種 Transformer 模型。

與當(dāng)今先進(jìn)的 tokenizer 相比，Cosmos tokenizer 的總壓縮率高出 8 倍，處理速度快 12 倍，在訓(xùn)練和推理方面提供卓越的質(zhì)量并降低計算成本。開發(fā)者可以通過 Hugging Face 和 GitHub 訪問這些根據(jù) NVIDIA 開放模式許可提供的tokenizer。

使用 Cosmos 的開發(fā)者還可以使用 NeMo 框架提供的模型訓(xùn)練和微調(diào)功能，NeMo 框架是一種 GPU 加速框架，可實現(xiàn)高吞吐量 AI 訓(xùn)練。

三、開發(fā)安全、負(fù)責(zé)任的 AI 模型

現(xiàn)在，Cosmos 已根據(jù) NVIDIA 開放模式許可協(xié)議向開發(fā)者開放，其開發(fā)符合 NVIDIA 的可信 AI 原則，包括非歧視、隱私、安全、保障和透明度。

Cosmos 平臺包括 Cosmos Guardrails，這是一套專用的模型，其功能包括在預(yù)處理期間減少有害文本和圖像輸入，以及在后處理期間屏幕生成安全視頻。開發(fā)者可以進(jìn)一步增強(qiáng)這些護(hù)欄，以適應(yīng)自定義應(yīng)用程序。

NVIDIA API Catalog 上的 Cosmos 模型還具有內(nèi)置的水印系統(tǒng)，可識別 AI 生成序列。

以上便是此次帶來的英偉達(dá)Cosmos相關(guān)內(nèi)容，通過本文，希望大家對英偉達(dá)Cosmos已經(jīng)具備一定的了解。如果你喜歡本文，不妨持續(xù)關(guān)注我們網(wǎng)站哦，將于后期帶來更多精彩內(nèi)容。最后，十分感謝大家的閱讀，have a nice day!