NVIDIA Cosmos 擴展工具，支援世界模型訓練、評估及部署

為協助開發者快速構建世界模型，讓實體 AI系統能夠理解及模擬真實世界，NVIDIA 擴展了Cosmos platform，加入新的訓練工具、模擬檢查點及 Cosmos Data Factory 藍圖。

NVIDIA Cosmos platform 在六個不同的開放模型排行榜中均排名前五，為世界模型開發者提供前沿開放模型，以及數據、訓練和優化工具與配方，協助擴大訓練數據規模、調適模型、測試行為，並在部署前優化效能。

建立更優質的訓練數據

構建世界模型，始於多模態、多感官數據。

NVIDIA Cosmos Data Factory匯集各種工具和技能，協助大規模整理、標註、增強及評估用於訓練實體 AI 的數據。Cosmos Curator 是一款以 GPU 加速、用於整理影片訓練數據集的解決方案，現已加入對多模態、多感官輸入及處理模組的支援。

閲讀 NVIDIA 在歐洲的所有公告

Cosmos Data Factory 現提供以下五種雲原生藍圖，並可透過GitHub、Microsoft Azure、Nebius及CoreWeave使用：

自動駕駛車輛數據集生成：整理並標註駕駛數據，再加入難以捕捉情境的合成範例，以擴大訓練覆蓋範圍。
圖片屬性增強：改變物件外觀，以改善圖片搜尋。
事件影片生成：將靜態圖片轉換成罕見或不安全事件的合成影片。
缺陷圖片生成：為檢測模型生成印刷電路板、金屬及玻璃缺陷圖片。
影片數據增強：改變現有影片片段中的天氣及光線，同時保留場景結構。

Cosmos Data Factory 透過 Agent 式技能加快數據整理、處理及合成數據生成。

各公司已開始運用 Cosmos Data Factory 藍圖，加快實體 AI 開發流程。

Porsche正帶領開發 Volkswagen Group 各品牌共用的自動駕駛車輛數據飛輪，透過Voxel51在Microsoft Azure 上使用 Cosmos Data Factory。預計此舉可減少最多 90% 的重複實地試車，並將開發週期縮短最多 85%。

Porsche 在 Voxel51 中搜尋及擴增自動駕駛車輛影片資料，並由 Cosmos Data Factory 提供支援。

ANYbotics透過 Cosmos Data Factory 藍圖生成超過 1,500 段合成影片片段，整理真實世界數據，並使用Encord’s 平台驗證輸出結果，以訓練其工業檢查機械人識別液體洩漏，以及兩次設施巡查之間出現的其他變化。

ANYbotics 利用 Encord 生成異常片段，並由 NVIDIA Cosmos Data Factory 提供技術支援。

Ultralytics 是一家電腦視覺公司，利用真實圖像和透過 Cosmos Data Factory 生成的針對性合成缺陷，重新訓練其 YOLO 模型，提升缺陷定位能力和召回率。

訓練、調適及最佳化模型

準備好訓練數據後，開發者可訓練自己的架構，或以預訓練模型為起點。

在 GTC Berlin，NVIDIA 將 Cosmos Framework 的訓練、最佳化及部署工具與配方以 Agent 技能形式擴展至更多開放模型，並推出 Cosmos 3，讓世界模型開發者更快由實驗走向部署。

開發者和 Agent 現在可透過微調和強化學習調適開放模型，例如 GR00T、Alpamayo、QWEN、Pi0.5 及其他相容的 Hugging Face 模型；亦可透過蒸餾和量化最佳化模型，並以高效能推理方式部署。

Diagram of a model builder agent using skills and open model backbones to prepare data, train, fine-tune, apply reinforcement learning, and optimize world models for inference. — Cosmos Framework 是一個開放、模組化的模型訓練與最佳化工具及技能框架，旨在加快世界模型開發。

為開發專門用於第一人稱視角操作的世界模型，機械人研究實驗室 MicroAGI 以人類操作物件的影片對 Cosmos 3 進行後訓練，並將其 320 億參數的推理模型蒸餾成 80 億參數的 Nano 模型，準確度沒有下降。

開發者可在 Roboflow 上為特定環境和任務標註數據，並對 Cosmos 3 進行後訓練，然後將這些模型部署至 RoboFlow 託管或本地部署的 NVIDIA GPU，將影片推理帶進工廠和倉庫。

測試控制策略並加快模型執行速度

除了這些工具，NVIDIA 亦持續透過 Cosmos 模型推進基礎技術。

供模擬使用的新款 Cosmos 3 Nano 模型變體，讓開發者可在可重複、難以捕捉的多視角、多感測器情境中測試自主控制策略。配套程式碼讓開發者可調適模型，在真實世界測試前，於互動式模擬中訓練及評估自動駕駛車輛和雙臂機械人的控制策略。

Cosmos creates videos using a starting image from each camera, a short description of each view, WSM controls and one LiDAR scan of the surroundings. — 用於在閉環模擬中評估控制策略的多視角、多感測器影片數據生成。

開發者可使用更新版 NVIDIA Cosmos 3 NIM 微服務部署核心 Cosmos 模型。在經驗證的配置中，這些微服務可在不損失品質的情況下，將推理速度提升至最高 2x；持續影片分析則可在不到一秒內發出警示。

對於視覺 AI 開發者而言，新的 NVIDIA Metropolis Blueprint for video search and summarization (VSS) 3.3 以 Cosmos NIM 微服務為基礎，只需一個提示詞便可建立高效的影片 AI 應用程式，並協助團隊在使用同一 GPU 的情況下監察多 40% 的影片串流。

ADNOC 使用 Fogsphere 的 MistIQ 智能代理平台，該平台以 Cosmos 和 NVIDIA Metropolis VSS Blueprint 建置，可在 65 個站點即時偵測安全隱患。對於罕見事件，Fogsphere 亦使用 Cosmos Data Factory 生成合成訓練數據，提升偵測能力，無需實際佈置危險情境。

Cosmos 平台完全模組化並且開放。開發者可使用 Cosmos Data Factory 生成訓練數據集，使用 Cosmos Framework 訓練及調整世界模型，然後透過 NIM 微服務部署 Cosmos 模型。

閲讀 NVIDIA 在歐洲的所有公告