NVIDIA 發佈 Cosmos 3 四個開放權重模型，支援互動式世界模擬

簡而言之

NVIDIA Cosmos 世界模型開發平台在其 Cosmos 3 模型系列中新增四個開放權重檢查點，用於生成互動式世界模擬，以及多感測器、多視角駕駛場景：

🌦️ Cosmos3-Nano-Transfer-Auto：生成多視角駕駛數據，呈現不同天氣、光線和時段。
🚗 Cosmos3-Nano-Sim-Auto：為駕駛模擬串流傳送同步的相機和 LiDAR 觀測數據。
🎨 Cosmos3-Nano-Sim-Transfer：將模擬器控制項和文字提示詞轉換為寫實影片。
🤖 Cosmos3-Nano-Sim-Bimanual：根據機械人或相機動作預測影片。

四款模型均是 Cosmos 3 Nano 的後訓練範例，並有 16B 個可訓練參數。這些模型採用 OpenMDW1.1，按其條款可作商業及非商業用途。

下載檢查點 · 閲讀技術報告 . 觀看示範影片

為甚麼需要這些檢查點？

🦾 機械人技術需要能在場景和視角不斷變化時作出回應的環境。這些檢查點提供互補的建構方式：Sim-Bimanual 根據動作預測視覺效果，而 Sim-Transfer 則將物理模擬器的控制項轉換為生成的觀測數據。

🚦 對於自動駕駛，外觀和幾何結構必須一致。同步生成相機和 LiDAR 數據，將視覺觀測與 3D 感測連繫起來。場景和交通燈控制項讓研究人員改變道路佈局和訊號燈狀態，再研究駕駛策略如何回應。

🔄 每次觀測都可以影響下一個動作。串流生成將影片預測與持續互動連繫起來，讓世界模型研究人員可以探索動作和觀測如何共同演變。

🌐 開放的基礎，讓其他人繼續建構。NVIDIA 希望協助研究人員和開發者建立更豐富、回應更靈敏的模擬世界。開放權重和後訓練配方提供共同起點，讓用戶調整模型、比較方法和貢獻改進。這些問題仍然棘手：未來的工作包括衡量模型在多大程度上能可靠地支援策略學習和評估、瞭解模型的限制，並改善不足之處。

使用 Cosmos3-Nano 建構自動駕駛世界

🌦️Transfer-Auto：駕駛場景 → 多感測器數據

Cosmos3-Nano-Transfer-Auto 是一款用於離線生成合成駕駛數據的雙向模型。它可生成最多 11 個相機視角的同步影片，包括魚眼鏡頭畫面，並支援聯合生成 RGB 和 LiDAR 數據。每個相機視角的 World Scenario Map (WSM) 控制項會指定場景結構和交通流動，而文字提示詞則引導畫面外觀。

開發者可調整環境條件，以擴大訓練及評估的涵蓋範圍，並可選擇提供初始 RGB 圖像，以固定場景外觀。聯合 LiDAR 生成亦會使用對齊的 HD 地圖距離圖控制。 Transfer-Auto 亦是將 Cosmos 調整至你自己的感測器配置及駕駛領域的基礎。首先以你的數據對其進行後訓練，以配合你的相機配置、LiDAR 配置及目標環境。調整後的模型可直接用於離線數據生成，或經過因果訓練及少步數蒸餾，以進行快速串流模擬——這是用來建立 Cosmos3-Nano-Sim-Auto 的開發路徑。

讓你的 Agent 使用這項開放技能：使用 Cosmos3-Nano-Transfer-Auto 執行推理

想使用 notebook？ 開啟 Transfer-Auto。

🚗Sim-Auto：駕駛控制 → 串流觀測資料

Cosmos3-Nano-Sim-Auto 是 Transfer-Auto 經因果蒸餾而成的串流版本。它只需幾個去噪步驟，便可生成連續的小片段同步相機影片及 LiDAR 數據，並利用生成的歷史資料及更新後的駕駛控制，支援快速串流和長時間互動式推演。

提供每部相機的文字描述及同步的 WSM 控制，亦可選擇加入初始 RGB 圖像。如要生成 LiDAR 數據，請加入與相機控制對齊的 HD 地圖距離圖控制。經蒸餾的模型會利用滾動歷史資料生成連續片段。閉環互動需要模擬執行環境及 WSM 渲染器，根據駕駛輸入更新這些控制。若要用於新的感測器配置或領域，請先調整 Transfer-Auto，再將其蒸餾為 Sim-Auto。

讓你的 Agent 使用這項開放技能：使用 Cosmos3-Nano-Sim-Auto 執行推理

想使用 notebook？ 開啟 Sim-Auto。

🎨 Sim-Transfer：模擬器控制 → RGB

你的模擬器會計算運動、接觸及物理狀態。Sim-Transfer 使用模擬器的空間控制及文字提示，渲染策略可使用的彩色觀測資料。

動作 → 模擬器更新 → 空間控制 → 生成的 RGB → 下一個策略動作

深度：相對於相機的距離。
分割：區域及物件邊界。
邊緣：場景輪廓。
模糊：粗略的外觀及佈局。

文字提示外觀；物理特性及真值狀態仍由模擬器處理。

深度控制轉影片

分割控制轉影片

讓你的 Agent 使用這項開放技能：使用 Cosmos3-Nano-Sim-Transfer 執行推理

想使用 notebook？ 使用 Transfer。

🤖 Sim-Bimanual：動作 → 影片

輸入影格

由 Sim-Bimanual 模擬檢查點生成的輸出影片

Cosmos3-Nano-Sim-Bimanual 可模擬環境如何因應雙臂機械人的動作而演變。它支援以 YAM 和 AgiBot 機械人形態進行互動式雙臂模擬，並可由策略或人手操作的操縱桿控制。

從一張圖像開始，移動機械人或相機，並生成下一批觀測資料。同一段控制序列可在視點變更與操作之間切換。

混合動作範例使用 59 個控制值，訓練期間會補齊至 64 個。其結構定義了座標框架、旋轉、夾爪校準、有效性遮罩及控制範圍。請遵循這些慣例，確保每個值都代表預期動作。

保持時間對齊：T 次轉移需要 T+1 個觀測。訓練會將原始擷取資料轉換成模型的動作表示；已發布的推理動作則已經正規化。

在這裏，Sim-Transfer 會根據物理模擬器更新後的狀態生成視覺畫面；Sim-Bimanual 則會直接根據場景和機械人動作生成下一個觀測。

請參閲資料契約和動作結構。

要求：Linux、NVIDIA GPU、Docker 及 NVIDIA Container Toolkit。已發布的 vLLM-Omni 設定曾在一部 GB200 上測試；這並非最低記憶體規格。伺服器會下載權重；用戶端會取得範例輸入。

讓你的 Agent 使用這項公開的 skill：使用 Cosmos3-Nano-Sim-Bimanual 執行推理

偏好使用 notebook？開啟Bimanual

串流生成的運作方式

Cosmos 3 的 Mixture-of-Transformers 主幹透過注意力機制，連接獨立的文字處理網絡與視覺生成網絡。生成器會根據提示詞、可用的控制資訊及已生成的歷史資料，預測每個短片段。

控制資訊 + 歷史資料 → 生成區塊 → 解碼影像 → 更新歷史資料

去噪會將帶噪的壓縮影片表示逐步轉換成片段。時序因果注意力可讀取可用的歷史資料和控制資訊，同時遮蔽未來的目標觀測。鍵值快取會保留注意力資訊，以供下一次預測使用。

模型以稱為潛在表示的壓縮影片表示進行運作。初始影像之後，每個潛在時間步代表四個 RGB 影格。Transfer 每個區塊預測一個時間步；報告中的最佳化 Bimanual 設定則預測兩個時間步。較小的區塊能讓新的控制資訊更頻繁地影響生成結果。

四階段訓練流程

階段 0 — 雙向適配：從完整的錄影片段中學習相關領域，以及控制資訊與影片之間的關係。
階段 1 — 教師強制：根據較早的錄影觀測和可用的控制資訊預測每個區塊，同時遮蔽乾淨答案和未來目標。
階段 2 — 一致性蒸餾：使用凍結的教師模型訓練學生模型，讓它透過四個去噪步驟生成每個區塊。
階段 3 — 自我強制：使用學生模型生成的歷史資料進行訓練。凍結的教師模型和輔助評分模型會提供分佈匹配訊號。

最後一個階段之所以重要：略有偏差的物件預測會成為後續影格的上下文，因此錯誤可能逐步累積。自我強制讓模型在訓練時接觸這些生成的歷史資料。蒸餾和快取則可降低生成每個觀測的成本。

🛠️ 使用你的數據進行適配

後訓練流程以 Cosmos3-Nano 或相容的基礎權重為起點，涵蓋全部四個階段。請保留完整的訓練檢查點以便繼續訓練；匯出的推理權重不包含優化器及其他訓練狀態。

Transfer-auto：使用你的駕駛數據進行後訓練，以適配你的感測器配置和應用領域，並生成離線合成數據。
Sim-auto：將因果訓練和蒸餾應用於已適配的 Transfer-Auto 模型，進行快速串流模擬。
Sim-Transfer ：使用本地資料準備、階段設定及續訓功能，為你的環境對檢查點進行後訓練。
Sim-Bimanual：透過資料驗證、階段設定、檢查點交接及匯出功能，為你的機械人形態進行後訓練。

向你的程式編寫 Agent 提供技能及數據集位置。按照環境檢查步驟操作，驗證一個樣本，並在進行較長時間的訓練前測試訓練及重新啟動。使用留出回合評估品質：成功完成短時間訓練只能驗證執行正常，不能證明已收斂。