NVIDIA 在 GTC 2025 宣佈面向 Physical AI 開發者的開源模型與數據集
NVIDIA's GTC 2025 Announcement for Physical AI Developers: New Open Models and Datasets
NVIDIA 在 GTC 2025 發佈 Cosmos Transfer、Physical AI Dataset 和 NVIDIA Isaac GR00T N1 三項 Physical AI 開源資源。
三項資源分別涵蓋可控合成場景、機械人訓練數據與人形機械人推理及技能,呈現 Physical AI 開發中生成、訓練和執行能力的不同分工。
![]() |
|---|
| NVIDIA Isaac GR00T N1 用於物件操作。 |
NVIDIA 在年度 GTC 大會上公佈三項突破性的開源發佈項目,旨在加快實體 AI 發展:推出具多重控制功能的新一系列世界基礎模型(WFM)Cosmos Transfer、精心整理的Physical AI Dataset,以及首個用於通用人形機械人推理的開放模型NVIDIA Isaac GR00T N1。這些發展大幅推進實體 AI 技術,為開發者提供強大工具和資源,以提升機械人系統並改進自動駕駛技術。
全新世界基礎模型:Cosmos Transfer
Cosmos Transfer 是 NVIDIA Cosmos™ 世界基礎模型(WFM)系列的最新成員,為虛擬世界場景生成帶來更高水平的控制能力和準確度。
此模型提供 70 億參數版本,運用多重控制功能,根據結構化輸入生成高保真世界場景,確保空間位置準確對齊,場景構圖精確。
運作原理
此模型透過針對用於擷取模擬世界的各種感測器模態,分別訓練個別 ControlNet 建構而成。
輸入類型包括 3D 邊界框地圖、軌跡地圖、深度地圖和分割地圖。
- 在推論時,開發者可使用各種輸入類型引導輸出,包括分割地圖、深度地圖、邊緣地圖、人類動作關鍵點、LiDAR 掃描、軌跡、高精地圖和 3D 邊界框等結構化視覺或幾何數據。
- 每個控制分支的控制訊號會乘上相應的自適應時空控制圖,再加總後加入基礎模型的 transformer 區塊。
- 輸出是具照片級真實感的影片序列,並可控制佈局、物件位置和動作。開發者可用多種方式控制輸出,例如保留結構和外觀,或在維持結構的同時容許外觀變化。
Cosmos Transfer 在不同環境和天氣狀況下生成的輸出。
Cosmos Transfer 配合 NVIDIA Omniverse 平台,正推動大規模生成可控的合成數據,支援機械人和自動駕駛開發。你可在 GitHub 查看更多 Cosmos Transfer示例。
使用訓練後基礎模型製作的 Cosmos Transfer樣本亦已開放,用於自動駕駛。
開放實體 AI 資料集
NVIDIA 亦發布了開源資料集Physical AI Dataset,在 Hugging Face上供實體 AI 開發使用。這個商用級、經預先驗證的資料集包含 15 TB 數據,涵蓋超過 320,000 條供機械人訓練使用的軌跡,以及最多 1,000 個 Universal Scene Description(OpenUSD)資產,當中包括 SimReady 資產集。
此資料集旨在為 Cosmos Predict 等世界基礎模型提供後期訓練素材,讓開發者取得高品質、多元化的數據,以提升 AI 模型。
專為人形機械人打造的模型:NVIDIA Isaac GR00T N1
另一項令人振奮的公佈是推出 NVIDIA Isaac GR00T N1,這是全球首個用於通用人形機械人推理和技能的開放基礎模型。這款跨具身模型可接收語言和圖片等多模態輸入,在不同環境中執行物件操作任務。NVIDIA Isaac GR00T-N1-2B 模型現已於 Hugging Face開放。
Isaac GR00T N1 使用大規模人形機械人資料集訓練,當中包含真實擷取數據、利用NVIDIA Isaac GR00T Blueprint部分組件生成的合成數據,以及互聯網規模的影片數據。模型可透過後期訓練,適配特定具身、任務和環境。
Isaac GR00T N1 使用單一模型和一組權重,讓不同人形機械人都能執行操作動作,例如 Fourier GR-1 和 1X Neo。它在各類任務中展現穩健的泛化能力,包括用單臂或雙臂抓取和操作物件,以及在兩臂之間傳遞物品。它亦能執行需要持續理解上下文並整合多種技能的複雜多步任務。這些能力使它適用於物料處理、包裝和檢查等應用。
Isaac GR00T N1 採用受人類認知啟發的雙系統架構,由以下互補組件組成:
- 視覺語言模型(System 2):這個有條理的思考系統以 NVIDIA-Eagle 和 SmolLM-1.7B 為基礎。它透過視覺和語言指令理解環境,讓機械人能推理環境和指令內容,並規劃適當行動。
- 擴散式 Transformer(System 1):這個動作模型會生成連續動作來控制機械人移動,把 System 2 制定的行動計劃轉化為精確、連續的機械人動作。
未來發展
後期訓練是推進自主系統發展的下一步,可為下游實體 AI 任務打造專用模型。
前往 GitHub 查看 Cosmos Predict 和 Cosmos Transfer 推論指令碼。詳情請參閲 Cosmos Transfer研究論文。
NVIDIA Isaac GR00T-N1-2B 模型現已於 Hugging Face開放。採用自訂用戶資料集進行後期訓練所需的樣本資料集和 PyTorch 指令碼,支援 Hugging Face LeRobot 格式,現已於 GitHub提供。如欲瞭解 Isaac GR00T N1 模型詳情,請參閲研究論文。
在 Hugging Face 追蹤 NVIDIA,掌握更多最新消息。
來源:Hugging Face Blog · huggingface.co
