SimReady Central 開放逾 2,000 個供機械人及 AI 工廠模擬使用的 OpenUSD 資產
Announcing SimReady Central: An Open Library of Simulation-Ready 3D Assets for Robotics and AI Factories
SimReady Central 在 Hugging Face 提供逾 2,000 個免費開放的 OpenUSD 模擬就緒資產,供機械人模擬及 AI 工廠數碼孿生使用。
SimReady Central 説明資產需具備的模擬屬性,並展示 OEM 驗證提交及開發者組合資產建立場景的流程。
建構機械人模擬及高保真度 AI 工廠數碼孿生,所需的不止是 3D 模型。開發者往往需要加入碰撞幾何、質量及摩擦等屬性。SimReady 資產是預先備妥模擬工作流程所需屬性的 3D 模型,可減少這些人手工作。
SimReady Central Library 在 Hugging Face 匯集超過 2,000 個可供模擬使用(SimReady)的 OpenUSD 資產,為開發者提供免費且不設使用門檻的起點,用於建立 物理 AI 訓練環境及 AI 工廠數碼孿生。資產庫涵蓋各類基礎設施及設備資產,從機械手臂和夾爪,到倉庫設備、貨架及冷卻基礎設施。開發者可以查看每項資產支援的功能,再把不同供應商的資產組合成場景。
設備製造商(OEM)現在可以按照 SimReady 要求準備及驗證資產,並透過 SimReady Central Library 接觸開發者,讓終端客戶更快測試及模擬不同情境,加快決策。這讓各行業可以圍繞其產品建立模擬環境,同時自行管理 Hugging Face 數據集。
我們會介紹資產符合 SimReady 的條件,以及 OEM 如何為 SimReady Central Library 提供資產,然後示範開發者如何使用這些資產建立機械人抓取與放置情境,並比較 AI 工廠佈局。
SimReady 資產具備甚麼特點?
SimReady 資產是預先備妥模擬工作流程所需屬性的 OpenUSD 資產。詳細的 3D 模型(例如 CAD)是實用的起點。模擬還需要額外資訊,説明應如何解讀及使用該物件。
在機械人操作任務中,這些資訊可能包括物件的質量、碰撞幾何及摩擦特性。在 AI 工廠工作流程中,則可能包括設備幾何資料,以及應用程式所需的電氣或熱學中繼資料。
OpenUSD 是一個開放且可擴展的框架,用於描述及組合 3D 場景。使用這些場景訓練及評估自主機器,還需要有關物理行為、碰撞及感測器互動的資訊。
SimReady Foundation 提供規格、配置檔及驗證工具,明確列出這些要求。配置檔會界定某項資產針對特定用途所需功能及能力的邏輯分組。
圖 1. SimReady Foundation 為特定模擬用途界定資產表示方式的要求,而開發者資源庫則協助按照這些要求準備及驗證 OpenUSD 資產。
視乎資產及配置檔,相關功能可包括:
| 資產結構元素 | 可實現的功能 |
|---|---|
| 碰撞幾何及物理屬性 | 在受支援的執行環境中進行接觸及物理模擬。 |
| 關節結構及限制 | 關節式機械人及設備的移動。 |
| 語義標籤 | 物件識別及附有標註的合成數據。 |
| 材質及感測器屬性 | 渲染及輔助感測器模擬。 |
如需瞭解各模擬用途相關的要求,請參閲 SimReady Foundation 要求及配置檔。開發者應從 SimReady Central 選取配置檔符合其工作流程需求的資產,並將它們組合成 OpenUSD 場景。
為何將 OEM 資產發布至 SimReady Central?
OEM 廠商可將其 CAD 設備模型轉換為 SimReady 資產,供開發人員在建構以其產品為核心的模擬環境時使用。SimReady Central Library 讓用戶可在 Hugging Face 上搜尋這些資產,協助製造商接觸建構機械人模擬環境及 AI 工廠數碼孿生的團隊。
對於 AI 工廠 OEM 廠商,例如 Vertiv,這個資料庫提供分發資產的途徑,包括倉庫設備架、伺服器機架、冷卻設備,以及 AI 工廠數碼孿生所需的配套基礎設施。開發人員和前沿代理可將這些資產納入AI 工廠數碼孿生,並重用其 SimReady 設定檔所指定的幾何形狀和屬性。
對於機械人 OEM 廠商,例如 Comau、FANUC、Franka Robotics、Robotiq、Standard Bots 和 Universal Robots,這個資料庫讓建構訓練及評估環境的團隊能夠搜尋到機械臂和夾爪。開發人員可將這些資產與工業設備結合,建構倉庫和工廠場景。
對於模擬資產供應商,例如 Palatial,這個資料庫收錄了與 NVIDIA Robotics 合作推出的 NVIDIA Robotics 1K Dataset,以及由文字、圖片、掃描資料、規格表和 CAD 生成的複雜可動關節資產。開發人員可為機械人訓練和評估建構資產及場景。
對於LG Electronics (LGE) 這類開發家用機械人及其配套家電的OEM 廠商,這個資料庫提供分享資產的途徑,例如雪櫃和洗碗碟機。開發人員可使用結合 LGE 在家電和機械人領域經驗的資產,建構家居模擬環境,用於機械人訓練、評估和合成數據生成。
對於ForgeCAD 這類AI 輔助 CAD 供應商,這個資料庫提供具備高質素紋理的可動關節機械人道具,供開發人員建構環境,用於機械人感知和操作訓練,以及合成數據生成。
OEM 廠商可使用 SimReady Central 提交技能,根據相關 SimReady 設定檔驗證資產、將資產打包,然後提交以納入資料庫。
圖 2. OEM 廠商根據 SimReady 設定檔準備和驗證 OpenUSD 資產,然後將資產提交至 SimReady Central。開發人員和 AI 代理在資料庫中搜尋資產,並用來建構模擬環境。
使用 SimReady 資產建構模擬環境
SimReady Central 為機械人和工業開發人員提供可重用的起點,用於建構機械人工作站、工業環境和 AI 工廠數碼孿生。開發人員和 AI 代理可在 SimReady Central 尋找符合工作流程所需設定檔的資產,並將它們組合成 OpenUSD 環境。
開發人員可使用 SimReady 資產,在訓練環境中加入物件和障礙物,再改變它們的位置,以評估機械人的行為。這些環境可支援 Microduck 等項目。Microduck 是由 Hugging Face 和 Pollen Robotics 推出的開源機械人。
圖 3. 資產數據集透過 Hugging Face 上的 SimReady Central 連接,並使用其 USD 搜尋服務支援 Isaac 工作流程、SimReady Central 資料庫搜尋及 AI 代理工作流程。
NVIDIA USD Search 為 SimReady Central Library 提供自然語言搜尋功能,協助開發者和 AI agents 在參與的數據集中尋找資產。Hugging Face 亦已將 USD Search 整合至其平台搜尋功能,當中包含已建立索引的 USD 屬性和模擬元數據,協助 agents 找出適合其物理 AI 模擬任務的 SimReady 資產。
AI 輔助編寫為使用這些資產建立內容提供另一種方式。開發者可使用 OpenAI 的前沿模型,例如 GPT-6 Astra,配合資產搜尋和場景編寫工具,利用 SimReady Central Library 建立環境。只要提供任務要求和空間限制,Astra 便可協助尋找合適的資產、編寫組合場景的程式碼,以及建立不同的情境版本。
OEM 廠商亦可使用 Astra,按照 SimReady Foundation 的要求準備和完善 OpenUSD 資產,然後再進行驗證並提交至資料庫。
建立機械人抓取及放置情境
例如,開發者要建立機械人抓取及放置情境,可以從以下提示詞開始:
使用 Hugging Face 上 SimReady Central 的 SimReady 資產,使用 PhysX 在 Isaac Sim 中建立基本的倉庫抓取及放置情境。
使用 nvidia-simready-central.hf.space 尋找 FANUC 機械人手臂、相容的 Robotiq 夾爪,以及合適的倉庫資產。生成組合場景並設定抓取及放置任務的 Python 程式碼。輸出 .mov 預覽,讓我檢視結果。
請提供指令碼、資產版本和執行環境版本,讓我可以重現這個情境。
在此工作流程中,我們預期 Astra 會執行以下操作:
- 查詢 SimReady Search API,尋找在 Hugging Face 上分發的相關資產
- 以 Reference/Payload 方式將資產引入 OpenUSD stage
- 生成組合工作單元的 Python 程式碼
- 設定抓取及放置任務
- 輸出預覽供用戶檢視
圖 4. 由 SimReady 資產組合而成的機械人抓取及放置工作單元,展示 AI 輔助場景編寫如何將開發者的要求轉化為模擬情境,以便在 Isaac Sim 中檢視和完善。
比較 AI 工廠佈局
同一方法亦適用於建立 AI 工廠數碼孿生的 ISV(獨立軟件供應商)。任務會由機械人互動轉為設備擺放:按照指定的空間限制,安排機架、冷卻設備和配套基礎設施。
使用 Hugging Face 上 SimReady Central 的 SimReady 資產,建立兩個配備機架和冷卻設備的 AI 工廠佈局方案。
使用提供的設備尺寸和通道淨空要求。檢查設備是否重疊,以及是否違反淨空要求,並報告任何問題。
將每個佈局儲存為 OpenUSD 場景。請提供建立場景的指令碼、資產版本和執行環境版本,讓我可以重現並比較結果。
在此工作流程中,Astra 會將選定的 SimReady 資產組合成兩個 OpenUSD 佈局,然後生成指令碼,按照提供的要求檢查設備重疊情況及通道淨空。開發者之後可在模擬應用程式中檢視佈局,比較設備擺放位置和通行路徑,並檢視標示出的問題,再完善首選配置。
圖 5. 由 SimReady 資產組合而成的 AI 工廠佈局,展示 AI 輔助場景編寫如何支援設備擺放、通道淨空檢查,以及在 OpenUSD 中完善佈局。
在上述兩個例子中,開發者可以透過幾種方式擴展環境:
- 重用環境:將版面配置和特定任務的變更分開存放在不同的 OpenUSD 圖層,讓相同的來源資產可用於多個實驗。
- 改變情境:從資料庫加入更多資產,並改變物件擺放位置、設備配置或周邊基礎設施,以評估不同條件。
- 建立應用程式專用測試:對於機械人技術,在 Isaac Lab 配置訓練和評估任務。對於 AI 工廠,將場景連接至分析所需的設備數據和模擬工具,例如電力分配或冷卻效能分析。
- 將已驗證的版面配置用於實際運作:對於 AI 工廠,將場景連接至即時 BMS 和 IT 遙測數據,讓數碼孿生與 AI 工廠設施保持同步。
共同塑造新一代資產
SimReady Central 的發展藍圖包括加入更多 OEM 合作夥伴,並擴充資產資料庫,讓開發者能以可重用內容組合更多設備和環境。
社羣意見有助確定哪些新增內容最重要。請在留言中告訴我們你需要哪些資產、使用哪些執行環境,以及遇到哪些整合缺口。
如要將 OEM 資產提交至 SimReady Central,請使用資產提交指南。
OEM 的貢獻可擴大可用內容,而開發者的示例則可展示資產在不同應用程式中的使用方式。請在留言中分享你建立的內容示例,並在 SimReady Foundation 提交問題,回報錯誤或提出 SimReady 要求及功能建議。
在 Hugging Face 🤗 開始建構
為你的下一個機械人模擬或 AI 工廠數碼孿生,從 SimReady Central Library 選擇資產。使用以下資源尋找資產、建立場景或貢獻設備模型。
探索資產
- 尋找符合任務需求的資產:Hugging Face 上的SimReady Central Library
- 使用自然語言搜尋:透過由USD Search提供技術支援的SimReady Central 搜尋端點,描述你需要的資產。
- 建立自己的資產瀏覽器:探索SimReady Central GitHub 儲存庫中的索引至資料庫技能。
建立場景
- 學習組合 OpenUSD 場景:參加免費的OpenUSD 學習課程。
- 提升機械人技術和數碼孿生技能:探索免費的實體 AI 課程。
- 建立機械人模擬:從Isaac Sim和Isaac Lab開始。
- 建立 AI 工廠:從由 Agent 輔助的數碼孿生工作流程開始。
準備及貢獻內容
- 開始 OEM 貢獻流程:按照入門指南操作,並在SimReady Central Library 文件中查閲常見問題的答案。
- 選擇資產的要求:查看SimReady Foundation中的設定檔。
- 準備用於模擬的 CAD 模型:使用CAD-to-SimReady 技能。
- 驗證、封裝並提交資產:按照SimReady Central 提交技能操作。
祝你建構順利,期待看到你的創作!
來源:Hugging Face Blog · huggingface.co





