NVIDIA 發佈 Isaac ROS 5.0,加入智能體工作流並支援 ROS Lyrical
NVIDIA Isaac ROS 5.0 Advances Agentic, Open Source Robotics Development
NVIDIA 發佈 Isaac ROS 5.0,加入讓開發者與 AI 智能體協作構建機械人的工作流,並支援 ROS Lyrical 和 Ubuntu 24.04。
Isaac ROS 5.0 把智能體工作流、可重用技能和平台支援納入開源機械人開發,呈現開發工具銜接 Jetson 部署的實作路徑。
要在動態環境中建構和部署能感知、推理及行動的複雜機械人應用程式,開發者需要全新的實體 AI模型和工具。
ROS 開源框架是由 Open Robotics 推動的項目,協助人們建構機械人。NVIDIA Isaac ROS 5.0 是一系列建基於 ROS 的 GPU 加速套件,今天在多倫多舉行的 ROSCon 大會上發佈,讓人類和 AI 代理程式能攜手建構機械人。
這次發佈加入全新的代理式工作流程及平台支援,協助開發者更快速地建構、自訂和部署機械人應用程式。
ROS 為現代機械人開發提供大部分所需的開源基礎,讓開發者可使用通用工具、程式庫和標準,建構並連接機械人應用程式。
NVIDIA Isaac ROS 為近 130 萬名 ROS 使用者帶來 NVIDIA 加速運算、實體 AI 模型及可用於生產環境的程式庫,協助開發者以免費、熟悉的開源工具建構高效能機械人應用程式。
把 AI 代理程式引入機械人開發
AI 代理程式正在改變軟件建構方式,協助開發者自動化重複任務、瀏覽複雜程式碼庫,並更快把構想變成可用應用程式。Isaac ROS 5.0 把這些能力帶到機械人開發領域。
Isaac ROS 5.0 新增對 ROS Lyrical 和 Ubuntu 24.04 的支援,讓開發者可採用最新 ROS 平台,同時繼續使用 NVIDIA 加速運算處理要求嚴苛的機械人工作負載。NVIDIA 與Open Source Robotics Alliance合作,為 ROS Lyrical 貢獻標準化資料處理介面,協助機械人軟件在不同運算硬件(包括 GPU)上高效運作。
這項技術向整個 ROS 社羣開放,為開發者提供一致方式,加速要求嚴苛的機械人應用程式;CUDA 提供 GPU 加速的實際示例。
全新的 NVIDIA Isaac 技能涵蓋設定和操作,為開發者及 AI 代理程式提供可重用工作流程,完成機械人開發任務。支援代理程式的文件亦讓 AI 代理程式更容易理解 Isaac ROS 工具和工作流程,把開發者意圖更快轉化為可用應用程式。
部分技能不只協助完成個別編碼任務。全新的 FoundationStereo 微調技能可讓 AI 代理程式協助開發者按相機、環境及機械人應用程式調整立體視覺模型,讓開發者依據特定感測器設定輕鬆提升感知準確度。
FoundationPose 是用於物件姿態估算和追蹤的基礎模型;現在它提供支援代理程式的推論程式庫,讓機械人能以快達 5.5 倍的速度感知和追蹤物件的位置及方向。
此外,物件偵測、深度估算及姿態輸出等常見的取放工作流程,現已作為獨立、支援代理程式的技能提供,讓機械人開發者能靈活使用 Isaac ROS 以外的方案。
加速開源機械人生態系
這個機械人生態系正把這種代理式方法擴展至開發工作流程。
AgenticROS 是由 3D 感知技術公司 RealSense 資助的開源項目,連接 Isaac ROS、NVIDIA Nemotron 開放模型和 NVIDIA NemoClaw 藍圖,讓 AI 代理程式能與 ROS 機械人互動。RealSense亦正為 Isaac ROS 和 NVIDIA Jetson Thor 邊緣 AI 平台最佳化最新 AI 原生 3D 立體深度相機(包括 RealSense D585 Pro)及開源軟件開發套件,協助開發者建構感知、導航及操作應用程式。
Intrinsic 的 Open Machine Tending Solution 是一款用於電腦數值控制機牀上下料的參考應用程式,屬於最近推出的 Intrinsic Core。這套開源方案包含預先設定的執行階段服務及能力,專為加速工業機械人應用程式而設。它內置兼容NVIDIA FoundationPose,可直接用於物件註冊、追蹤和姿態估算。透過 FoundationPose 感知流程,機械人可動態偵測和處理零件,同時減少對僵化、昂貴實體治具及專用系統整合的需求。

Seeed Studio 正把 NVIDIA Isaac ROS 與 reBot Arm結合,在 NVIDIA Jetson Thor 上執行加速感知、空間理解及動作規劃。這項整合為開發者提供實用平台,建構各類實體 AI 應用程式,從物件定位到具避障能力的操作及自主取放皆包括在內。
Magna 正使用 NVIDIA Isaac ROS 作為模組化、GPU 加速的基礎,以支援機械人感知、同步資料收集及 NVIDIA Isaac GR00T 模型部署;並結合 Isaac Sim 硬件在環測試,加快把智能自動化由研究帶進真實製造及移動應用,同時降低風險。

Prefix.dev 的 Pixi 套件管理工具,讓開發者更容易建立可重現的機械人開發環境;它把 ROS 與 NVIDIA CUDA 平台結合,協助開發者更輕鬆設定和分享加速機械人工作流程。
作為 Isaac ROS 合作夥伴,Foxglove透過網頁及桌面工具,協助開發者視覺化並除錯即時 ROS 應用程式。Foxglove 已整合至 Isaac ROS 教學內容,並支援 3D 主題、nvblox 網格及 rosbag 等資料。
Flexiv 正把 Isaac ROS 整合至其 Rizon 4 自適應機械人,讓開發者使用 NVIDIA 加速機械人能力,並簡化從 NVIDIA Isaac Sim 測試應用程式到部署至實體機械人的流程。

Ekumen 是 Grid Dynamics 旗下公司,正把 GPU 加速的 Isaac ROS 套件整合至現有 ROS 和 Nav2 技術堆疊,改善精準停靠、3D 障礙物偵測、視覺定位及即時動作規劃,並在 Isaac Sim 中驗證每項應用程式。
Ekumen 使用 GPU 執行 isaac_ros_cumotion,為倉庫機械手臂規劃無碰撞路徑,約需 2 至 5 毫秒。
Ouster 把 Stereolabs ZED 立體相機整合至 NVIDIA Isaac ROS,為機械人應用程式提供 GPU 加速感知。這項整合簡化了即時物件偵測、地圖繪製及導航的開發,同時維持與更廣泛 ROS 生態系的互通性。
把完整實體 AI 技術堆疊帶到機械人上
開發者及代理程式建構的應用程式,最終都需要在機械人上運行。
NVIDIA Jetson 是可擴展運算平台,讓實體 AI 技術堆疊以即時效能在邊緣運行,並在機械人上整合 ROS、加速感知及導航、AI 模型和應用邏輯。
Isaac ROS 5.0 支援可擴展運算,從入門級 NVIDIA Jetson Orin Nano 到高效能 Jetson Thor 裝置皆可使用。隨著機械人工作負載日益複雜,開發者可沿此路徑由開發推進至部署。
機械人公司已開始運用這種組合,把更多 AI 運算直接帶到機器上。
Mentee Robotics 使用 NVIDIA Isaac ROS 作為 MenteeBot 人形機械人的感知和 AI 核心,讓機械人即時解讀視覺資訊並執行已學習行為。NVIDIA Jetson Orin 和 Jetson Thor 平台共用軟件基礎,協助 Mentee 把現有機械人的創新成果延伸至下一代系統。

Universal Robots 已把 NVIDIA Isaac ROS 納入其 AI Accelerator 軟件開發套件,協助系統整合商更快部署進階感知及動作能力,毋須從頭開發複雜的機械人軟件。方案由邊緣端的 NVIDIA Jetson 驅動,讓機械人能適應位置不精確的零件,減少依賴昂貴治具,令製造單元更靈活。
ROBOTIS 開發方便開發者使用、以 ROS 為本的 TurtleBot3,現正把 Isaac ROS 整合至 AI Worker 機械人,運用 GPU 加速物件感知,支援包括拾取、放置及對準在內的視覺引導操作任務。
ROBOTIS 使用 NVIDIA Isaac ROS CuMotion 執行物件操作任務。
FieldAI 的 機械人基礎模型可完全在機械人上運行,毋須依賴雲端連線;它們正把 Isaac ROS 整合至 Jetson 裝置,更充分運用 GPU 加速並提升機械人本身 AI 技術堆疊的效率。
Noble Machines 正在 Jetson 上使用 NVIDIA Isaac ROS,加速開發工業通用型機械人;他們以即用型 AI 和感知能力為基礎,而毋須從頭建構。
透過結合開放機械人生態系、加速運算和全新的代理式開發工作流程,Isaac ROS 5.0 協助開發者應對實體 AI 的兩大挑戰:建構能力愈來愈強的機械人應用程式,並讓它們在實體世界中高效運行。
Isaac ROS 5.0 現已免費開放原始碼。開發者可在 GitHub 瞭解更多並開始使用 NVIDIA Isaac ROS。
來源:NVIDIA Blog · blogs.nvidia.com