跳到正文
Microsoft Research· Ganesh Ananthanarayanan, Matthew Balkwill, Xenofon Foukas, Sanjeev Mehrotra, Bozidar Radunovic, Connor Settle, Ankit Verma, David White, Shawn Cicoria, Mark Martin, Rachel Johnson, Mayur Patel·· 2026-09-24精選AI 評分63

Microsoft 為 Physical AI Toolchain 加入機械人推理卸載功能

Offloaded inference for real-world physical AI robotics

AI 導讀

Microsoft 宣佈 Physical AI Toolchain 新增機械人推理卸載功能,支援透過 Kubernetes 工具把 AI 工作負載分配至機械人、邊緣 GPU 和雲端。

推薦理由

文章將實機工作負載的效能、電池續航與算力配置放在同一脈絡比較,並介紹以 Kubernetes 分配推理的工具,呈現卸載方案的收益與代價。

正文 · 繁體中文
 Two images showing the robot performing the same task of handing over a tape from one robot arm to another. The videos show that while the task succeeds when the inference latency is low, the handover fails with high inference latency as is the case with onboard robot GPUs.

概覽

  • 挑戰機械人 AI 的一項核心假設:我們的研究顯示,只在機械人內置 GPU 上執行實體 AI 推論,可能限制機械人效能、電池續航力及可擴展性;把推論卸載至邊緣或雲端 GPU 則可帶來顯著優勢。
  • 展示推論卸載的可量度效益:在具代表性的移動操作工作負載中,卸載推論提升了任務成功率、讓系統可使用更大型 AI 模型,並協助機械人在動態的真實環境中更有效地應對。
  • 延長機械人運作時間:以輕量化內置硬件和遠端推論取代耗電的內置 AI 運算,可大幅改善電池續航力,讓機械人兩次充電之間運作更久。
  • 為 Physical AI Toolchain 加入新能力:開發者現可使用以 Kubernetes 為本的工具,在機械人、邊緣基礎設施及雲端之間容器化、部署和協調機械人 AI 工作負載,實現分散式推論。

容易取得的實體 AI,加上機械人在製造業、家居及倉庫協助使用者,具有提升安全、效率和支援各類工作的巨大潛力。在許多方面,實體世界的 AI 是 AI 發展的重要前沿。實體 AI 必須在開放、 不可預測的環境中運作,與其他機械人及人互動,並適應各種不同的機械人形態。實現這個願景需要在三個方面取得進展:機械人硬件、具身 AI 模型,以及用於訓練和推論的系統基礎設施。近年機械人硬件和 AI 模型迅速進步,我們將焦點轉向一個相對未受充分關注的環節:實體 AI 的推論基礎設施。要讓機械人在實體世界有效而安全地運作,需要複雜系統處理大量分散式推論運算。

目前實體 AI 的主流做法,是在機械人上內置 GPU,例如把 GPU 接駁至機械人。在這個模式下,機械人的推論受限於內置 GPU,由它提供執行任務所需的動作單元及序列。雖然較高層次的規劃可在雲端進行,任務執行通常仍依賴機械人本身。我們對這項假設提出質疑。 隨著實體 AI 模型日益龐大和複雜,內置運算的限制愈來愈明顯。GPU 耗電量高、縮短電池續航力、增加成本和重量,亦可能限制機械人運行最新一代 AI 模型的能力。 

為更深入瞭解實體 AI 對系統的影響,我們首次對機械人工作負載進行系統化研究。我們聚焦於移動機械人操作,其典型任務例如「檢查廚房有沒有垃圾,然後把垃圾放進垃圾桶」。這類任務包括規劃前往廚房的路徑、感知環境以尋找垃圾、移動至垃圾所在位置、 拾起垃圾,再返回垃圾桶棄置。我們評估了具代表性的模型在三項核心能力上的表現:語義地圖繪製與規劃、導航和操作,詳見圖 2。 

Mobile robotic manipulation involves the components of semantic mapping & planning, manipulation, and safe navigation. The table above lists the state-of-the-art models used for each of these components in our measurement study.
圖 2:移動機械人操作各個組件所用模型的詳情。

把實體 AI 推論從機械人卸載出去,可改善回應時間、準確度、電池續航力及成本。我們在不同的內置、邊緣及雲端運算配置下評估了推論模型。特定測試硬件的詳情載於技術報告。 

Diagram showing that offloading Physical AI inference from robots improves performance, battery efficiency, and cost.

提升任務效能:評估顯示,卸載推論可大幅提升機械人在地圖繪製、規劃、導航及操作工作負載中的表現。部分較小型 GPU 無法容納移動操作系統堆疊。在記憶體足夠的 GPU 上,地圖繪製和規劃速度比 A100 最多慢 383%,限制機械人在動態空間中的能力。使用較輕量 GPU 時,導航及時偵測障礙物的能力下降 30%。VLA 模型在較小型 GPU 上的速度雖然沒有大幅下降,但仍足以令準確度下跌 50%。換言之,內置 GPU 限制了機械人的效能;如影片及圖表所示,把推論卸載至本地部署或雲端 GPU,則可提升其運作能力。隨著實體 AI 模型持續擴大和複雜化,卸載推論的效益可能會更加顯著。

圖 3a:影片展示使用內置 GPU 執行交接任務。
圖 3b:影片展示把推論卸載後執行交接任務。
Robots can support GPUs such as Jetson Nano and Orin AGX onboard. The graphs above show that the success rate of object handover and navigation are low with onboard GPUs, but increase substantially with beefier GPUs when offloaded such as Jetson Thor and A100.
圖 4:不同 GPU(部分內置、部分採用卸載推論)執行推論時,機械人手臂互相交接物件的成功率。卸載推論可提升成功率。

延長電池續航力:除了影響效能,內置 GPU 亦會大幅消耗機械人的電池。我們比較了以 Raspberry Pi-5 開發板取代內置 GPU,並把所有資料傳送至卸載推論所用 GPU 後,電池續航時間的增幅。Jetson Thor 等較大型內置 GPU,即使在較大型機械人上,也會令電池電量最多額外消耗 160%(或數小時)。

Battery lifetime of the Stretch-3 robot can improve by over 100% when their GPU inference is offloaded out of the robot.
圖 5:卸載 GPU 推論對機械人電池續航力的影響;以上數值適用於 Stretch-3 機械人。

上述結果顯示,要讓大型模型在開放環境中運作並維持長時間電池續航力,把 GPU 推論從機械人卸載出去至關重要。不過,卸載推論涉及效能、網絡延遲和頻寬,以及可用 GPU 資源之間的複雜取捨。我們相信這項量度研究將有助設計實體 AI 推論系統。

自動卸載工具套件

我們打造了一套工具,方便把推論從機械人卸載出去,並在邊緣 GPU 與雲端之間分散推論工作。Kubernetes 是合適的平台,可提供統一抽象層,將機械人 AI 運算分配至機械人本身、邊緣 GPU,並在資源不足時延伸至雲端。這套工具允許使用宣告式規格自動容器化及卸載機械人工作負載,透過 Kubernetes 智能政策分發實體 AI 容器,並整合機械人模擬器、LeRobot 及 ROS2,簡化開發。以下步驟展示如何指定要卸載的工作,以及工具如何為 GPU 推論建立獨立容器並進行卸載。

Toolset to make offloading of physical AI inference easy by automatically generating a container for GPU inference and deploying it using Kubernetes to the machine with GPU.
圖 6:卸載工具套件中的容器化及部署步驟。

Microsoft 最近推出 Physical AI Toolchain(在新分頁開啟),以大規模實現實體智能。Physical AI Toolchain 是一個可用於生產環境的開源框架,整合 Microsoft Azure(在新分頁開啟) 雲端服務與 NVIDIA(在新分頁開啟) 實體 AI 技術堆疊,加快機械人及實體 AI 開發者在感知、移動、模仿學習和強化學習流程中自動化及擴展資料整理、增強和評估。我們宣佈在 Physical AI Toolchain 中加入業界首創的機械人實體 AI 推論卸載能力。此版本包括 SO-101 和 UR10e 的推論卸載示例項目。以下影片展示把面向雙臂機械人的 Microsoft Rho 模型推論卸載至 Jetson Thor GPU,再由該 GPU 控制 Mobile Aloha 機械人(在新分頁開啟)的動作。  

圖 7a:卸載 Microsoft Rho 模型的 GPU 推論,由模型控制 Mobile Aloha 機械人與 BusyBox 互動,按下藍色按鈕。
圖 7b:卸載 Microsoft Rho 模型的 GPU 推論,由模型控制 Mobile Aloha 機械人與 BusyBox 互動,把旋鈕轉至位置 4。

歡迎試用推論卸載功能、查看原始程式碼,並向我們提供意見。我們已在多種真實使用情境中測試,期待了解你的部署經驗。

在新分頁開啟

文章實體 AI 機械人在真實世界中的推論卸載最初刊登於 Microsoft Research。

來源:Microsoft Research · microsoft.com