Microsoft 為 Physical AI Toolchain 加入機械人推理卸載功能
Offloaded inference for real-world physical AI robotics
Microsoft 宣佈 Physical AI Toolchain 新增機械人推理卸載功能,支援透過 Kubernetes 工具把 AI 工作負載分配至機械人、邊緣 GPU 和雲端。
文章將實機工作負載的效能、電池續航與算力配置放在同一脈絡比較,並介紹以 Kubernetes 分配推理的工具,呈現卸載方案的收益與代價。

概覽
- 挑戰機械人 AI 的一項核心假設:我們的研究顯示,只在機械人內置 GPU 上執行實體 AI 推論,可能限制機械人效能、電池續航力及可擴展性;把推論卸載至邊緣或雲端 GPU 則可帶來顯著優勢。
- 展示推論卸載的可量度效益:在具代表性的移動操作工作負載中,卸載推論提升了任務成功率、讓系統可使用更大型 AI 模型,並協助機械人在動態的真實環境中更有效地應對。
- 延長機械人運作時間:以輕量化內置硬件和遠端推論取代耗電的內置 AI 運算,可大幅改善電池續航力,讓機械人兩次充電之間運作更久。
- 為 Physical AI Toolchain 加入新能力:開發者現可使用以 Kubernetes 為本的工具,在機械人、邊緣基礎設施及雲端之間容器化、部署和協調機械人 AI 工作負載,實現分散式推論。
容易取得的實體 AI,加上機械人在製造業、家居及倉庫協助使用者,具有提升安全、效率和支援各類工作的巨大潛力。在許多方面,實體世界的 AI 是 AI 發展的重要前沿。實體 AI 必須在開放、 不可預測的環境中運作,與其他機械人及人互動,並適應各種不同的機械人形態。實現這個願景需要在三個方面取得進展:機械人硬件、具身 AI 模型,以及用於訓練和推論的系統基礎設施。近年機械人硬件和 AI 模型迅速進步,我們將焦點轉向一個相對未受充分關注的環節:實體 AI 的推論基礎設施。要讓機械人在實體世界有效而安全地運作,需要複雜系統處理大量分散式推論運算。
目前實體 AI 的主流做法,是在機械人上內置 GPU,例如把 GPU 接駁至機械人。在這個模式下,機械人的推論受限於內置 GPU,由它提供執行任務所需的動作單元及序列。雖然較高層次的規劃可在雲端進行,任務執行通常仍依賴機械人本身。我們對這項假設提出質疑。 隨著實體 AI 模型日益龐大和複雜,內置運算的限制愈來愈明顯。GPU 耗電量高、縮短電池續航力、增加成本和重量,亦可能限制機械人運行最新一代 AI 模型的能力。
為更深入瞭解實體 AI 對系統的影響,我們首次對機械人工作負載進行系統化研究。我們聚焦於移動機械人操作,其典型任務例如「檢查廚房有沒有垃圾,然後把垃圾放進垃圾桶」。這類任務包括規劃前往廚房的路徑、感知環境以尋找垃圾、移動至垃圾所在位置、 拾起垃圾,再返回垃圾桶棄置。我們評估了具代表性的模型在三項核心能力上的表現:語義地圖繪製與規劃、導航和操作,詳見圖 2。

把實體 AI 推論從機械人卸載出去,可改善回應時間、準確度、電池續航力及成本。我們在不同的內置、邊緣及雲端運算配置下評估了推論模型。特定測試硬件的詳情載於技術報告。

提升任務效能:評估顯示,卸載推論可大幅提升機械人在地圖繪製、規劃、導航及操作工作負載中的表現。部分較小型 GPU 無法容納移動操作系統堆疊。在記憶體足夠的 GPU 上,地圖繪製和規劃速度比 A100 最多慢 383%,限制機械人在動態空間中的能力。使用較輕量 GPU 時,導航及時偵測障礙物的能力下降 30%。VLA 模型在較小型 GPU 上的速度雖然沒有大幅下降,但仍足以令準確度下跌 50%。換言之,內置 GPU 限制了機械人的效能;如影片及圖表所示,把推論卸載至本地部署或雲端 GPU,則可提升其運作能力。隨著實體 AI 模型持續擴大和複雜化,卸載推論的效益可能會更加顯著。

延長電池續航力:除了影響效能,內置 GPU 亦會大幅消耗機械人的電池。我們比較了以 Raspberry Pi-5 開發板取代內置 GPU,並把所有資料傳送至卸載推論所用 GPU 後,電池續航時間的增幅。Jetson Thor 等較大型內置 GPU,即使在較大型機械人上,也會令電池電量最多額外消耗 160%(或數小時)。

上述結果顯示,要讓大型模型在開放環境中運作並維持長時間電池續航力,把 GPU 推論從機械人卸載出去至關重要。不過,卸載推論涉及效能、網絡延遲和頻寬,以及可用 GPU 資源之間的複雜取捨。我們相信這項量度研究將有助設計實體 AI 推論系統。
自動卸載工具套件
我們打造了一套工具,方便把推論從機械人卸載出去,並在邊緣 GPU 與雲端之間分散推論工作。Kubernetes 是合適的平台,可提供統一抽象層,將機械人 AI 運算分配至機械人本身、邊緣 GPU,並在資源不足時延伸至雲端。這套工具允許使用宣告式規格自動容器化及卸載機械人工作負載,透過 Kubernetes 智能政策分發實體 AI 容器,並整合機械人模擬器、LeRobot 及 ROS2,簡化開發。以下步驟展示如何指定要卸載的工作,以及工具如何為 GPU 推論建立獨立容器並進行卸載。

Microsoft 最近推出 Physical AI Toolchain(在新分頁開啟),以大規模實現實體智能。Physical AI Toolchain 是一個可用於生產環境的開源框架,整合 Microsoft Azure(在新分頁開啟) 雲端服務與 NVIDIA(在新分頁開啟) 實體 AI 技術堆疊,加快機械人及實體 AI 開發者在感知、移動、模仿學習和強化學習流程中自動化及擴展資料整理、增強和評估。我們宣佈在 Physical AI Toolchain 中加入業界首創的機械人實體 AI 推論卸載能力。此版本包括 SO-101 和 UR10e 的推論卸載示例項目。以下影片展示把面向雙臂機械人的 Microsoft Rho 模型推論卸載至 Jetson Thor GPU,再由該 GPU 控制 Mobile Aloha 機械人(在新分頁開啟)的動作。
歡迎試用推論卸載功能、查看原始程式碼,並向我們提供意見。我們已在多種真實使用情境中測試,期待了解你的部署經驗。
在新分頁開啟
來源:Microsoft Research · microsoft.com