跳到正文
Hugging Face Blog·· 2026-03-09精選AI 評分68

LeRobot 發佈 v0.5.0,擴展機械人硬件、策略模型及資料與模擬功能

LeRobot v0.5.0: Scaling Every Dimension

AI 導讀

LeRobot 團隊發佈 v0.5.0,擴展機械人硬件、策略模型、資料集處理及模擬環境支援。版本加入 Unitree G1 人形機械人完整支援(包括全身控制)、Pi0-FAST 自回歸 VLA 及 Real-Time Chunking,並新增 EnvHub 以從 Hugging Face Hub 載入模擬環境,亦整合 NVIDIA IsaacLab-Arena。

推薦理由

版本把人形機械人控制、即時推理、模擬環境和資料提速納入同次更新,呈現 LeRobot 從硬件接入至訓練工具鏈的擴展範圍。

正文 · 繁體中文

自 v0.4.0 以來,我們已合併超過 200 個 PR,並迎來超過 50 位新貢獻者。LeRobot v0.5.0 是至今最大規模的版本,一次朝各個方向擴展:支援更多機械人(包括首款人形機械人)、更多策略(包括自回歸 VLA 再度登場)、更快的資料集、可直接從 Hub 載入的模擬環境,以及現代化程式碼庫,並以 Python 3.12 和 Transformers v5 運行。無論你是在模擬環境訓練策略,還是部署到真實硬件,v0.5.0 都有適合你的功能。

簡介

LeRobot v0.5.0 新增完整的 Unitree G1 人形機械人支援(全身控制模型)、全新策略(包括 Pi0-FAST 自回歸 VLA,以及讓推論更靈敏的即時分塊),並加入串流影片編碼,免除錄製片段之間的等待時間。這個版本亦推出 EnvHub,可從 Hugging Face Hub 載入模擬環境;整合 NVIDIA IsaacLab-Arena;並透過 Python 3.12+、Transformers v5 和第三方策略外掛,大幅現代化程式碼庫。

目錄

硬件:支援歷來最多機械人

LeRobot v0.5.0 大幅擴展支援的硬件,從機械臂和移動機械人到完整人形機械人,一應俱全。

Unitree G1 人形機械人

本次版本最大硬件新增功能:完整支援 Unitree G1 人形機械人。這是 LeRobot 首次整合人形機械人,功能亦相當全面:

  • 移動:在環境中行走、導航和移動。
  • 操作:執行靈巧的物件操作任務。
  • 遙距操控:透過直觀的遙距操控介面控制 G1。
  • 全身控制(WBC):同時協調移動和操作,完成複雜的真實世界任務。

G1 整合代表 LeRobot 朝通用機械人技術邁進一大步,由桌面機械臂擴展至具身 AI 全身控制。請按照説明文件親自試用。

unitree-boss

OpenArm 和 OpenArm Mini

我們新增對 OpenArm 機械臂和配套的 OpenArm Mini 遙距操作裝置的支援。OpenArm 是具備完整 LeRobot 整合功能的機械臂,而 Mini 則是自然配套的遙距操作裝置。兩者均支援雙手機械人配置,可組成雙臂系統,執行更複雜的操作任務。詳情請參閲説明文件。

更多機械人

硬件生態系統持續擴展:

  • Earth Rover:首次整合移動機械人,讓 LeRobot 支援戶外導航和地面機械人。
  • OMX Robot:全新機械臂,支援可配置夾爪設定和校準。
  • SO-100/SO-101 整合:我們把 SO-100 和 SO-101 實作統一至更精簡的單一程式碼庫,亦支援雙手配置。減少重複程式碼,更易維護,機械人一樣出色。

CAN Bus 馬達

新增透過 CAN(Controller Area Network)bus 支援馬達控制器,為更高效能的致動器開啟新可能:

  • RobStride:適用於高扭矩應用的 CAN 馬達控制器。
  • Damiao:另一款 CAN bus 馬達控制器,擴大相容硬件範圍。

新增支援令 LeRobot 可驅動更多專業級致動器,不再侷限於現有的 Dynamixel 和 Feetech 生態系統。

策略:不斷擴大的模型庫

本次版本為 LeRobot 新增六種策略和技術,進一步拓展開源機械人學習的可能性。

Pi0-FAST:自回歸 VLA

Pi0-FAST 把自回歸視覺語言動作模型引入 LeRobot,並採用 FAST(頻域動作序列 tokenization)。與 Pi0 的 flow-matching 方法不同,Pi0-FAST 使用自回歸動作專家(以 Gemma 300M 為基礎)生成離散化動作 token,從而支援:

  • FAST tokenization:動作會轉為 token,供自回歸解碼使用,並設有專用的 FAST 動作 tokenizer。
  • 靈活解碼:可配置 temperature 和最大解碼步數,平衡速度和品質。
  • 相容 RTC:可與即時分塊配合使用(見下一節),提升推論反應速度。
lerobot-train \
  --policy.type=pi0_fast \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human \
  --policy.device=cuda

即時分塊(RTC)

即時分塊是 Physical Intelligence 提出的推論時技術,可令 flow-matching 策略的反應速度大幅提升。RTC 不會等整個動作區塊完成後才重新規劃,而是持續把新預測與正在執行的動作融合,產生更流暢、反應更靈敏的行為。

RTC 並非獨立策略,而是可加入現有 flow-matching 策略(Pi0 系列、SmolVLA 和 Diffusion)的強化功能。透過 --policy.rtc_config.enabled=true 配置。

對講求延遲的真實世界部署而言,這是重大突破。請參閲原始論文瞭解技術詳情,並參閲我們的説明文件。

Wall-X

Wall-X 是全新的 VLA 策略,以 flow-matching 動作預測為基礎,並採用 Qwen2.5-VL。它結合 Qwen2.5-VL 強大的視覺語言理解能力,以及用於跨具身機械人控制的 flow-matching 頭部。

pip install lerobot[wall_x]
lerobot-train \
  --policy.type=wall_x \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human

X-VLA

X-VLA 把以 Florence2 為基礎的 VLA 引入 LeRobot。X-VLA 建基於 Microsoft Florence-2 視覺語言模型,為 VLA 策略提供另一種骨幹網絡,擴大機械人學習可用的基礎模型種類。請參閲訓練指南瞭解設定步驟,並查看基礎模型。

pip install lerobot[xvla]
lerobot-train \
  --policy.type=xvla \
  --dataset.repo_id=lerobot/bimanual-so100-handover-cube

SARM

SARM(階段感知獎勵建模)處理機械人學習中最困難的問題之一:長時程任務。它不會在整個執行過程中使用單一全域線性進度訊號,而是以階段感知方式建模,分別預測任務階段和該階段內的進度。這令複雜多步驟操作任務的策略訓練更容易。請按照説明文件開始試用。

sarm-community

支援 PEFT

現在可以使用 LoRA 微調大型 VLA(以及其他 PEFT 方法),無須修改核心訓練流程。PEFT 配置位於策略層級,讓你只需使用少量運算資源,便可輕鬆按指定機械人和任務調整大型基礎模型。詳情請閲讀説明文件。

lerobot-train \
  --policy.type=pi0 \
  --policy.peft_config.use_peft=true \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human

資料集:更快錄製、更快訓練

本次版本大幅提升資料集流程效能,令資料收集和訓練都快得多。

串流影片編碼

以往錄製資料集時,每個片段結束後都要等待影片編碼完成。現在不用了。串流影片編碼會在擷取畫格時即時編碼,代表片段之間零等待時間。完成一個片段後即可立即開始下一個。

串流編碼亦支援自動偵測硬件編碼器。如果系統配備 GPU 加速影片編碼器,LeRobot 便會自動使用:

dataset = LeRobotDataset.create(
    repo_id="my/dataset",
    fps=30,
    video_backend="auto",       # Auto-detect best HW encoder
    streaming_encoding=True,    # Encode in real-time
)

串流編碼效能會因硬件和錄製設定(攝影機數量、解像度等)而顯著不同。啟用前請先閲讀串流影片編碼説明文件。

圖像訓練快 10 倍,編碼快 3 倍

在底層,我們修正了關鍵數據存取瓶頸,並全面改進圖像處理:

  • 圖像訓練快 10 倍:改善圖像轉換支援,並修正一直拖慢訓練的數據存取瓶頸。
  • 編碼快 3 倍:所有平台現在預設採用平行編碼,並會按資料集類型(影片或圖像)動態調整壓縮級別;串流模式除外。
  • 提升 CPU 使用率:錄製和建立資料集時更有效運用資源。

全新資料集工具

資料集編輯工具持續擴充:

  • 支援子任務:在片段中標註和查詢子任務,用於階層式任務學習。
  • 圖像轉影片:把現有圖像資料集轉成影片格式,以節省儲存空間;並支援每個影片檔包含多個片段。
  • 更多編輯操作:新增 info 操作用於檢視資料集、修改任務的工具,以及多項現有操作(分割、合併、編輯特徵)的修正。
  • 提供更多選項:可配置影片編碼格式、容差設定和 metadata 緩衝區大小,精細控制資料集建立流程。

EnvHub:從 Hub 載入環境

EnvHub 是在 LeRobot 使用模擬環境的新方式:直接從 Hugging Face Hub 載入。你不再需要在本機安裝環境套件並設定註冊,只需指定 Hub 儲存庫,LeRobot 便會處理所有事項:下載環境程式碼、向 Gymnasium 註冊,並供訓練和評估使用。

Hub 環境使用 HubEnvConfig,可下載並執行遠端 make_env 函數:

lerobot-train \
  --env.type=hub \
  --env.hub_path="username/my-custom-env" \
  --policy.type=act

這降低了與社羣分享自訂模擬環境的門檻。封裝環境並推送至 Hub,任何人便可用來訓練。請參閲説明文件瞭解詳情。以下是入門範例:LeIsaac x LeRobot EnvHub 教學。

NVIDIA IsaacLab-Arena

我們已整合 NVIDIA IsaacLab-Arena,為 LeRobot 帶來 GPU 加速模擬。IsaacLab-Arena 提供一系列以 NVIDIA Isaac Sim 運行的操作任務,支援大量並行環境實例,加快強化學習。整合內容包括專用前處理和後處理步驟,並與 LeRobot 訓練流程完全相容。請參閲説明文件。

程式碼庫:現代化基礎

本次版本令程式碼庫現代化:

  • Python 3.12+:LeRobot 現在最低要求為 Python 3.12,支援現代語法並提升效能。
  • Transformers v5:我們已遷移至 Hugging Face Transformers v5,跟上最新模型生態系統。
  • 3rd-party 第三方策略外掛:如同 v0.4.0 的硬件外掛系統,現在可把自訂策略註冊為可安裝套件:pip install lerobot_policy_mypolicy,再透過 --policy.type=mypolicy 使用,無須修改核心程式庫。請參閲説明文件瞭解做法。
  • 遠端 Rerun 視覺化:使用 Rerun 遙距檢視機械人遙測資料,並支援壓縮圖像,以節省串流頻寬。
  • 改善安裝流程:新增 uv 安裝指引、釐清設定步驟,並改善相依套件管理。現已清晰列出逐步安裝流程。
  • 説明文件版本管理:文件現已按版本管理,方便你找到與已安裝版本相符的説明。
  • 提升 PyTorch 版本:更新 PyTorch 版本限制,以支援 NVIDIA Blackwell GPU。

社羣和生態系統

  • Discord 現代化:改進最活躍的社羣中心,重新整理頻道分類。
  • GitHub README、範本和自動標籤:更新 README、新增 issue 和 PR 範本及貢獻指南,並自動為工單加上標籤,讓所有人更容易參與。
  • 獲 ICLR 2026 接納的論文:LeRobot 論文已獲 ICLR 2026 接納!
  • 更新 LeRobot Visualizer:視覺化工具經過改版,新增資料集視覺化徽章,並改善功能。立即查看!
  • LeRobot Annotation Studio:一個 Hugging Face Space,方便你以自然語言為資料集的每個時刻加上子任務標註。立即查看!

visualizer

總結

除了上述主要功能,v0.5.0 還包含數百項錯誤修正、文件改善、CI/CD 強化,以及整個程式碼庫的易用性改進。從更完善的類型檢查到更穩健的測試基礎設施,我們正投資於基礎建設,令 LeRobot 在擴展時仍可靠且易於維護。

衷心感謝社羣每一位成員,包括貢獻者、用戶和合作夥伴,協助 LeRobot 發展至今。每份錯誤報告、PR 和討論,都令專案變得更好。

敬請期待更多消息 🤗 按此處開始使用! – LeRobot 團隊 ❤️

重大驚喜即將揭曉,敬請期待!👕

來源:Hugging Face Blog · huggingface.co