LeRobot 發佈 v0.5.0,擴展機械人硬件、策略模型及資料與模擬功能
LeRobot v0.5.0: Scaling Every Dimension
LeRobot 團隊發佈 v0.5.0,擴展機械人硬件、策略模型、資料集處理及模擬環境支援。版本加入 Unitree G1 人形機械人完整支援(包括全身控制)、Pi0-FAST 自回歸 VLA 及 Real-Time Chunking,並新增 EnvHub 以從 Hugging Face Hub 載入模擬環境,亦整合 NVIDIA IsaacLab-Arena。
版本把人形機械人控制、即時推理、模擬環境和資料提速納入同次更新,呈現 LeRobot 從硬件接入至訓練工具鏈的擴展範圍。
自 v0.4.0 以來,我們已合併超過 200 個 PR,並迎來超過 50 位新貢獻者。LeRobot v0.5.0 是至今最大規模的版本,一次朝各個方向擴展:支援更多機械人(包括首款人形機械人)、更多策略(包括自回歸 VLA 再度登場)、更快的資料集、可直接從 Hub 載入的模擬環境,以及現代化程式碼庫,並以 Python 3.12 和 Transformers v5 運行。無論你是在模擬環境訓練策略,還是部署到真實硬件,v0.5.0 都有適合你的功能。
簡介
LeRobot v0.5.0 新增完整的 Unitree G1 人形機械人支援(全身控制模型)、全新策略(包括 Pi0-FAST 自回歸 VLA,以及讓推論更靈敏的即時分塊),並加入串流影片編碼,免除錄製片段之間的等待時間。這個版本亦推出 EnvHub,可從 Hugging Face Hub 載入模擬環境;整合 NVIDIA IsaacLab-Arena;並透過 Python 3.12+、Transformers v5 和第三方策略外掛,大幅現代化程式碼庫。
目錄
硬件:支援歷來最多機械人
LeRobot v0.5.0 大幅擴展支援的硬件,從機械臂和移動機械人到完整人形機械人,一應俱全。
Unitree G1 人形機械人
本次版本最大硬件新增功能:完整支援 Unitree G1 人形機械人。這是 LeRobot 首次整合人形機械人,功能亦相當全面:
- 移動:在環境中行走、導航和移動。
- 操作:執行靈巧的物件操作任務。
- 遙距操控:透過直觀的遙距操控介面控制 G1。
- 全身控制(WBC):同時協調移動和操作,完成複雜的真實世界任務。
G1 整合代表 LeRobot 朝通用機械人技術邁進一大步,由桌面機械臂擴展至具身 AI 全身控制。請按照説明文件親自試用。
OpenArm 和 OpenArm Mini
我們新增對 OpenArm 機械臂和配套的 OpenArm Mini 遙距操作裝置的支援。OpenArm 是具備完整 LeRobot 整合功能的機械臂,而 Mini 則是自然配套的遙距操作裝置。兩者均支援雙手機械人配置,可組成雙臂系統,執行更複雜的操作任務。詳情請參閲説明文件。
更多機械人
硬件生態系統持續擴展:
- Earth Rover:首次整合移動機械人,讓 LeRobot 支援戶外導航和地面機械人。
- OMX Robot:全新機械臂,支援可配置夾爪設定和校準。
- SO-100/SO-101 整合:我們把 SO-100 和 SO-101 實作統一至更精簡的單一程式碼庫,亦支援雙手配置。減少重複程式碼,更易維護,機械人一樣出色。
CAN Bus 馬達
新增透過 CAN(Controller Area Network)bus 支援馬達控制器,為更高效能的致動器開啟新可能:
- RobStride:適用於高扭矩應用的 CAN 馬達控制器。
- Damiao:另一款 CAN bus 馬達控制器,擴大相容硬件範圍。
新增支援令 LeRobot 可驅動更多專業級致動器,不再侷限於現有的 Dynamixel 和 Feetech 生態系統。
策略:不斷擴大的模型庫
本次版本為 LeRobot 新增六種策略和技術,進一步拓展開源機械人學習的可能性。
Pi0-FAST:自回歸 VLA
Pi0-FAST 把自回歸視覺語言動作模型引入 LeRobot,並採用 FAST(頻域動作序列 tokenization)。與 Pi0 的 flow-matching 方法不同,Pi0-FAST 使用自回歸動作專家(以 Gemma 300M 為基礎)生成離散化動作 token,從而支援:
- FAST tokenization:動作會轉為 token,供自回歸解碼使用,並設有專用的 FAST 動作 tokenizer。
- 靈活解碼:可配置 temperature 和最大解碼步數,平衡速度和品質。
- 相容 RTC:可與即時分塊配合使用(見下一節),提升推論反應速度。
lerobot-train \
--policy.type=pi0_fast \
--dataset.repo_id=lerobot/aloha_sim_insertion_human \
--policy.device=cuda
即時分塊(RTC)
即時分塊是 Physical Intelligence 提出的推論時技術,可令 flow-matching 策略的反應速度大幅提升。RTC 不會等整個動作區塊完成後才重新規劃,而是持續把新預測與正在執行的動作融合,產生更流暢、反應更靈敏的行為。
RTC 並非獨立策略,而是可加入現有 flow-matching 策略(Pi0 系列、SmolVLA 和 Diffusion)的強化功能。透過 --policy.rtc_config.enabled=true 配置。
對講求延遲的真實世界部署而言,這是重大突破。請參閲原始論文瞭解技術詳情,並參閲我們的説明文件。
Wall-X
Wall-X 是全新的 VLA 策略,以 flow-matching 動作預測為基礎,並採用 Qwen2.5-VL。它結合 Qwen2.5-VL 強大的視覺語言理解能力,以及用於跨具身機械人控制的 flow-matching 頭部。
pip install lerobot[wall_x]
lerobot-train \
--policy.type=wall_x \
--dataset.repo_id=lerobot/aloha_sim_insertion_human
X-VLA
X-VLA 把以 Florence2 為基礎的 VLA 引入 LeRobot。X-VLA 建基於 Microsoft Florence-2 視覺語言模型,為 VLA 策略提供另一種骨幹網絡,擴大機械人學習可用的基礎模型種類。請參閲訓練指南瞭解設定步驟,並查看基礎模型。
pip install lerobot[xvla]
lerobot-train \
--policy.type=xvla \
--dataset.repo_id=lerobot/bimanual-so100-handover-cube
SARM
SARM(階段感知獎勵建模)處理機械人學習中最困難的問題之一:長時程任務。它不會在整個執行過程中使用單一全域線性進度訊號,而是以階段感知方式建模,分別預測任務階段和該階段內的進度。這令複雜多步驟操作任務的策略訓練更容易。請按照説明文件開始試用。
支援 PEFT
現在可以使用 LoRA 微調大型 VLA(以及其他 PEFT 方法),無須修改核心訓練流程。PEFT 配置位於策略層級,讓你只需使用少量運算資源,便可輕鬆按指定機械人和任務調整大型基礎模型。詳情請閲讀説明文件。
lerobot-train \
--policy.type=pi0 \
--policy.peft_config.use_peft=true \
--dataset.repo_id=lerobot/aloha_sim_insertion_human
資料集:更快錄製、更快訓練
本次版本大幅提升資料集流程效能,令資料收集和訓練都快得多。
串流影片編碼
以往錄製資料集時,每個片段結束後都要等待影片編碼完成。現在不用了。串流影片編碼會在擷取畫格時即時編碼,代表片段之間零等待時間。完成一個片段後即可立即開始下一個。
串流編碼亦支援自動偵測硬件編碼器。如果系統配備 GPU 加速影片編碼器,LeRobot 便會自動使用:
dataset = LeRobotDataset.create(
repo_id="my/dataset",
fps=30,
video_backend="auto", # Auto-detect best HW encoder
streaming_encoding=True, # Encode in real-time
)
串流編碼效能會因硬件和錄製設定(攝影機數量、解像度等)而顯著不同。啟用前請先閲讀串流影片編碼説明文件。
圖像訓練快 10 倍,編碼快 3 倍
在底層,我們修正了關鍵數據存取瓶頸,並全面改進圖像處理:
- 圖像訓練快 10 倍:改善圖像轉換支援,並修正一直拖慢訓練的數據存取瓶頸。
- 編碼快 3 倍:所有平台現在預設採用平行編碼,並會按資料集類型(影片或圖像)動態調整壓縮級別;串流模式除外。
- 提升 CPU 使用率:錄製和建立資料集時更有效運用資源。
全新資料集工具
資料集編輯工具持續擴充:
- 支援子任務:在片段中標註和查詢子任務,用於階層式任務學習。
- 圖像轉影片:把現有圖像資料集轉成影片格式,以節省儲存空間;並支援每個影片檔包含多個片段。
- 更多編輯操作:新增
info操作用於檢視資料集、修改任務的工具,以及多項現有操作(分割、合併、編輯特徵)的修正。 - 提供更多選項:可配置影片編碼格式、容差設定和 metadata 緩衝區大小,精細控制資料集建立流程。
EnvHub:從 Hub 載入環境
EnvHub 是在 LeRobot 使用模擬環境的新方式:直接從 Hugging Face Hub 載入。你不再需要在本機安裝環境套件並設定註冊,只需指定 Hub 儲存庫,LeRobot 便會處理所有事項:下載環境程式碼、向 Gymnasium 註冊,並供訓練和評估使用。
Hub 環境使用 HubEnvConfig,可下載並執行遠端 make_env 函數:
lerobot-train \
--env.type=hub \
--env.hub_path="username/my-custom-env" \
--policy.type=act
這降低了與社羣分享自訂模擬環境的門檻。封裝環境並推送至 Hub,任何人便可用來訓練。請參閲説明文件瞭解詳情。以下是入門範例:LeIsaac x LeRobot EnvHub 教學。
NVIDIA IsaacLab-Arena
我們已整合 NVIDIA IsaacLab-Arena,為 LeRobot 帶來 GPU 加速模擬。IsaacLab-Arena 提供一系列以 NVIDIA Isaac Sim 運行的操作任務,支援大量並行環境實例,加快強化學習。整合內容包括專用前處理和後處理步驟,並與 LeRobot 訓練流程完全相容。請參閲説明文件。
程式碼庫:現代化基礎
本次版本令程式碼庫現代化:
- Python 3.12+:LeRobot 現在最低要求為 Python 3.12,支援現代語法並提升效能。
- Transformers v5:我們已遷移至 Hugging Face Transformers v5,跟上最新模型生態系統。
- 3rd-party 第三方策略外掛:如同 v0.4.0 的硬件外掛系統,現在可把自訂策略註冊為可安裝套件:
pip install lerobot_policy_mypolicy,再透過--policy.type=mypolicy使用,無須修改核心程式庫。請參閲説明文件瞭解做法。 - 遠端 Rerun 視覺化:使用 Rerun 遙距檢視機械人遙測資料,並支援壓縮圖像,以節省串流頻寬。
- 改善安裝流程:新增
uv安裝指引、釐清設定步驟,並改善相依套件管理。現已清晰列出逐步安裝流程。 - 説明文件版本管理:文件現已按版本管理,方便你找到與已安裝版本相符的説明。
- 提升 PyTorch 版本:更新 PyTorch 版本限制,以支援 NVIDIA Blackwell GPU。
社羣和生態系統
- Discord 現代化:改進最活躍的社羣中心,重新整理頻道分類。
- GitHub README、範本和自動標籤:更新 README、新增 issue 和 PR 範本及貢獻指南,並自動為工單加上標籤,讓所有人更容易參與。
- 獲 ICLR 2026 接納的論文:LeRobot 論文已獲 ICLR 2026 接納!
- 更新 LeRobot Visualizer:視覺化工具經過改版,新增資料集視覺化徽章,並改善功能。立即查看!
- LeRobot Annotation Studio:一個 Hugging Face Space,方便你以自然語言為資料集的每個時刻加上子任務標註。立即查看!
總結
除了上述主要功能,v0.5.0 還包含數百項錯誤修正、文件改善、CI/CD 強化,以及整個程式碼庫的易用性改進。從更完善的類型檢查到更穩健的測試基礎設施,我們正投資於基礎建設,令 LeRobot 在擴展時仍可靠且易於維護。
衷心感謝社羣每一位成員,包括貢獻者、用戶和合作夥伴,協助 LeRobot 發展至今。每份錯誤報告、PR 和討論,都令專案變得更好。
敬請期待更多消息 🤗 按此處開始使用! – LeRobot 團隊 ❤️
重大驚喜即將揭曉,敬請期待!👕
來源:Hugging Face Blog · huggingface.co

