LeRobot v0.6.0 發佈,新增世界模型策略、六項模擬基準及部署 CLI
LeRobot v0.6.0: Imagine, Evaluate, Improve
LeRobot v0.6.0 新增世界模型策略、統一六項模擬基準的 lerobot-eval,以及用於部署和收集人工修正資料的 lerobot-rollout CLI。
版本把策略部署、人工接管修正與資料回訓串成可重複流程,並以統一 CLI 整合六項模擬基準,呈現機械人學習由實作到評估的工作流。
這個新版本旨在完成機械人學習循環:先想像未來再行動的策略、能判斷機械人何時成功的獎勵模型、可把失敗轉化為訓練數據的部署 CLI,以及用來全面評估的六項新模擬基準。新版本亦加入深度感測、由 VLM 驅動的數據集標註、自訂影片編碼、在 HF Jobs 上進行雲端訓練,以及大幅精簡的安裝方式。
重點摘要
LeRobot v0.6.0 引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA),讓模型學會想像未來;一系列新 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT);以及全新的獎勵模型 API(Robometer、TOPReward)。新版本透過 lerobot-eval 統一提供六項新模擬基準,新增支援 DAgger 式人在循環中修正的 lerobot-rollout CLI、FSDP 訓練和 HF Jobs 雲端訓練。數據集加入深度支援、自動語言標註流程、自訂影片編碼和最高 2 倍的數據載入速度,整體安裝亦更精簡。
目錄
- LeRobot v0.6.0:想像、評估、改進
世界模型:能想像的策略
機械人領域正在探討一個重要問題:世界模型對機械人策略是否真的有幫助?v0.6.0 為 LeRobot 帶來三種策略,協助回答這個問題。它們在訓練期間都會學習想像未來,但各自採用不同方法,令想像能力的成本可負擔。
VLA-JEPA
VLA-JEPA 以 Qwen3-VL-2B 為基礎,訓練精簡的 VLA 一邊學習行動,一邊在潛在空間預測未來:訓練期間,JEPA 世界模型必須根據模型自身採取的動作,預測接下來的影格。關鍵在於推論時會移除世界模型,因此可在不增加任何推論成本的情況下取得世界模型監督。Hub 上有三個可直接使用的 checkpoint,其中包括以 DROID 預訓練、可供微調的基礎模型:
lerobot-train \
--policy.path=lerobot/VLA-JEPA-Pretrain \
--dataset.repo_id=${HF_USER}/my_dataset \
--policy.repo_id=${HF_USER}/my_finetuned_policy
詳情請參閲 VLA-JEPA 文件及論文。
LingBot-VA
LingBot-VA 更進一步:這是一個自回歸影片-動作模型,會逐個區塊一同預測未來影片和動作,並把真實觀察結果輸入回模型,讓其想像以現實為基礎。你甚至可以儲存機械人的想像結果(--policy.save_predicted_video=true),並與實際發生的情況比較。推論可在單張 24–32 GB GPU 上執行。技術詳情請參閲文件及論文。
FastWAM
FastWAM 以其論文標題提出問題:世界動作模型是否需要在測試時想像未來?它在單一網絡中結合約 5B 參數的影片生成專家與精簡動作專家,令模型真的學會想像自己的 rollout。推論時則完全跳過想像步驟,直接對動作區塊去噪。可從 lerobot/fastwam_base 微調,詳情請參閲文件。
VLA:模型庫持續擴大
GR00T N1.7
我們將 NVIDIA GR00T 整合升級至最新開放版本的跨本體基礎模型 GR00T N1.7。N1.7 以 Cosmos-Reason2-2B(基於 Qwen3-VL)取代之前的 VLM,並連接 flow matching 動作 head;我們的整合亦已與 NVIDIA 原版 Isaac-GR00T 實作完成 parity 測試:輸入相同,輸出也相同。Flash-attention 現在是選用功能,因此直接執行 pip install 'lerobot[groot]' 即可;你亦可直接載入NVIDIA 發布的 checkpoint。
LeRobot 中的 GR00T N1.7 已取代 N1.5。如需使用 N1.5,請固定版本為
lerobot==0.5.1。
MolmoAct2
Allen Institute for AI 的視覺-語言-動作模型 MolmoAct2 現已移植至 LeRobot,並涵蓋完整生命週期:微調(全量或 LoRA)、評估和真實機械人部署。現成 checkpoint 已內置校準修正,可在 SO-100/101 上直接以 zero-shot 方式執行:
lerobot-rollout \
--policy.path=lerobot/MolmoAct2-SO100_101-LeRobot \
--robot.type=so100_follower \
--robot.port=/dev/ttyACM0 \
--robot.cameras='{cam0: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, cam1: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}' \
--task="pick up the red cube" --duration=30
bf16 推論約需 12 GB,LoRA 微調則可在單張 24 GB GPU 上完成。完整部署指南請參閲MolmoAct2 文件。
EO-1
EO-1 是一個在上游以交錯視覺-文字-動作數據預訓練的 VLA,現已加入 LeRobot。它以 Qwen2.5-VL-3B 為骨幹,配上 flow matching 動作 head,並由論文作者之一貢獻。使用標準 lerobot-train 工作流程及 --policy.type=eo1 即可訓練。詳情請參閲文件和論文。
Multitask DiT
Multitask Diffusion Transformer 策略把 TRI Large Behavior Models 的方案帶到 LeRobot:這是一個約 450M 參數的擴散 Transformer,依據 CLIP 視覺和語言 embedding 作條件輸入,讓單一模型透過自然語言指令學習多項任務。它支援 diffusion 和 flow matching 兩種目標函數,規模亦小到可以自行訓練。詳情請參閲文件。
EVO1
VLA 不一定要很大。EVO1 的策略只有 0.77B 個參數,採用 InternVL3-1B 骨幹和 flow matching 動作 head,體積小巧,可在中階 GPU 上微調並即時執行。它開箱即支援兩階段微調和 Real-Time Chunking。請參閲EVO1 文件及論文。
獎勵模型:判斷機械人何時成功
成功偵測和進度估算,是機械人學習循環中尚缺的部分;v0.6.0 為它們提供了位置。LeRobot 現在提供統一的獎勵模型 API(lerobot.rewards),與策略 API 對應;單一介面下有四個獎勵模型:HIL-SERL 獎勵分類器、SARM,以及兩項新模型:
Robometer
Robometer 是預訓練的通用獎勵模型:將 lerobot/Robometer-4B 指向任何 LeRobot 數據集,就能根據原始影片和語言指令評分任務進度與成功情況,無須針對特定任務訓練。它以 Qwen3-VL-4B 為基礎,透過超過一百萬條機械人軌跡數據集中的軌跡比較進行訓練(RSS 2026 論文)。
TOPReward
TOPReward 完全採用 zero-shot 方式:完全不需要獎勵權重。它包裝現成 VLM(Qwen3-VL),讀取在給定軌跡影片和任務指令時,token 「True」的對數機率。任何能力足夠的 VLM 都可成為獎勵函數。
兩者都附有標註指令碼,可將逐影格進度曲線寫入數據集,供獎勵感知行為克隆(RA-BC)、數據集品質檢查和進度疊加影片使用。請參閲 Robometer 及 TOPReward 文件。
數據集:載入更快、內容更豐富
編碼方式,由你決定
錄製影片不再受限於單一寫死的 codec。新的 --dataset.rgb_encoder.* 選項開放完整編碼設定(codec、品質、像素格式、GOP、預設值);vcodec=auto 會先偵測 NVENC、VideoToolbox、VAAPI 和 QSV 等硬件編碼器,再回退至預設軟件 AV1 編碼器。對現有數據集,只需一個命令即可重新編碼全部內容:
lerobot-edit-dataset \
--repo_id ${HF_USER}/my_dataset \
--operation.type reencode_videos \
--operation.rgb_encoder.vcodec h264 \
--operation.rgb_encoder.crf 23
完整詳情請參閲影片編碼文件。
端到端深度支援
接上 Intel RealSense,設定 use_depth: true,LeRobot 便會端到端記錄深度圖:以毫米為單位擷取,與 RGB 相機影像一併壓縮成精簡的 12-bit 深度影片串流,並在訓練時解碼回實際物理單位。錄製期間及使用 lerobot-dataset-viz 時都可即時顯示深度資料,並支援 SO-100/101、Koch、OpenArm、reBot、Unitree G1 等裝置。
大規模語言標註
你的數據集不再只是每個 episode 一條任務字串。LeRobot 數據集現在原生儲存豐富的語言標註(附時間戳記的子任務、計劃、記憶、修正、語音及逐相機 VQA 配對);全新的 lerobot-annotate CLI 會使用觀察各 episode 的 VLM 自動補上標註:
lerobot-annotate \
--repo_id=${HF_USER}/my_dataset \
--new_repo_id=${HF_USER}/my_dataset_annotated \
--vlm.model_id=Qwen/Qwen2.5-VL-7B-Instruct \
--push_to_hub=true
之後,YAML recipe 層會在抽樣時將這些標註轉成聊天格式的訓練訊息,正是明日長時程、可對話機械人策略要學習的數據。使用 HF Jobs 即可擴大規模;詳情請參閲標註流程文件。
數據載入速度提升最高 2 倍
影片數據集訓練現在開箱即最高快約 2 倍:多相機影格會平行解碼,dataloader worker 傳遞精簡的 uint8 影格(程序之間的記憶體用量減少 4 倍),而持續運作的 worker 會在不同 epoch 間保留解碼器快取。載入大型數據集的一部分(episodes=[...])由數分鐘縮短至數毫秒(我們的基準測試由 275 秒降至 0.06 秒)。抽樣現在亦具決定性且可續傳,因此中斷的訓練可從完全相同的樣本位置重新開始。
基準測試:一個 CLI 評估所有項目
v0.5.0 奠定 LeRobot 作為 VLA 評估中心的定位;v0.6.0 則透過新增六項模擬基準,令這個定位真正落實。所有項目都可使用同一個 lerobot-eval CLI 執行,各自附有文件頁面、Docker 映像,以及已在 CI 通過 smoke test 的 SmolVLA 基準 checkpoint:
- LIBERO-plus 透過約 10,000 個 LIBERO 擾動變體,在七個維度對 VLA 進行壓力測試,從光線、相機視角到改寫指令皆包括在內,讓你知道策略何時失效。
- RoboTwin 2.0 在 SAPIEN 上涵蓋 50 項雙手操作任務,並採用大幅 domain randomization;Hub 上另有超過 100k 條可直接用於訓練的軌跡。
- RoboCasa365 在可移動機械臂上涵蓋 365 項廚房任務及 2,500 個程序生成的廚房,是我們目前任務範圍最大的基準。
- RoboCerebra 透過長時程行為 episode 進行評估:每個 episode 會在語言指示的中間步驟下串連 3 至 6 個子目標;此外亦提供包含 6,660 個 episode 的數據集。
- RoboMME 是記憶力測試:你的策略能否計算重複次數、追蹤隱藏物件,並模仿示範程序?測試涵蓋 4 個記憶套件中的 16 項任務。
- VLABench 測試操作任務中的知識和推理能力,從物理問題到由頭到尾沖泡咖啡等複合任務均有涵蓋。
lerobot-eval \
--policy.path=lerobot/smolvla_robotwin \
--env.type=robotwin \
--env.task=beat_block_hammer \
--eval.n_episodes=100 --eval.batch_size=1
模擬器後端各有指定系統相依項目和安裝步驟;每個文件頁面都提供確切安裝方法。每項基準亦附有現成 Docker 映像,方便你略過環境設定。
加上 LIBERO、Meta-World 和 NVIDIA IsaacLab-Arena,現在已有九個基準系列集中於同一平台;全新的新增基準指南亦詳細説明如何接入自己的基準。評估速度也更快:平行評估現在預設使用非同步向量化環境,基準測試顯示速度最多提升 2 倍。
訓練與推論
lerobot-rollout:部署現在有專屬 CLI
以往要部署策略,只能在 lerobot-record 上用取巧方式處理。新的 lerobot-rollout CLI 將部署變成獨立工作流程,支援可插拔策略和推論後端(包括適用於速度較慢 VLA 的 Real-Time Chunking)。base 策略只負責執行策略。sentry 會持續錄製、輪替 episode,並同步上載至 Hub。highlight 會保留環形緩衝區,按鍵時儲存最後 N 秒,避免錯過重要時刻。episodic 會仿照傳統 episode/重設錄製流程。至於 dagger,則會把部署轉化為數據收集。
使用 DAgger 策略時,你可以觀察策略運作,在出錯一刻按下按鍵(或 USB 腳踏),接管 leader arm 錄下修正,再交還控制權。接管前,已驅動的 leader 會移動至 follower 的姿勢,令交接過程不會突然跳動。每個修正影格都會標上 intervention 旗標,產生的數據集可直接用於下一輪微調:
lerobot-rollout \
--strategy.type=dagger \
--policy.path=${HF_USER}/my_policy \
--robot.type=so100_follower \
--robot.port=/dev/ttyACM0 \
--teleop.type=so101_leader \
--teleop.port=/dev/ttyACM1 \
--dataset.repo_id=${HF_USER}/dagger_corrections \
--dataset.single_task="Grasp the block"
部署、收集修正、微調、重複:機械人學習飛輪現在只需一個 CLI 旗標即可運作。請參閲部署文件。
FSDP:訓練比 GPU 更大的模型
機械人基礎模型的規模已超出單張 GPU 的負荷。LeRobot 訓練現在透過 Accelerate 支援 FSDP(全分片數據並行):參數、梯度和最佳化器狀態會分散至多張 GPU,checkpoint 則會重新整合成一般單一檔案 model.safetensors,載入方式與其他策略相同。你甚至可以在不同 GPU 數目上繼續 FSDP 訓練。詳情請參閲多 GPU 訓練文件。
使用 HF Jobs 進行雲端訓練
沒有 GPU?沒問題。現在只需加入一個旗標,同一個 lerobot-train 命令便可在雲端執行:
lerobot-train \
--dataset.repo_id=${HF_USER}/so101_test \
--policy.type=act \
--policy.repo_id=${HF_USER}/my_policy \
--job.target=a10g-small
如有需要,LeRobot 會先將本機數據集推送至私人 Hub 儲存庫,再提交 Job、將日誌串流至終端機,並在結束時把訓練好的策略推送至 Hub。透過 --job.target 可選擇由 T4 至 8x H200 的硬件(按用量計費)。查看文件
程式碼庫更精簡、更整潔
- 現在執行
pip install lerobot真正變得輕量,基本相依項目約減少 40%。其餘功能由按功能劃分的額外套件([training]、[core_scripts]、[evaluation]等)提供;缺少相依項目時,錯誤訊息會準確指出要加入哪個額外套件。如果只使用 LeRobot 數據集,便不再需要安裝硬件相關相依項目 ;) - 支援的 PyTorch 版本範圍擴展至 2.7–2.11;Linux 使用
uv安裝時,CUDA 12.8 wheels 會預先固定版本。--policy.dtype=bfloat16現在會透過 Accelerate 真正執行混合精度訓練。 - 已提交的
uv.lock是 CI、Docker 和開發環境的權威相依規格;文件亦為每個步驟提供uv安裝方法,包括只需一個旗標即可選擇 CUDA wheel。 --display_mode=foxglove會將遙距操作、錄製和 rollout 串流至Foxglove,這是機械人領域廣泛使用的視覺化工具。它支援遠端設定;lerobot-dataset-viz亦加入可拖曳播放位置的數據集回放功能。- 可透過 pip 安裝的
lerobot_env_*套件現在會自動註冊環境。外掛系統涵蓋全部五種元件:機械人、相機、遙距操作器、策略和環境。 - 錄製期間的鍵盤控制現在可在 Wayland、SSH、無頭設備和 macOS 上運作,無須取得 Accessibility 權限。
完整清單和重大變更的遷移指引,請參閲版本説明。
社羣與生態系統
- LeLab 將整個 LeRobot 工作流程(校準、遙距操作、錄製、本機或透過 HF Jobs 訓練,以及部署)放入瀏覽器介面,無須 CLI。目前支援 SO-ARM101。立即試用!
- Isaac Teleop 是與 NVIDIA 團隊合作的成果,可透過 CloudXR/OpenXR 使用 VR 控制器操作 SO-101,採用NVIDIA Isaac Teleop 技術堆疊。詳情請參閲文件。
- 全新的運算硬件指南解答每位新用戶都會問的兩個問題:需要哪款 GPU?訓練要多久?指南列出各策略系列實測的 VRAM 範圍,以及從 RTX 4090 到 4x H100 的參考訓練時間。
- 重新撰寫的新增策略指南説明如何提交自己的策略;無論直接加入程式碼庫,還是以外掛套件形式提供,都無須提交 PR。
最後感想
除了上述重點功能外,v0.6.0 亦包含數以百計的錯誤修正、文件改善及程式碼庫各處的易用性升級,從更智能的預設值到更可靠的 CI 都有涵蓋。
我們衷心感謝整個社羣。這個版本匯集來自學術界、業界和業餘愛好者團隊的貢獻,他們選擇以 LeRobot 作為模型和基準的家。每個 PR 和錯誤報告都在推動開源機械人技術向前發展。
敬請期待更多消息 🤗 由此處開始! – LeRobot 團隊 ❤️
來源:Hugging Face Blog · huggingface.co






