跳到正文
Hugging Face Blog·· 2025-10-24精選AI 評分75

LeRobot v0.4.0 升級開源機械人學習工具鏈

LeRobot v0.4.0: Supercharging OSS Robot Learning

AI 導讀

LeRobot 發佈 v0.4.0,加入 Datasets v3.0、VLA 模型 PI0 和 PI0.5、GR00T N1.5,以及硬件插件系統。Datasets v3.0 採用分塊 episode 格式並支援串流,可處理 OXE 級(> 400GB)資料集。

推薦理由

資料集規模化、模擬評測、多 GPU 訓練和硬件插件同時更新,勾勒出 LeRobot 從資料處理到機械人控制的工具鏈演進。

正文 · 繁體中文

我們很高興宣佈 LeRobot 多項重大進展,令開源機械人學習比以往更強大、更具擴展性,也更容易使用!從全面改造的資料集、靈活的編輯工具,到全新的模擬環境及突破性的硬件插件系統,LeRobot 持續演進,滿足前沿具身 AI 的需求。

重點摘要

LeRobot v0.4.0 為開源機械人技術帶來重大升級,推出可擴展的 Datasets v3.0、PI0.5 和 GR00T N1.5 等強大新 VLA 模型,以及方便整合硬件的新插件系統。此版本亦新增 LIBERO 和 Meta-World 模擬支援、簡化多 GPU 訓練流程,並推出全新的 Hugging Face 機械人學習課程。

目錄

資料集:為下一波大規模機械人學習作好準備

我們全面改造了資料集基礎設施,推出LeRobotDataset v3.0,採用全新的分塊回合格式並支援串流。這對處理OXE(Open X Embodiment)和Droid等大型資料集是重大突破,帶來前所未有的效率和擴展能力。

Datasets v3.0 有甚麼新功能?

  • 支援大規模資料的分塊回合:新格式支援 OXE 級別(> 400GB)的資料集,實現前所未有的擴展能力。
  • 高效影片儲存與串流:載入更快,影片資料串流更流暢。
  • 統一 Parquet 中繼資料:告別散落各處的 JSON 檔!所有回合中繼資料現在都存放在統一、結構化的 Parquet 檔案中,更易管理和存取。
  • 載入更快、效能更佳:資料集初始化時間大幅縮短,記憶體使用亦更有效率。

我們亦提供了轉換指令碼,方便把現有 v2.1 資料集遷移至全新的 v3.0 格式,確保順利轉換。詳情請參閲我們之前的網誌文章。開源機械人技術持續進步!

新功能:資料集編輯工具!

使用 LeRobot 資料集現在方便得多!我們推出了一套強大的工具,讓你靈活編輯資料集。

透過全新的 lerobot-edit-dataset CLI,你現在可以:

  • 從現有資料集中刪除指定回合。
  • 按比例或回合索引拆分資料集。
  • 輕鬆新增或移除特徵。
  • 把多個資料集合併成一個統一集合。
# Merge multiple datasets into a single dataset.
lerobot-edit-dataset \
    --repo_id lerobot/pusht_merged \
    --operation.type merge \
    --operation.repo_ids "['lerobot/pusht_train', 'lerobot/pusht_val']"

# Delete episodes and save to a new dataset (preserves original dataset)
lerobot-edit-dataset \
    --repo_id lerobot/pusht \
    --new_repo_id lerobot/pusht_after_deletion \
    --operation.type delete_episodes \
    --operation.episode_indices "[0, 2, 5]"

這些工具簡化了工作流程,讓你可以以前所未有的方式整理和最佳化機械人資料集。更多詳情請參閲文件!

模擬環境:擴展訓練場景

我們持續擴展 LeRobot 的模擬能力,為機械人策略提供更豐富、更多元的訓練環境。

libero-demo

支援 LIBERO

LeRobot 現已正式支援LIBERO。這是視覺-語言-動作(VLA)策略中規模最大的開放基準測試之一,包含超過 130 項任務!這是建立 VLA 首選評估平台的重要一步,讓整合更簡單,並提供統一環境以評估任何 VLA 策略。

立即查看LIBERO 資料集和我們的文件,開始使用!

整合 Meta-World

我們已整合Meta-World。這是一項用於測試機械人操作多任務能力和泛化能力的頂尖基準測試,包含超過 50 種不同的操作任務。配合標準化使用 gymnasium ≥ 1.0.0 和 mujoco ≥ 3.0.0,此整合確保可設定確定性隨機種子,並提供穩健的模擬基礎。

立即使用Meta-World 資料集訓練你的策略!

程式碼庫:人人皆可使用的強大工具

我們正令機械人控制更靈活、更容易使用,開創資料收集和模型訓練的新可能。

全新資料處理流程

把資料從機械人傳送至模型(並傳回!)並不容易。原始感測器資料、關節位置和語言指令,都與 AI 模型預期的格式不同。模型需要在正確裝置上使用經正規化、分批處理的張量,而機械人硬件則需要特定的動作指令。

我們很高興推出Processors:一個全新、模組化的流程,充當資料的通用翻譯器。你可以把它想像成裝配線,每個 ProcessorStep 負責一項特定工作,例如正規化、文字分詞,或把資料移至 GPU。

你可以把這些步驟串接成強大的流程,妥善管理資料流。我們甚至建立了兩種不同類型,讓使用更簡單:

  • PolicyProcessorPipeline:專為模型而設,能高效處理分批張量,用於高效能訓練和推論。
  • RobotProcessorPipeline:專為硬件而設,處理個別資料點(例如單一觀察或動作),用於即時機械人控制。
# Get environment state
obs = robot.get_observation()

# Rename, Batch, Normalize, Tokenize, Move Device ... 
obs_processed = preprocess(obs)

# Run inference
action = model.select_action(obs_processed)

# Unnormalize, Move Device ...
action_processed = postprocess(action)

# Execute action
robot.send_action(action_processed)

這個系統讓任何策略都能輕鬆連接任何機械人,確保資料在每個步驟都採用最合適的格式。詳情請參閲Processors 介紹文件。

輕鬆進行多 GPU 訓練

大型機械人策略的訓練現在快得多!我們已把 Accelerate直接整合至訓練流程,讓你只需一個指令,便能輕鬆在多個 GPU 上擴展實驗:

accelerate launch \
  --multi_gpu \
  --num_processes=$NUM_GPUs \
  $(which lerobot-train) \
  --dataset.repo_id=${HF_USER}/my_dataset \
  --policy.repo_id=${HF_USER}/my_trained_policy \
  --policy.type=$POLICY_TYPE \
  # ... More training configuration flags

無論你是在微調策略,還是執行大規模實驗,LeRobot 現在都會代你處理分散式訓練的所有複雜工作。這代表訓練時間可以大幅縮短:使用 2 個 GPU 可減至一半,使用 3 個 GPU 可減至三分之一,更多 GPU 亦然。

查看文件,加快你的機械人學習!

策略:釋放開放世界泛化能力

groot-demo

PI0 和 PI0.5

在開源機械人領域的一個重要里程碑中,我們把 Physical Intelligence 的pi0和pi0.5策略整合到 LeRobot!這些視覺-語言-動作(VLA)模型大幅推進了機械人開放世界泛化能力的發展。但 π₀.₅ 的突破之處是甚麼?

  • 開放世界泛化:專為適應全新環境和情況而設,可在實體、語義和環境層面泛化。
  • 異質資料共同訓練:從多元組閤中學習,包括多模態網絡資料、口頭指示、子任務指令和多環境機械人資料。
  • 與 Physical Intelligence 合作:衷心感謝Physical Intelligence 團隊的突破性工作!

你可以在 Hugging Face Hub 找到這些模型:pi0.5_base、pi0_base,以及針對 Libero 微調的版本。詳情請參閲Physical Intelligence 研究文章。

GR00T N1.5

另一項令人振奮的進展是,在與 NVIDIA 機械人團隊出色合作下,我們已把NVIDIA 的 GR00T N1.5整合至 LeRobot!這個開放式基礎模型擅長通用機械人推理和技能。作為跨本體模型,它會接收多模態輸入(例如語言和圖像),在不同環境中執行複雜操作任務,標誌着通用機械人技術又一重大進展。GR00T N1.5 的突破之處是甚麼?

  • 通用推理與技能:GR00T N1.5 作為跨本體基礎模型,擅長通用推理和操作任務,並提升了遵循語言指令的能力。
  • 大規模異質資料訓練:模型從大型資料集中學習,資料結合了實際採集的人形機械人資料、由 NVIDIA Isaac GR00T Blueprint 生成的合成資料,以及互聯網規模的影片資料。
  • 與 NVIDIA 合作:我們很高興與NVIDIA 團隊合作,把這款最先進模型帶給 LeRobot 開源社羣!

你可以在 Hugging Face Hub 找到模型:GR00T-N1.5-3B。詳情請參閲NVIDIA 研究頁面和官方 GitHub 儲存庫。

在 lerobot 中原生整合這些策略,是讓機械人學習盡可能開放、可重現的重要一步。立即試用、分享你的執行成果,讓我們一起推進具身 AI 的前沿!

機械人:透過插件系統開創硬件整合新時代

硬件愛好者有好消息!我們推出全新的插件系統,徹底革新第三方硬件與 LeRobot 的整合方式。現在,連接任何機械人、相機或遙距操作器,只需執行 pip install,不再需要修改核心函式庫。

主要優點

  • 可擴展性:在獨立的 Python 套件中開發和整合自訂硬件。
  • 可擴充性:支援不斷增長的裝置生態系統,同時避免核心函式庫變得臃腫。
  • 社羣友善:降低社羣貢獻的門檻,促進更協作的環境。

請參閲我們的文件,瞭解如何建立自己的插件。

pip install lerobot_teleoperator_my_awesome_teleop
lerobot-teleoperate --teleop.type=my_awesome_teleop

整合 Reachy 2

多得全新的插件系統,我們亦把 Pollen Robotics 的Reachy 2加入 LeRobot!Reachy 2 同時支援真實機械人控制和模擬,讓你立即試驗遙距操作和自主示範。

整合手機

多得強大的全新流程系統,你現在可以直接用手機操控跟隨臂(iOS/Android)。手機會充當遙距操作裝置,而我們的 RobotProcessor 流程會處理所有轉換,讓你輕鬆在不同動作空間(例如末端執行器空間)操控機械人。查看示例!

Hugging Face 機械人學習課程

我們推出全面、自定進度、完全開源的課程,讓所有人都能學習機械人知識!如果你好奇真實世界的機械人如何學習,這裡正是理想的起點。

課程會教你:

  • 理解傳統機械人的基礎知識。
  • 使用生成模型進行模仿學習(VAE、擴散模型等)。
  • 把強化學習應用於真實世界的機械人。
  • 探索 PI0 和 SmolVLA 等最新通用機械人策略。

加入Hugging Face Robotics 組織,跟進課程並展開你的學習之旅!

深入探討:現代機械人學習教學

如果你想深入瞭解,我們亦發布了關於機械人技術最新進展的實作教學。指南提供完整、自成一體的解説,從第一原理重新推導現代技術,並附上使用 LeRobot 和 Hugging Face 的即用程式碼示例。

教學內容託管在Space上,並提供使用 LeRobot 的實用示例;所有模型和資料集都可在 Hugging Face Hub 找到。你亦可參閲我們的論文,瞭解詳細概覽。

團隊總結

除了這些主要功能外,此版本還包含大量錯誤修正、文件改進、相依套件更新、更多示例及更完善的基礎設施,讓你使用 LeRobot 時更流暢、更可靠。

我們衷心感謝社羣每一位成員所作的寶貴貢獻、提供的意見和支持。我們對開源機械人技術的未來充滿期待,急不及待與你一起探索下一步!

敬請期待更多消息 🤗 立即從這裡開始! – LeRobot 團隊 ❤️

來源:Hugging Face Blog · huggingface.co