Pollen Robotics 發佈開源機械人操作數據採集系統 Grabette
Grabette: an open system to record robot-manipulation data
Pollen Robotics 發佈開源、低成本的 Grabette 手持式系統,可記錄人工操作示範並轉成機械人訓練數據集。裝置配備兩部攝影機,瀏覽器處理流程透過 RTAB-MAP 執行 SLAM,並輸出 LeRobot 格式數據;Grabette 的物料清單成本約 490€。
Grabette 把手持式示範、SLAM 軌跡處理與 LeRobot 數據集串成採集流程,並以 200 段示範呈現訓練及機械臂評估的端到端用法。
只需幾分鐘,用手持夾爪記錄自己的操作任務,即可自動轉換成機械人可用的數據集,並為建立開放、協作式機械人學習數據集出一分力。
瓶頸不在模型,而在數據。
機械人學習面臨數據供應不足的問題。我們已有能力出色的策略架構(以 Transformer 為基礎的 VLA、擴散和 flow-matching 策略,甚至世界模型),也有用來訓練的 GPU;但我們缺少大量多元的真實世界操作數據。
透過遙操作機械人收集數據既昂貴又繁複:首先,你需要一部機械人。視乎遙操作方式,數據採集亦可能需時數小時,對用戶而言相當乏味,並帶來硬件和後勤挑戰。面對所需的多種任務和環境,這種方式難以擴展。
但收集機械人數據並不需要機械人。只需一隻人手、一個夾爪、一部相機,以及一種重建手部動作 6-DoF 軌跡的方法。記錄示範,就能取得可供機械人學習的數據。
今天推出的 Grabette 正是為此而設:一套開放、低成本的操作數據記錄系統。拿起裝置,用自己的手記錄任務,即可取得整理好的機械人數據集。無須機械人、實驗室或遙操作設備。
這也是更大的目標:如果記錄示範像拍影片一樣簡單,任何人都能參與。我們希望以此建立大型、開放、協作式的操作數據集,這不是任何一間實驗室能獨力完成的事。
承接 UMI 的成果
Grabette 直接借鑑 Stanford 的 Universal Manipulation Interface(UMI):這是一款配備魚眼相機的手持夾爪,可在真實環境中記錄示範,以 SLAM 重建相機軌跡,並據此訓練視覺運動策略。
UMI 證明瞭這套方法可行。其他封閉源碼裝置還包括 Agibot 的 MEgo 夾爪、Genrobot 的 DAS 夾爪,以及 Sunday Robotics 的技能採集手套。 我們的目標是令使用過程毫不費力,盡量降低從「我有一項任務」到「我有一個訓練好的模型」之間的門檻。
Grabette 融入現代開放生態系統:以 LeRobot 處理數據集、以 Hugging Face Hub 分享數據,並可直接在瀏覽器執行處理流程,無須安裝任何軟件。任何人都可在工作台上製作 Grabette、帶到實地使用並貢獻數據。
認識 Grabette
我們已開發 Grabette 數月,認為它已經實用到可以分享,現在很高興介紹給大家!
Grabette 是一款手持夾爪,配備重建操作示範所需的一切設備。
它配備兩部相機,各司其職。刻意將兩種用途分開:低成本廣角魚眼相機為策略提供資訊豐富、類似腕部相機的視角;RGBD 相機則負責穩健的 6-DoF 追蹤。
Grabette 會記錄用戶執行任務時的數據,而訓練完成後,則由機械人夥伴執行學到的動作。這就是 Gripette,一款與 Grabette 配對的機械臂末端夾爪。
這系列裝置共用相同硬件基礎:
- Grabette:手持示範採集裝置(相機 + IMU + 夾爪,物料清單成本約 490€)
- Gripette:電動夾爪(相機 + 兩個伺服馬達,物料清單成本約 120€),可讓真實或模擬機械臂形成閉環。

左:Grabette 手持記錄裝置;右:Gripette 機械人夾爪
人人都能使用
所有內容均為開源
- 硬件:Grabette 和 Gripette 的 CAD 及生產檔案
- 採集服務:裝置上的 Raspberry Pi 軟件
- 處理流程:可在本機執行,或透過我們的 Hugging Face Space 線上使用
- 下游堆疊範例:標準 LeRobot 訓練流程加上 OpenArm 評估,作為參考
組件。採用可自行購買的標準感測器,沒有封閉流程,也不會被限制只能使用分支版本。組件包括 Raspberry Pi、標準 Pi 相機、現成的 OAK-D 深度相機和磁性編碼器。核心理念是任何人都能直接訂購零件,自行組裝。
設計上不依賴特定機械人。採集方式和數據格式不假設使用特定機械臂。示範以相機本地座標系中的 6-DoF 笛卡兒姿態和夾爪狀態儲存;輸出是 Hugging Face Hub 上的標準 LeRobot 數據集,因此同一數據可驅動不同機械人和不同學習方法。不過,你的機械臂仍需安裝配套的 Gripette 夾爪。
兩步完成:從手部示範到數據集
此版本讓任何人都能快速將「我想示範一項任務」變成「我有一個可供訓練的數據集」,無須任何先備專業知識。
1. 記錄
按下按鈕後,觀察相機、追蹤相機(顏色、深度和 IMU)及夾爪編碼器的關節數值會同時記錄,並共用同一時鐘以確保同步。再次按下按鈕即可停止該段操作,數據會儲存在 Raspberry Pi 本機。
2. 直接在瀏覽器處理
在瀏覽器開啟 Grabette 控制面板,選擇要加入數據集的操作片段,再按一下便會開始後處理。
- 操作片段會上載至 HF Hub
- grabette-slam Space 會使用 RTAB-MAP 程式庫執行 SLAM,並確認軌跡正確(沒有跳躍或失去追蹤)
- 操作片段會轉換成 LeRobot 格式
- 新的數據集會上載至你的 Space;你可使用 LeRobot 視覺化工具查看每段操作的數據
現在一切準備就緒,可以開始訓練!
這些數據可以用來做甚麼?以下是一個例子。
數據集必須能用來訓練模型才有價值。因此,為展示端到端流程,我們提供一個完整範例。但請留意,這只是展示可實現用途的其中一個例子,並非產品本身;本次發布的是記錄系統。你的 Grabette 數據可搭配任何能使用 LeRobot 數據集的方法。
我們的範例使用 200 段記錄示範,例如:
以及:
- 使用 LeRobot 堆疊訓練策略:擴散策略(ResNet18 + SpatialSoftmax 編碼器、DDIM 排程器、6 維旋轉動作),可在單張消費級 GPU 上執行。
- 使用 Gripette 夾爪在 OpenArm 7-DoF 機械臂上評估策略,透過 gRPC API 驅動,結果如下:
現在輪到你
數據瓶頸無法靠一間實驗室解決,而要靠社羣在各地記錄示範。現在你也可以協助建立數據集:製作一部 Grabette,記錄感興趣的任務,並分享到 Hub。每段操作都會令開放數據集更大、更多元;每位貢獻者都能降低機械人學習對昂貴硬件的依賴。
接下來
這次發布只是項目的起點!Grabette 將持續演進。我們已在準備更多產品,包括 Casquette:一款可安裝在頭上的第一人稱視角裝置,與 Grabette 配合採集第一身視角數據(仍在開發中)。不過,下一個最重要的步驟不只靠我們,也靠你:開始記錄,讓我們一起建立數據集。
👉 製作 Grabette(GitHub) · 處理你的數據(HF Space) · 為數據集作出貢獻
由 Pollen Robotics 用心打造 ❤️。
來源:Hugging Face Blog · huggingface.co
