Hugging Face 發佈 SmolVLA:基於 LeRobot 社羣數據訓練的 450M 開源 VLA 模型
SmolVLA: Efficient Vision-Language-Action Model trained on Lerobot Community Data
Hugging Face 發佈 SmolVLA,一款 450M 開源 Vision-Language-Action(VLA)機械人模型,以 LeRobot 社羣數據預訓練,可在消費級硬件上運行。
文中比較社羣數據預訓練前後的成功率,以及同步與非同步推理的完成時間和吞吐量,呈現數據與推理架構各自帶來的變化。
🧭重點摘要
今天,我們推出 SmolVLA,這是一款小巧(450M)的開源視覺-語言-動作模型,適用於機械人技術,並可在消費級硬件上運行。
- 只使用在相容授權下、由社羣分享的開源資料集進行預訓練,資料集均帶有 lerobot 標籤。
- SmolVLA-450M 的表現超越規模大得多的 VLA 及 ACT 等強力基準模型ACT,涵蓋模擬環境(LIBERO、Meta-World)和真實世界任務(SO100、SO101)。
- 支援非同步推論,可令回應速度提升 30%,任務吞吐量增加 2×。
實用連結:
- 訓練及評估 SO-100/101 所用的硬件:https://github.com/TheRobotStudio/SO-ARM100
- 基礎模型 https://huggingface.co/lerobot/smolvla_base
- 論文:https://huggingface.co/papers/2506.01844
📚 目錄
引言
過去數年,Transformer 推動 AI 大幅進步,從能像人類般推理的語言模型,到能理解圖像和文字的多模態系統,皆有突破。然而,真實世界的機械人技術進展緩慢得多。機械人仍難以在不同物件、環境和任務之間泛化。進展有限,源於缺乏高質素、多元化的數據,以及欠缺能在實體世界中像人類般推理和行動的模型。
為應對這些挑戰,近期業界轉向視覺-語言-動作(VLA)模型,嘗試在單一架構內統合感知、語言理解和動作預測。VLA 通常以原始視覺觀察和自然語言指令作為輸入,輸出相應的機械人動作。雖然前景可期,近期 VLA 的不少進展仍受限於專有模型;這些模型以大型私人資料集訓練,往往需要昂貴硬件配置和大量工程資源。 因此,更廣泛的機械人研究社羣在重現和延伸這些模型方面面對重大障礙。
SmolVLA 填補這個缺口,提供一款開源、小巧而高效的 VLA 模型,只需使用公開資料集及消費級硬件即可訓練。SmolVLA 不但開放模型權重,亦採用價格相宜的開源硬件,目標是讓更多人能使用視覺-語言-動作模型,並加速通用型機械人代理的研究。
圖 1:SmolVLA 在不同任務變化下的比較。由左至右:(1) 非同步抓取及放置方塊並計數,(2) 同步抓取及放置方塊並計數,(3) 受幹擾情況下抓取及放置方塊並計數,以及 (4) 使用真實世界 SO101 將樂高積木抓取並放置的泛化能力。
認識 SmolVLA!
SmolVLA-450M 是我們推出的開源 VLA 模型,體積小巧但能力出色。它具備以下特點:
- 小巧到可在 CPU 上運行、以一張消費級 GPU 訓練,甚至可在 MacBook 上使用!
- 以公開、由社羣分享的機械人數據訓練
- 隨附完整的訓練和推論流程
- 可在價格相宜的硬件(SO-100、SO-101、LeKiwi 等)上測試和部署
SmolVLA 受大型語言模型(LLM)的訓練方式啟發,先以通用操作數據進行預訓練,再進行針對任務的後訓練。架構方面,它把 Transformer 與流匹配解碼器結合,並採用以下設計以提升速度及降低推論延遲:
- 略過視覺模型一半層數,以加快推論並縮小模型
- 交錯使用自注意力和交叉注意力區塊
- 使用較少視覺 token
- 採用規模較小的預訓練 VLM
SmolVLA 的訓練片段少於 30k,不及其他 VLA 的十分之一,卻在模擬環境和真實世界中,達到或超越規模大得多模型的表現。
為令即時機械人控制更易使用,我們推出非同步推論技術。這項技術把機械人執行動作的流程,與理解所見和所聽內容的流程分開。由於兩者分離,機械人能在快速變化的環境中更快回應。
圖 2:SmolVLA 的輸入包括多部相機拍攝的一連串 RGB 圖像、機械人目前的感知動作狀態,以及自然語言指令。VLM 會將這些內容編碼為上下文特徵,再用來調節動作專家,以生成連續的動作序列。
🚀 如何使用 SmolVLA?
SmolVLA 設計簡單,易於使用和整合,無論是以自己的數據微調,還是接入現有機械人技術堆疊都適用。
安裝
首先,安裝所需的相依套件:
git clone https://github.com/huggingface/lerobot.git
cd lerobot
pip install -e ".[smolvla]"
微調預訓練模型
使用我們的 450M 預訓練模型 smolvla_base,配合 lerobot 訓練框架:
python lerobot/scripts/train.py \
--policy.path=lerobot/smolvla_base \
--dataset.repo_id=lerobot/svla_so100_stacking \
--batch_size=64 \
--steps=20000 # 10% of training budget
從頭訓練
如果你想根據架構(預訓練 VLM + 動作專家)而非預訓練檢查點來建構模型:
python lerobot/scripts/train.py \
--policy.type=smolvla \
--dataset.repo_id=lerobot/svla_so100_stacking \
--batch_size=64 \
--steps=200000
你也可以直接載入 SmolVLAPolicy:
from lerobot.common.policies.smolvla.modeling_smolvla import SmolVLAPolicy
policy = SmolVLAPolicy.from_pretrained("lerobot/smolvla_base")
方法
SmolVLA 不只是一款輕巧而高效的模型,也是訓練和評估通用型機械人策略的方法。本節將介紹 SmolVLA 背後的模型架構,以及用於評估的非同步推論配置;實踐證明,這種配置更靈活,並能更快從中斷中恢復。
SmolVLA 由兩個核心元件組成:處理多模態輸入的視覺-語言模型(VLM),以及輸出機械人控制指令的動作專家。以下説明 SmolVLA 架構的主要元件及非同步推論。詳情請參閲我們的技術報告。
主要架構
視覺-語言模型(VLM)
我們使用 SmolVLM2 作為 VLM 骨幹模型。它針對多圖像輸入作了優化,由 SigLIP 視覺編碼器和 SmolLM2 語言解碼器組成。
- 透過視覺編碼器擷取圖像 token
- 語言指令經 token 化後,直接輸入解碼器。
- 感知動作狀態透過線性層投影為單一 token,與語言模型的 token 維度對齊。
解碼器各層會處理串接後的圖像、語言和狀態 token,然後把所得特徵傳送至動作專家。
動作專家:流匹配 Transformer
SmolVLA 的動作專家是一個小型 Transformer(約 100M 參數),會根據 VLM 的輸出生成動作區塊,即一連串未來機械人動作。它以流匹配目標訓練,學習引導帶噪樣本回到真實答案。相較之下,離散動作表示(例如透過 token 化)雖然有效,但通常需要自回歸解碼,推論時速度較慢、效率較低。流匹配則可直接以非自回歸方式預測連續動作,實現高精度即時控制。
更直觀地説,訓練時我們會在機械人的真實動作序列加入隨機雜訊,並要求模型預測把它們帶回正確軌跡的「修正向量」。這會在動作空間中形成平滑的向量場,協助模型學習準確而穩定的控制策略。
我們以 Transformer 架構實現這項設計,並使用交錯注意力區塊(見圖 2);同時把隱藏層大小減至 VLM 的 75%,令模型保持輕巧,適合部署。
提升效率與穩健性的設計選擇
近期 VLA 系統常見的設計模式,是把視覺-語言模型與動作預測模組結合,例如 Pi0、GR00T、Diffusion Policy。我們則找出多項能顯著提高穩健性和效能的架構選擇。SmolVLA 採用三項關鍵技術:減少視覺 token 數量、略過 VLM 的上層,以及在動作專家中交錯使用交叉注意力與自注意力層。
減少視覺 Token
高解像度圖像可提升感知能力,但可能大幅拖慢推論。為取得平衡,SmolVLA 在訓練和推論時都把每一影格的視覺 token 數量限制為 64 個。例如,利用 PixelShuffle 這種高效重排技術,512×512 圖像會壓縮成 64 個 token,而非 1024 個。底層視覺-語言模型(VLM)原本以圖像切片方式預訓練,涵蓋範圍較廣;但為保持推論輕巧快速,SmolVLA 在運行時只使用全局圖像。
略過層以加快推論
我們不會一律依賴 VLM 的最後一層,因為成本可能很高,有時效果也未必理想;相反,我們會使用中間層的特徵。過往研究顯示,較早的層往往能為下游任務提供更佳表示。 在 SmolVLA 中,訓練期間動作專家只會使用 VLM 特徵至可設定的 NN 層,預設為總層數的一半。這使 VLM 和動作專家的運算成本都減半,大幅加快推論,效能損失則極小。
交錯式交叉注意力與自注意力
在動作專家內,注意力層會交替使用:
- 交叉注意力(CA):動作 token 會關注 VLM 的特徵
- 自注意力(SA):動作 token 彼此關注(具因果性,只關注過去)
我們發現,這種交錯設計比使用完整注意力區塊更輕巧、效果更好。只依賴 CA 或只依賴 SA 的模型,往往要犧牲動作平滑度或環境依據。
在 SmolVLA 中,CA 確保動作以感知和指令為條件;SA 則提升時間平滑度。這對真實世界控制尤其重要,因為預測抖動可能造成不安全或不穩定行為。
非同步推論

圖 3:非同步推論。非同步推論堆疊示意圖。請注意,策略可在遠端伺服器上執行,並可使用 GPU。
現代視覺動作策略會輸出動作區塊,即一連串要執行的動作。有兩種管理方式:
- 同步(sync):機械人先執行一個區塊,然後暫停,等候計算下一個區塊。方法簡單,但期間機械人無法回應新輸入。
- 非同步(async):機械人執行目前區塊時,會同時把最新觀察結果傳送至策略伺服器(可能部署於 GPU),以計算下一個區塊。這樣可避免閒置時間並提升反應能力。
我們的非同步堆疊把動作執行和區塊預測分開,提升適應能力,並徹底消除運行時執行延遲。它依靠以下關鍵機制:
- 1. 提早觸發:當佇列長度低於某個門檻(例如 70%),我們便把觀察結果傳送至策略伺服器,要求產生新的動作區塊。
- 2. 執行緒分離:控制迴圈持續執行 → 推論則在平行處理(不阻塞)。
- 3. 區塊融合:使用簡單的合併規則,把連續區塊中重疊的動作接合,以避免抖動。
我們很高興推出非同步推論,因為它無須改動模型便可提高適應能力和效能。簡而言之,非同步推論會重疊執行與遠端預測,令機械人保持靈敏。
社羣資料集
視覺和語言模型受惠於 LAION、ImageNet 和 Common Crawl 等網絡規模資料集,但機械人領域缺乏類似資源,並不存在「機械人互聯網」。數據分散於不同機械人類型、感應器、控制方案和格式,形成互不相通的「數據孤島」。我們在上一篇文章探討如何透過開放協作解決這種碎片化問題。正如 ImageNet 以大型、多元基準推動電腦視覺突破,我們相信,由社羣推動的機械人資料集也能為通用型機械人策略發揮同樣的基礎作用。
SmolVLA 是邁向這個願景的第一步:它以精選的公開社羣貢獻資料集組合進行預訓練,務求反映真實世界的多樣情況。我們不只追求資料集規模,更重視多樣性:涵蓋不同動作、相機視角及機械人形態,以促進遷移和泛化。
SmolVLA 使用的所有訓練數據,均來自LeRobot 社羣資料集,即 Hugging Face Hub 上帶有 lerobot 標籤的機械人資料集。這些資料集在實驗室到客廳等不同環境中收集,代表一項開放、去中心化的努力,目標是擴充真實世界機械人數據。
圖 4:社羣資料集一覽。特別鳴謝 Ville Kuosmanen 製作此視覺化內容。
與學術基準不同,社羣資料集自然包含凌亂而真實的互動情況:光線各異、示範未盡理想、物件不常見,控制方案亦不一致。這種多樣性對學習穩健、通用的表示非常有幫助。
我們使用自訂篩選工具;該工具由 Alexandre Chapin 和 Ville Kuosmanen 製作,用於按影格數量、視覺質素和任務覆蓋範圍選擇資料集。經過仔細人工審查(特別鳴謝 Marina Barannikov),我們整理出一組487 個高質素資料集,專注於SO100 機械臂,並統一為30 FPS。這組資料約有1,000 萬個影格,規模至少比其他熱門基準資料集小一個數量級,但多樣性顯著更高。
改善任務標註
社羣資料集常見問題之一,是任務描述含雜訊或缺失。許多片段沒有標註,或只採用「task desc」、「Move」、「Pick」等含糊標籤。為提升質素並統一不同資料集的文字輸入,我們使用 Qwen2.5-VL-3B-Instruct 生成簡潔、以動作為導向的描述。
模型收到樣本影格和原有標籤後,會被提示以 30 個字元內重寫指令,並以動作動詞開頭(例如「Pick」、「Place」、「Open」)。
使用的提示詞如下:
Here is a current task description: {current_task}. Generate a very short, clear, and complete one-sentence describing the action performed by the robot arm (max 30 characters). Do not include unnecessary words.
Be concise.
Here are some examples: Pick up the cube and place it in the box, open the drawer and so on.
Start directly with an action verb like “Pick”, “Place”, “Open”, etc.
Similar to the provided examples, what is the main action done by the robot arm?
統一相機視角
另一項挑戰是相機命名不一致。有些資料集採用 top 或 wrist.right 等清楚名稱,另一些則使用含義不一的模糊標籤,例如 images.laptop。
為解決這個問題,我們逐一檢視資料集,並把每個相機視角映射至標準方案:
OBS_IMAGE_1:俯視
OBS_IMAGE_2:腕部安裝視角
OBS_IMAGE_3+:其他視角
我們進一步分別評估社羣資料集預訓練及多任務微調的貢獻。若沒有以 LeRobot 社羣資料集預訓練,SmolVLA 在 SO100 上的初始成功率為 51.7%。以社羣收集的數據預訓練後,表現躍升至 78.3%,絕對提升+26.6%。多任務微調進一步提高表現,顯示即使數據量少,任務遷移能力仍然出色。

表 1:社羣資料集預訓練及多任務微調的影響。
結果
我們在模擬環境和真實世界基準上評估 SmolVLA,測試其泛化能力、效率和穩健性。雖然模型小巧,但在機械人數據規模更大的情況下預訓練的模型及策略當中,它的表現仍持續超越或媲美規模大得多的方案。

表 2:SmolVLA 在模擬基準上的表現。

表 3:SmolVLA 與真實世界任務基準模型的比較(SO100)。
在真實世界環境中,我們以兩組不同任務套件評估 SmolVLA:SO100 和 SO101。任務包括抓取及放置、堆疊和分類,物件配置涵蓋分佈內及分佈外情況。 SmolVLA 在 SO101 的泛化能力亦表現出色:

表 4:SmolVLA 對新機械人形態(SO101)的泛化能力,與 ACT 比較..
最後,我們在同步和非同步推論模式下評估 SmolVLA。非同步推論會把動作執行和模型推論分開,讓策略能在機械人移動時作出反應。
- 兩種模式的任務成功率相若(≈78%),但非同步推論:
- 完成任務的速度快約 30%(9.7 秒對 13.75 秒)
- 在固定時間內,完成任務的數量增加 2×(19 對 9 個方塊)
這令真實世界表現更靈敏、穩健,尤其是在物件移動或受外部幹擾等動態環境中。

圖 5:真實世界任務中的非同步與同步推論比較。 (a) 任務成功率(%)、(b) 平均完成時間(秒),以及 (c) 固定時間內完成的任務數量。
結論
SmolVLA 是我們為打造開放、高效且可重現的機械人基礎模型所作的貢獻。雖然體積小巧,它在各種真實世界和模擬任務中,表現仍媲美或超越規模更大、屬專有性質的模型。SmolVLA 只依賴社羣貢獻的資料集及價格相宜的硬件,降低研究人員、教育工作者和愛好者的入門門檻。 不過,這只是開始。SmolVLA 不只是一個模型,更是邁向可擴展、協作式機械人技術的開源運動之一。
行動呼籲:
- 🔧 立即試用!以自己的數據微調 SmolVLA、在價格相宜的硬件上部署,或與現有技術堆疊進行基準測試,並分享到 Twitter/LinkedIn。
- 🤖 上載資料集!有機械人嗎?使用 lerobot 格式收集並分享數據,協助擴充支援 SmolVLA 的社羣資料集。
- 💬 參與網誌討論。在下方討論區提出問題、分享想法或意見。我們樂意協助整合、訓練或部署。
- 📊 作出貢獻。改善資料集、回報問題、提出新點子。每項貢獻都能帶來幫助。
- 🌍 分享消息。向對高效即時機械人策略感興趣的研究人員、開發者或教育工作者介紹 SmolVLA。
- 📫 保持聯絡:追蹤 LeRobot 機構和 Discord 伺服器,瞭解最新消息、教學和新版本。
只要攜手合作,就能讓真實世界的機械人更有能力、更易負擔,也更開放。✨
來源:Hugging Face Blog · huggingface.co