SmolVLM 推出 256M 與 500M 視覺語言模型
SmolVLM Grows Smaller – Introducing the 256M & 500M Models!
Hugging Face 發佈 SmolVLM-256M 與 SmolVLM-500M 兩款視覺語言模型。兩款模型各有 base 及 instruction fine-tuned checkpoints,支援 Transformers、MLX 和 ONNX,另有 WebGPU 示範。
文章交代兩款模型的定位,以及較小視覺編碼器和 tokenization 調整等設計取捨,呈現小型 VLM 如何兼顧效率與多模態能力。
撮要
我們很高興宣佈 SmolVLM 系列新增兩款模型:SmolVLM-256M 和 SmolVLM-500M。沒錯,只有 256M 個參數,是全球最小的視覺語言模型!
我們汲取了 SmolVLM 2B 的所有經驗,並專注於效率、資料組合及新的設計取捨。我們很高興推出這一對模型,在大幅縮小體積的同時,仍能維持出色的多模態效能。
這次發布共有四個檢查點:兩個基礎模型,以及兩個經指令微調、分別具有 256M 和 500M 個參數的模型。這些模型可直接載入 transformers、MLX 和 ONNX;我們亦提供 transformers 及 WebGPU(使用 ONNX)的示範。你可在此處找到這次發布的所有模型和示範。

目錄
概覽
- SmolVLM-256M —— 全球最小的 VLM!
- SmolVLM-500M —— 這款擁有 5 億個參數的同系列模型,效能大幅提升,同時仍然非常輕巧。
- 全新視覺編碼器選擇 —— 我們比較了 SigLIP 400M SO(SmolVLM 2B 及許多其他大型 VLM 所用的編碼器)與較小型的 SigLIP base patch-16/512。結果令人意外:較大的編碼器只帶來些微改善,因此我們在這次發布的新模型中選用了 93M 參數的 SigLIP base patch-16/512。
- 更高的影像解像度 —— 我們較小型的視覺編碼器會以更高解像度處理影像(設計靈感來自 Apple 的 VLM 研究和 Google 的 PaliGemma)。這能以極低的額外開銷,提升影像理解的清晰度。
- 訓練最佳化 —— 一項全新的分詞技巧大幅提升了真實場景基準測試的表現,儘管它令訓練損失在紙面上看來更差。
我們的模型現已追上 SmolLM2 系列(135M、360M、1.7B)的水準,讓你有一套完整的小型 LLM + VLM 組合可以試用。
為何要做得更小?
發布 SmolVLM 2B 時,社羣反應非常熱烈:這款模型非常輕巧、開源且授權寬鬆,也容易整合到現有工作流程中。不過,我們希望進一步推進這個方向,讓使用資源受限裝置、消費級筆記型電腦,甚至可能在瀏覽器中執行推論的人都能受惠。這正是全新 256M 和 500M 模型的用武之地。另一方面,若要處理大量資料,這些模型的執行成本也只是 2B 模型的一小部分。
在過去一年,我們訓練了兩個 80B VLM,並將其縮減至 8B。接著,SmolVLM 團隊挑戰把 2B 模型再縮小。這段探索讓我們發現,仍可大幅推進技術前沿!我們很高興展示,即使是 256M 和 500M 模型也能有出色表現。全新的 256M 模型是迄今發布過最小的 VLM,表現甚至超越了僅在 17 個月前推出的 Idefics 80B 模型。

認識 256M 參數的強大模型
這款模型只有 256 million 個參數,是迄今最小型的 VLM。儘管體積細小,實力卻相當驚人。它足以勝任多種多模態任務,包括:
- 圖片描述:描述影像或短片內容。
- 文件問答:回答有關 PDF 或掃描文字的問題。
- 基本視覺推理:回答有關圖表或示意圖的問題。
更進一步:500M
如果你需要更充裕的效能,同時希望維持低記憶體用量,SmolVLM-500M 是我們推出的 5 億參數折衷方案。它比之前的 2B 版本小得多,卻能在 DocVQA 和 MMMU 等任務上取得更接近大型模型的分數。我們亦發現這款模型對提示的適應性更強,因此開箱即用時更適合投入生產環境。不過,兩款模型經微調後都表現出色。
下圖展示了不同批次大小下的吞吐量增幅。以下數據是在 A100 上進行的吞吐量基準測試。

SmolVLM 2B 以來有哪些改變?
1. 視覺編碼器選擇 以往我們採用標準的 SigLIP 400M SO 視覺骨幹網絡,許多 VLM 架構也使用同一款。在這些較小型模型的開發中,我們測試了兩種配置:
- SigLIP 400M SO:容量較大,效能出色。
- SigLIP base patch-16/512 (93M):體積小得多,效能卻意外地接近。
我們發現,對 256M 和 500M 模型而言,效能差距不足以證明採用較大型編碼器的額外開銷值得。因此,我們也決定改用較小型的視覺編碼器。另一項好處是,較小型編碼器能以更高解像度處理影像;根據 Apple 和 Google 的研究,這往往能提升視覺理解能力,同時不會大幅增加參數量。
2. 更新資料組合
與上一個版本一樣,我們採用 The Cauldron 和 Docmatix,並新增 MathWriting。

我們調整了各資料集的比例,加強文件理解(41%)和影像描述(14%)的比重,同時兼顧視覺推理、圖表理解及一般指令遵循等其他重要範疇。 這次更新讓模型以扎實的文件理解能力為基礎,亦為針對特定任務調整理解能力的微調工作開拓空間。
3. 分詞最佳化
我們進一步提升了 pixel shuffle!新模型每個 token 可編碼 4096 pixels,而 2B 模型每個 token 則為 1820 pixels。
為了進一步最佳化分詞,我們加入特殊 token,以更有效率的方式表示子影像分隔符。換言之,現在像 <row_1_col_1> 這樣的字串,映射結果不再是 7 個 token,而是單一 token。對於直到 <row_6_col_6> 的字串,我們也採用相同做法。這大幅提升了模型在訓練期間的穩定性及輸出品質。詳情請參閲這篇 LinkedIn 貼文。
4. 完整建立 SmolLM2-SmolVLM 系列
SmolLM2 有三種尺寸:135M、360M 和 1.7B。隨着今天發布這兩款模型,我們現在已有一套完整的小型 LLM + VLM 組合可供試用。
更小型的多模態檢索:ColSmolVLM 256M 和 500M
我們亦發現,微調和實驗的過程意外地簡單。開發 ColBERT 類檢索模型的團隊訓練了 ColSmolVLM,帶來速度達到 SOTA 水平的多模態檢索能力 ,效能媲美體積大 10 倍的模型。SmolVLM 令建立可搜尋資料庫變得更快、更便宜。我們認為 256M 模型可成為多種任務的出色專用模型。請到後續步驟查看如何將全新的 ColSmolVLM 與 SmolVLM 模型搭配使用。

SmolDocling
我們與 IBM 合作,為 Docling 開發模型。IBM 團隊使用 256M 模型取得的初步成果令人印象深刻。以下是他們分享的一些早期範例,更多更新敬請期待!

使用更小型的 SmolVLM
較新的 SmolVLM 可直接沿用舊版 SmolVLM 程式碼,因此你可以使用 transformers 和 MLX 進行推論及微調,並用 TRL 做對齊 🚀 此外,這次發布亦包含 ONNX 檢查點。
你可以按以下方式使用 transformers 開始體驗 SmolVLM。
import torch
from transformers import AutoProcessor, AutoModelForVision2Seq
# Initialize processor and model
processor = AutoProcessor.from_pretrained("HuggingFaceTB/SmolVLM-500M-Instruct")
model = AutoModelForVision2Seq.from_pretrained(
"HuggingFaceTB/SmolVLM-500M-Instruct",
torch_dtype=torch.bfloat16,
_attn_implementation="flash_attention_2" if DEVICE == "cuda" else "eager",
)
# Create input messages
messages = [
{
"role": "user",
"content": [
{"type": "image"},
{"type": "text", "text": "Can you describe this image?"}
]
},
]
# Preprocess
prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt, images=[image], return_tensors="pt")
# Generate
generated_ids = model.generate(**inputs, max_new_tokens=500)
generated_texts = processor.batch_decode(
generated_ids,
skip_special_tokens=True,
)
執行以下 CLI 指令即可使用 MLX 執行 SmolVLM:
python3 -m mlx_vlm.generate --model HuggingfaceTB/SmolVLM-500M-Instruct --max-tokens 400 --temp 0.0 --image https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/vlm_example.jpg --prompt "What is in this image?"

你可以試用以下 WebGPU 示範:SmolVLM-256M-Instruct 和 SmolVLM-500M-Instruct。
請到後續步驟查看使用 ColSmolVLM 進行微調和多模態 RAG 的相關連結。
引用資料
你可以按以下格式引用本文:
@article{marafioti2025smolvlm,
title={SmolVLM: Redefining small and efficient multimodal models},
author={Andrés Marafioti and Orr Zohar and Miquel Farré and Merve Noyan and Elie Bakouch and Pedro Cuenca and Cyril Zakka and Loubna Ben Allal and Anton Lozhkov and Nouamane Tazi and Vaibhav Srivastav and Joshua Lochner and Hugo Larcher and Mathieu Morlon and Lewis Tunstall and Leandro von Werra and Thomas Wolf},
journal={arXiv preprint arXiv:2504.05299},
year={2025}
}
後續步驟
- 我們期待看到你如何運用 SmollerVLM!現在就開始體驗。
- 深入瞭解 SmolVLM。
- 使用 transformers 微調 SmolVLM 和 QLoRA
- [使用 TRL 對 SmolVLM 進行直接偏好最佳化](在消費級 GPU 上使用 TRL,以直接偏好最佳化(DPO)微調 SmolVLM)
- Smol 多模態 RAG:在 Colab 免費 GPU 層級上使用 ColSmolVLM 和 SmolVLM 建構系統
我們感謝 ViDoRe 團隊訓練 ColSmolVLM;感謝 Tony Wu、Manuel Faysse 和 Joshua Lochner 協助 ONNX 轉換和 WebGPU 示範,亦感謝 Vaibhav Srivastav 協助這次發布。
來源:Hugging Face Blog · huggingface.co