Hugging Face 發佈 2B 視覺語言模型系列 SmolVLM,開放模型與訓練流程
SmolVLM - small yet mighty Vision Language Model
Hugging Face 發佈 SmolVLM 2B 視覺語言模型系列,提供 Base、Synthetic 和 Instruct 三個版本。模型檢查點、VLM 資料集、訓練配方及工具均採 Apache 2.0 授權開放;模型亦已整合至 transformers。
文中將 SmolVLM 與其他模型的多項基準、GPU 記憶體及吞吐量並列,提供評估小型視覺語言模型效能與資源取捨的依據。
重點摘要
本文介紹 SmolVLM,這是一款 2B 視覺語言模型,以其所需記憶體而言達到業界頂尖水平。SmolVLM 體積小、速度快、記憶體效率高,而且完全開源。所有模型檢查點、VLM 資料集、訓練配方及工具均以 Apache 2.0 授權條款發佈。

甚麼是 SmolVLM?
今年多模態 AI 急速發展,推出了許多大型視覺語言模型。發展趨勢先是擴大運算規模,之後透過大型模型生成合成資料,以增加資料多樣性;最近則轉向縮小模型,令它們更有效率。小型開放模型可在本機、瀏覽器或邊緣裝置部署,降低推理成本,並讓使用者自行調整。這類模型的著名例子包括 PaliGemma 3B、moondream2 及 Qwen2VL。
本文介紹 SmolVLM,這是一個全新的 2B 小型視覺語言模型系列,可作商業用途,並可部署在較小型的本機環境;其訓練流程亦完全開放。
我們發佈了三款模型:SmolVLM-Base,可用於下游微調;SmolVLM-Synthetic,即以合成資料微調的版本;以及 SmolVLM Instruct,即經指令微調的版本,可開箱即用於互動式終端使用者應用程式。
此次發佈包括已整合至 transformers 的開源模型、以 SmolVLM Instruct 建構的示範,以及一套監督式微調程式。我們採用了 Idefics3 先前使用的資料集:the Cauldron 和 Docmatix,兩者同樣完全開源。
目錄
模型能力
| 輸入圖片 | 輸入提示詞 | 答案 |
|---|---|---|
![]() |
我打算去參觀這座寺廟,可以給我一些旅遊建議嗎? |
大皇宮是曼谷最著名的地標,以其精美建築和歷史價值而值得一遊。以下是我們最喜歡這座宮殿的幾個地方:
主建築: 主建築位於建築羣中央,佈滿精細的瓷磚工藝和傳統泰國圖案,覆蓋建築的每一處。圖案包括龍、神話生物、花卉和幾何形狀等。屋頂線條設計精巧,由多層瓷磚組成,並飾有金色點綴。 塔樓與尖塔: 大皇宮內有多座塔樓,包括收藏泰國文化與傳統展品的 Phra Nakhon Si Ayutthaya National Museum Tower。另一座著名塔樓是 Wat Yai Chai Mongkol Tower,當中可欣賞描繪佛教神話場景的精美壁畫。 建築風格: 這種建築風格融合印度教與高棉風格元素,在東南亞各地都很常見。你會留意到佛塔(圓頂形建築)、蓮花雕刻,以及這些地區宗教建築常見的華麗細節。 參觀體驗: 參觀大皇宮時,遊客應留意當局基於保安措施而訂立的規則,例如某些區域禁止拍攝,以及在戶外使用閃光燈。旅遊旺季亦可能需要排隊,如計劃到訪,請預留時間。 參觀大皇宮的旅遊建議:
遵循以上指引,定能加深你對泰國豐富歷史文化的認識,亦令旅程更愉快! |
![]() |
根據這張圖,嚴重乾旱發生在哪些地方? | 嚴重乾旱發生在非洲東部和南部。 |
![]() |
到期日和發票日期分別是哪一天? | 到期日是 26/02/2019,發票日期是 11/02/2019。 |
架構

SmolVLM 的架構基本上沿用 Idefics3 的設計,因此我們在 transformers 中使用相同的實作。不過,兩者有幾項主要差異:
- 我們以 SmolLM2 1.7B 取代 Llama 3.1 8B,作為語言骨幹模型。
- 我們採用 pixel shuffle 策略,更積極地壓縮經切塊的視覺資訊,將資訊量縮減 9 倍;相比之下,idefics3 只縮減 4 倍。
- 我們使用 384*384 的切塊,而非 364x364,因為 384 可被 3 整除,這是 pixel shuffle 策略正常運作的必要條件。
- 為此,我們將視覺骨幹模型改為採用形狀最佳化的 SigLIP,使用 384x384 像素的切塊及 14x14 的內部切塊。
效能
基準測試
以下列出訓練詳情中提及各項任務的基準測試結果。
| 模型 | MMMU(驗證集) | MathVista(testmini) | MMStar(驗證集) | DocVQA(測試集) | TextVQA(驗證集) | 所需最低 GPU 記憶體(GB) |
|---|---|---|---|---|---|---|
| SmolVLM | 38.8 | 44.6 | 42.1 | 81.6 | 72.7 | 5.02 |
| Qwen2-VL 2B | 41.1 | 47.8 | 47.5 | 90.1 | 79.7 | 13.70 |
| InternVL2 2B | 34.3 | 46.3 | 49.8 | 86.9 | 73.4 | 10.52 |
| PaliGemma 3B 448px | 34.9 | 28.7 | 48.3 | 32.2 | 56.0 | 6.72 |
| moondream2 | 32.4 | 24.3 | 40.3 | 70.5 | 65.2 | 3.87 |
| MiniCPM-V-2 | 38.2 | 39.8 | 39.1 | 71.9 | 74.1 | 7.88 |
| MM1.5 1B | 35.8 | 37.2 | 0.0 | 81.0 | 72.5 | NaN |
記憶體

在 transformers 現有的視覺語言模型中,SmolVLM 的記憶體用量最低,因此可在筆記型電腦等裝置上高效運行!上圖顯示各模型在推理時所用的 GPU 記憶體(GB);測試分別使用一張或兩張輸入圖片,而且所有測試均採用相同圖片和文字提示詞。SmolVLM 的高效圖片編碼能力已融入模型本身。SmolVLM 會將每個 384x384 的圖片切塊編碼為 81 個 token,因此測試提示詞連同一張圖片只需 1.2k 個 token;Qwen2-VL 則需要 16k 個 token。這也解釋了為何 Qwen 和 InternVL 在處理兩張圖片時,記憶體用量會大幅增加。相比之下,採用類似方法的 SmolVLM 和 PaliGemma,記憶體用量增幅温和得多。
吞吐量

SmolVLM 的記憶體佔用極小,亦代表預填模型和生成內容所需的運算量少得多。與 Qwen2-VL 相比,預填吞吐量快 3.3 至 4.5 倍,生成吞吐量快 7.5 至 16 倍。
影片
SmolVLM 支援較長上下文,而且可以調整模型內部的畫格縮放方式,因此我們探討了它作為入門影片分析工具的可行性,尤其適用於運算資源有限的情況。
在評估 SmolVLM 的影片理解能力時,我們實作了一套簡單的影片處理流程程式碼,從每段影片中最多抽取 50 個均勻取樣的畫格,同時避免內部畫格縮放。 這個簡單方法在 CinePile 基準測試中取得出乎意料地具競爭力的成績,分數為 27.14%,表現介乎 InternVL2(2B)和 Video LlaVa(7B)之間。
量化結果與我們的質化測試一致,以下是 FineVideo 資料集中的一個例子:
Question: what is shown in the close-up?
Assistant: In the close-up, there are bottles of Heinz tomato ketchup,
honey, soy sauce, and garlic on a kitchen counter.
Question: describe what is happening in the video.
Assistant: The video shows a man cooking in a kitchen.
He is wearing a black shirt and a black apron.
He is standing in front of a counter and is holding a bottle of Heinz tomato ketchup,
a bottle of honey, soy sauce, and a bowl of minced garlic
至於第二條問題,結果顯示模型在時間理解方面有一定限制(廚師是逐一指向食材,而不是同時指向或拿起所有食材);不過,SmolVLM 展現出優秀的場景理解和物件識別能力。
整合 VLMEvalKit
我們將 SmolVLM 整合至 VLMEvalKit,方便使用者在更多基準測試上進行評估。
執行以下指令,即可評估 SmolVLM 或經你微調的 SmolVLM 模型。
python run.py --data <benchmarks> --model SmolVLM --work-dir <output_directory>
例如,可在 MMMU dev 驗證集和 MathVista mini 上進行評估,並將結果儲存在名為 smol 的資料夾。
python run.py --data MMMU_DEV_VAL MathVista_MINI --model SmolVLM --work-dir smol
使用 Transformers 執行 SmolVLM
你可以透過 transformers 的 Auto 類別輕鬆載入 SmolVLM。在底層,模型和處理器會對應至 Idefics3 使用的相同實作。
from transformers import AutoProcessor, AutoModelForVision2Seq
import torch
DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
processor = AutoProcessor.from_pretrained("HuggingFaceTB/SmolVLM-Instruct")
model = AutoModelForVision2Seq.from_pretrained("HuggingFaceTB/SmolVLM-Instruct",
torch_dtype=torch.bfloat16,
_attn_implementation="flash_attention_2" if DEVICE == "cuda" else "eager").to(DEVICE)
圖片和文字可以任意交錯排列,也可以傳入多張圖片。以下示範如何使用聊天範本,並將格式化後的輸入傳給處理器。
from PIL import Image
from transformers.image_utils import load_image
# Load images
image1 = load_image("https://huggingface.co/spaces/HuggingFaceTB/SmolVLM/resolve/main/example_images/rococo.jpg")
image2 = load_image("https://huggingface.co/spaces/HuggingFaceTB/SmolVLM/resolve/main/example_images/rococo_1.jpg")
# Create input messages
messages = [
{
"role": "user",
"content": [
{"type": "image"},
{"type": "image"},
{"type": "text", "text": "Can you describe the two images?"}
]
},
]
# Prepare inputs
prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt, images=[image1, image2], return_tensors="pt")
inputs = inputs.to(DEVICE)
開始生成前,先處理輸入資料,再解碼生成結果。
# Generate outputs
generated_ids = model.generate(**inputs, max_new_tokens=500)
generated_texts = processor.batch_decode(
generated_ids,
skip_special_tokens=True,
)
print(generated_texts[0])
訓練詳情
資料集
首先,我們需要訓練 SmolLM2 以延伸其上下文,詳情會在下一節討論。取得支援長上下文的 SmolLM2 後,我們便使用與 Idefics3 相同的資料訓練 SmolVLM,主要採用 The Cauldron 和 Docmatix。所用資料集的完整清單可在此查閲。

延伸上下文

SmolLM2 的預訓練上下文視窗不足以應付 VLM。圖片會編碼成大量 token,而我們希望支援多張圖片。為此,我們按照 “Scaling Laws of RoPE-based Extrapolation” 的指引,將 RoPE 基數值由 10k 提高至 273k,令上下文延伸至 16k token。我們使用長、短上下文資料集的混合資料微調模型。 長上下文資料集包括 Dolma 的「books」子集(主要來自 Project Gutenberg),以及 The Stack 中長度達 8k+ token 的程式碼文件;兩者各佔最終混合資料的 20%。短上下文資料方面,我們精簡了 SmolLM2 原本的預訓練資料組合,納入 20% FineWeb-Edu、20% DCLM,以及 20% 即將發佈的數學資料集。為了減輕延伸上下文期間在 GSM8k 上觀察到的效能下跌,我們提高了數學資料集的取樣比例。 所有實驗均使用 EasyContext repository 實作。
選擇檢查點
在訓練過程中,我們每隔 25 個最佳化步驟儲存一次檢查點,讓我們可以評估模型在訓練不同階段的狀態,並在需要時還原。這對找出最佳模型版本至關重要,因為訓練時間更長並不一定代表效能更佳。 我們根據多個視覺語言基準測試評估效能,並按重要程度為各項測試加權。核心基準測試包括:
- 多模態整體理解(MMMU 和 MMStar),兩者是涵蓋面最廣的基準測試。
- 文件及文字視覺問答(DocVQA 和 TextVQA)
- 數學推理(MathVista)
- 圖表理解(AI2D)
為了選出最佳檢查點,我們將這些基準測試合併成單一指標,並按其評估模型能力時的相對重要性,人工設定不同權重。我們以這項單一指標選出最佳檢查點。整體而言,模型在訓練時間增加後,大多數基準測試上的表現通常會提升,但在 DocVQA 上的相對表現則會大幅下降。
微調
你可以使用 transformers 微調 SmolVLM,並透過 TRL 套用對齊技術 🚀
我們提供了一份筆記本,示範如何以 VQAv2 資料集微調模型,並可選擇使用 LoRA、QLoRA 或完整微調。筆記本亦分享了一些節省更多記憶體的技巧,讓較大的批次大小也能在 L4 等消費級 GPU 上訓練 SmolVLM。使用批次大小 4、8-bit QLoRA 載入和梯度檢查點後,我們可以在 L4 上微調,約需 16 GB VRAM。這表示你也可以透過 Colab 微調 SmolVLM!你可自行調整參數,在訓練時間與記憶體用量之間取得合適平衡。
SmolVLM 亦整合了 TRL,因此你可以透過 CLI 輕鬆套用直接偏好最佳化(DPO)。先執行 pip install trl accelerate peft 安裝所需套件,然後執行以下指令,以 RLAIF-V 資料集進行微調:
accelerate launch \
--config_file examples/accelerate_configs/multi_gpu.yaml examples/dpo_reduce_hallucinations/dpo_reduce_hallucinations.py \
--dataset_name HuggingFaceH4/rlaif-v_formatted \
--model_name_or_path HuggingFaceTB/SmolVLM-Instruct \
--per_device_train_batch_size 8 \
--gradient_accumulation_steps 32 \
--dataset_num_proc 32 \
--output_dir dpo_smolvlm_rlaif-v \
--bf16 --torch_dtype bfloat16 \
--use_peft --lora_target_modules=all-linear
最後產生的 LoRA adapter 權重為 SmolVLM-Instruct-DPO。如需深入瞭解以視覺為基礎的 LLM 偏好微調,可參閲這份詳細教學:dpo_vlm。
引用資料
你可以按以下格式引用本文:
@article{marafioti2025smolvlm,
title={SmolVLM: Redefining small and efficient multimodal models},
author={Andrés Marafioti and Orr Zohar and Miquel Farré and Merve Noyan and Elie Bakouch and Pedro Cuenca and Cyril Zakka and Loubna Ben Allal and Anton Lozhkov and Nouamane Tazi and Vaibhav Srivastav and Joshua Lochner and Hugo Larcher and Mathieu Morlon and Lewis Tunstall and Leandro von Werra and Thomas Wolf},
journal={arXiv preprint arXiv:2504.05299},
year={2025}
}
總結
我們為社羣帶來了完全開放、小巧而強大的 SmolVLM!我們亦提供工具,讓社羣使用及自訂模型。期待看到大家運用 SmolVLM 創作出各種作品。
以下列出更多 SmolVLM 相關資源,供有興趣深入瞭解的人參考。
來源:Hugging Face Blog · huggingface.co


