Hugging Face 發佈 SmolLM3,支援 128k 上下文的多語言 3B 推理模型
SmolLM3: smol, multilingual, long-context reasoner
Hugging Face 發佈 3B 模型 SmolLM3,使用 11.2T tokens 訓練,支援 think / no_think 雙模式推理及最高 128k 上下文。
SmolLM3 公開分階段訓練、長上下文適配與雙模式推理配方,並交代數據配比和模型合併流程,呈現 3B 模型的工程實作路徑。
小型語言模型愈來愈重要,因為使用者希望取得能力出眾而且可高效部署的模型。社羣推出了各式各樣、令人讚嘆的小型模型,不斷突破這種規模所能達到的界限。我們很高興透過 SmolLM3 推出一款具競爭力、完全開放的 3B 模型:
SmolLM3 處於效率與效能的理想平衡點。我們的 3B 模型表現超越 Llama-3.2-3B 和 Qwen2.5-3B,同時與更大型的 4B 替代模型(Qwen3 & Gemma3)保持競爭力。除了公佈效能數字外,我們亦會公開如何使用公開資料集和訓練框架打造模型。
.png&mode=full&exp=1795478400&sig=76552dffd4426571)
模型摘要:
- 3B 模型以 11T 個 token 訓練,在 3B 規模下達到最先進表現,並可與 4B 模型競爭
- 指令模型支援雙模式推理,可使用
think/no_think模式 - 多語言支援涵蓋 6 種語言:英語、法語、西班牙語、德語、意大利語和葡萄牙語
- 長上下文支援最多 128k,採用 NoPE 和 YaRN
完整訓練方案:我們隨 SmolLM3 一併公開工程藍圖,內容包括架構詳情、確切數據組合,以及如何透過三階段預訓練逐步提升不同領域的表現,亦包括構建混合式推理模型的方法。一般而言,取得這些成果需要花數月逆向工程;現在我們直接公開完整方法。

無論你正打造自己的模型,還是想了解這種規模的效能由何而來,這份藍圖都展示了達到具競爭力 3B 表現背後的工程實踐。
先來看看預訓練階段。
預訓練
SmolLM3 在架構和數據組合方面都作了改進,超越前代模型。先來看看架構和訓練配置!
架構與訓練詳情
.png&mode=full&exp=1795478400&sig=6ccff1201afdeebf)
SmolLM3 採用 Transformer 解碼器架構和綁定式嵌入,與 SmolLM2 相似,並以 Llama 架構為基礎作出若干關鍵調整,提升效率和長上下文表現。
分組查詢注意力(GQA):我們以分組查詢注意力取代多頭注意力,使用 4 個羣組。對一個以 FineWeb-Edu 的 100B 個 token 訓練的 3B 模型進行消融研究後發現,GQA 的表現媲美多頭注意力,同時大幅縮小推論期間的 KV 快取。
NoPE:我們根據「從 RoPE 到 NoRoPE 再回歸:一種新的混合注意力策略」(Yang 等人,2025)實作 NoPE,選擇性移除每第 4 層的旋轉位置嵌入。消融研究證實,此方法可改善長上下文表現而不影響短上下文能力。
文件內遮罩:根據「分析序列組成對語言模型預訓練的影響」,訓練時會使用注意力遮罩,確保同一訓練序列中不同文件的 token 不會彼此注意。與 Llama 3 類似,這有助更快、更穩定地進行長上下文訓練,同時維持短上下文表現。
訓練穩定性:參照 OLMo 2,我們移除嵌入層的權重衰減,以提升訓練穩定性。此修改令訓練動態更穩定,嵌入範數在訓練期間自然穩定於更理想的數值;消融研究亦顯示整體表現不受影響。
所有改動都透過消融研究驗證:使用相同 3B 架構,並以 FineWeb-Edu 的 100B 個 token 訓練,確保每項修改不是提升表現,就是在帶來其他好處的同時維持表現。
訓練配置:全局批次大小為 2.36M 個 token,序列長度為 4096,學習率為 2e-4,並使用 AdamW 優化器(beta1:0.9、beta2:0.95)、0.1 權重衰減和 1 梯度裁剪。我們使用 WSD(預熱-穩定-衰減)排程器,預熱 2000 步,並在最後 10% 訓練步驟中線性衰減至 0。訓練採用 nanotron 框架、以 datatrove 處理數據,並透過 lighteval 評估。模型使用 384 張 H100 GPU 訓練 24 天。下圖展示分散式訓練配置。
.png&mode=full&exp=1795478400&sig=0171d1cf2d0b962c)
除了調整架構,我們亦透過消融研究改良訓練方案。讓我們仔細看看。
數據組合與訓練階段
沿用 SmolLM2 的多階段做法,我們使用 11.2T 個 token 訓練 SmolLM3,採用三階段訓練策略,並按不同階段比例混合網絡、數學和程式碼數據。我們對以 50B 至 100B 個 token 訓練的 3B 模型進行大量消融研究,以確定數據組合和比例。
.png&mode=full&exp=1795478400&sig=b0f2aa0e94f5672c)
預訓練包括以下階段,上圖亦有展示:
- 階段 1:穩定階段(0T → 8T 個 token) 此基礎階段透過核心數據組合建立強大的通用能力:
- 網絡:85%(12% 多語言)— FineWeb-Edu、DCLM、FineWeb2 和 FineWeb2-HQ
- 程式碼:12% — The Stack v2(16 種程式語言)、StarCoder2 拉取請求、Jupyter 和 Kaggle 筆記本、GitHub issues 及 StackExchange。
- 數學:3% — FineMath3+ 和 InfiWebMath3+
- 階段 2:穩定階段(8T → 10T 個 token) 我們加入質素更高的數學和程式碼資料集,同時維持良好的網絡數據覆蓋範圍:
- 網絡:75%(12% 多語言)
- 程式碼:15% — 加入 Stack-Edu
- 數學:10% — 引入 FineMath4+、InfiWebMath4+ 和 MegaMath(包括 Qwen 問答、Pro 合成改寫,以及文字與程式碼交錯區塊)
- 階段 3:衰減階段(10T → 11.1T 個 token) 最後階段進一步提高數學和程式碼數據的取樣比例
- 網絡:63%(12% 多語言)
- 程式碼:24% — 提高高質素程式碼數據的取樣比例
- 數學:13% — 提高數學數據取樣比例,並加入 OpenMathReasoning 等指令和推理資料集
透過這些階段和數據組合,我們令基礎模型取得極具競爭力的表現。評估詳情見下文。nanotron 訓練配置的確切數據權重可在此處查閲。我們亦會 公開訓練 日誌和中途檢查點。
完成主要預訓練後,我們會進行中期訓練,以提升長上下文和推理能力。
中期訓練
我們把長上下文適配和推理適配稱為「中期訓練」。這些階段遠短於主要預訓練,但仍具一定通用性,旨在提升模型在這兩個領域的能力。先來看看長上下文訓練。
延伸長上下文
.png&mode=full&exp=1795478400&sig=0949bd2c51d40619)
完成主要預訓練後,我們再使用額外 100B 個 token 訓練 SmolLM3,以延伸其上下文長度。我們分兩階段逐步擴大上下文視窗,每階段使用 50B 個 token:首先把上下文由 4k 延伸至 32k,並把 RoPE theta 提高至 1.5M;再由 32k 延伸至 64k,並把 RoPE theta 提高至 5M。兩階段都提高數學、程式碼和推理數據的取樣比例。消融研究發現,提高程式碼儲存庫、書籍和長篇網頁等特定長上下文數據(超出混合數據中原本較長的樣本),並不能進一步提升 RULER 和 HELMET 基準測試表現。採用 NoPE,並以更長序列和更高 RoPE theta 值,在衰減混合數據上訓練,已足以取得具競爭力的長上下文表現,最多支援 64k。
沿用 Qwen2.5 的做法,我們使用 YaRN 外推至超出訓練上下文長度。推論時,模型最多可處理 128k 上下文(在 64k 訓練長度上延伸 2 倍)。
推理中期訓練
延伸模型上下文長度後,我們透過中期訓練加入推理能力。中期訓練與預訓練及後訓練的主要分別,是我們針對一般能力,而非特定領域。在本例中,我們希望模型學會推理,但不針對數學或程式碼等特定領域。
中期訓練資料集含有 35B 個 token,來源包括 Open Thought 的 OpenThoughts3-1.2M ,以及 NVIDIA 的 Llama-Nemotron-Post-Training-Dataset-v1.1 子集,當中包含 R1 推理軌跡。我們使用 ChatML 聊天範本和 包裝式打包 ,避免為模型提供過多結構。我們訓練模型 4 個 epoch(約 140B 個 token),並將檢查點用於後續 SFT 階段。
後訓練
DeepSeek R1 和 Qwen3 等推理模型問世,展現模型進行明確推理時可產生的強大能力。然而,社羣仍缺乏使用公開資料集構建雙指令模型的完整開放方案,這些模型需同時支援推理和非推理模式。現有方法大多採用複雜的強化學習流程和專有資料集,研究人員難以重現或延伸成果。
本節會説明我們如何應對這些挑戰,並分享構建雙指令模型的完整方案。我們會詳述如何透過精心設計的訓練流程,平衡推理與非推理模式的表現;流程包括一般推理能力的中期訓練、以合成數據生成進行監督式微調,以及使用近期 DPO 變體 Anchored Preference Optimization(APO)進行對齊。
.png&mode=full&exp=1795478400&sig=ecd0c545845c85ad)
建立聊天範本
開始探討訓練方法前,必須先確定使用者如何與雙模式模型互動。聊天範本作為介面,可在推理和非推理模式之間順暢切換;其設計會直接影響訓練數據格式和模型行為。SmolLM3 的聊天範本讓使用者能在對話期間控制推理模式。使用者可在系統提示詞中加入 /think 和 /no_think 標記,分別啟用推理或非推理模式。在非推理模式下,類似 Qwen3,我們會預先填入空白思考區塊,確保模型直接作答而不顯示明確推理。
SmolLM3 支援工具呼叫,其聊天範本設有兩個不同部分説明工具:XML Tools 和 Python Tools。我們的實驗證明,這種分類有助模型準確理解不同格式的工具定義。
聊天範本會為兩種推理模式提供預設系統訊息,並包含中繼資料區段,列出日期、知識截止日期和目前推理模式。使用者可提供 system 角色訊息,以取代預設系統訊息;在系統提示詞中加入 /system_override 標記,則可排除中繼資料區段,靈活配合特定用途。
監督式微調
完成以 140B 個一般推理數據 token 進行的推理中期訓練後,我們會進行監督式微調(SFT),加入數學、程式碼、一般推理、指令遵循、多語言和工具呼叫等領域的推理及非推理能力。訓練雙模式模型時,必須仔細平衡數據組合,才能維持兩種模式在所有目標領域的強大表現。為評估 SmolLM3 在訓練期間的表現,我們追蹤數學、程式碼、一般推理、指令遵循和多語言能力。
構建推理模式資料集時,我們遇到的主要挑戰,是某些領域缺乏包含推理軌跡的資料集。為填補缺口,我們使用現有非推理資料集中的提示詞,在推理模式下提示 Qwen3-32B,生成合成數據。這令我們能改善模型在推理模式下原先表現較弱的領域,例如多輪對話、多語言和日常對話。
.png&mode=full&exp=1795478400&sig=2e82fbf52257150b)
最終數據組合來自大量消融研究,探討推理與非推理 token 的最佳比例,以及各模式內部的數據組成。最終 SFT 資料集含 1.8B 個 token:非推理模式佔 1B,推理模式佔 0.8B,包括 12 個非推理資料集和 10 個含推理軌跡的資料集。我們使用 BFD(最佳適配遞減)打包訓練 4 個 epoch(約 8B 個 token),並遮蔽使用者回合和工具呼叫結果的損失。
我們會公開這套數據組合和完整訓練指令稿,讓社羣能重現並延伸我們的工作。
使用 Anchored Preference Optimization(APO)進行離策略模型對齊
完成 SFT 後,我們進行一輪模型對齊:非推理模式使用 Tulu3 偏好資料集,推理模式則使用新的合成偏好配對,並以 Qwen3-32B 和 Qwen3-0.6B 生成。為確保非思考資料集涵蓋所有領域,我們另外生成互補的思考模式偏好配對。對齊時,我們選取 Qwen3-32B 的生成內容作為「偏好」樣本,Qwen3-0.6B 的回應作為「不偏好」樣本,並使用 Anchored Preference Optimization。
.png&mode=full&exp=1795478400&sig=e7ab02b0f1fdce39)
Anchored Preference Optimization(APO)是 Direct Preference Optimization(DPO)的變體,提供更穩定的優化目標。在 DPO 中,獎勵函數 r_θ(x,y) 會衡量訓練期間序列機率與訓練開始時的模型(參考模型)機率之間的對數比:
.png&mode=full&exp=1795478400&sig=ed1e6fd496d39212)
此處 β 控制待優化模型相較於參考模型可改變多少。DPO 損失會優化提示詞 x、偏好回應 y_w 和不偏好回應 y_l 所構成的三元組:
.png&mode=full&exp=1795478400&sig=0dd32c5dafa3467a)
APO 目標函數已證明較穩定,我們的內部消融研究亦觀察到下游表現更佳。
.png&mode=full&exp=1795478400&sig=5a68ea6e4d174155)
下游評估顯示數學、科學、指令遵循、編程、聊天和多語言任務均有改善,但 RULER 等長上下文基準測試的表現有所下降。我們追查後發現,退步源於推理中期訓練階段:專注提升推理能力影響了長上下文表現。此外,APO 訓練數據上限為 24k token,因為絕大部分推理資料集都短於此長度。
為減輕表現下跌,我們探討以模型合併作為解決方案。
模型合併
模型合併是一種廣受採用且強大的技術,能結合不同模型的優點,無須承受集成模型的額外計算開銷,也不需要額外訓練。我們使用 MergeKit 函式庫合併模型,因為它提供多種合併方法,包括線性及非線性合併。
我們的合併方案分為兩個步驟:
- 把每個 APO 檢查點合併成模型「湯」。
- 把模型湯與長上下文表現強大的中期訓練檢查點合併。APO 模型湯和中期訓練檢查點分別使用 0.9 和 0.1 權重進行線性合併,效果最佳。我們成功恢復基礎模型在最多 128k 上下文的 RULER 分數。
最終模型就是我們今天發布的檢查點。它在各類任務中都維持良好表現。接下來看看這個模型和基礎模型的評估結果。
評估
我們會在推理及非推理模式下評估基礎模型和指令模型。先看看基礎模型的表現!
基礎模型
下圖展示 SmolLM3 在 12 個熱門基準測試上的勝率,涵蓋知識、推理、數學和編程能力。SmolLM3 的表現持續勝過其他 3B 模型,並可與 Qwen3-4B 和 Gemma3-4B 等大型 4B 模型競爭。
勝率評估所用基準測試:HellaSwag、ARC、Winogrande、CommonsenseQA、MMLU-CF、MMLU Pro CF、PIQA、OpenBookQA、GSM8K、MATH、HumanEval+、MBPP+
.png&mode=full&exp=1795478400&sig=9ec21873aaeba771)
SmolLM3 在 HellaSwag、ARC、BoolQ 等知識和推理基準測試中名列第一或第二,展現核心能力強大。數學和編程表現亦在 3B 級別具競爭力。模型在 Ruler 64k 的長上下文表現顯示,它能有效處理長序列。
.png&mode=full&exp=1795478400&sig=635d01fb40a2722e)
在 Global MMLU、MLMM HellaSwag、Flores-200、Belebele 等多語言基準測試中,模型於五種主要歐洲語言均展現強大的多語言表現,涵蓋知識、常識推理、文字理解和翻譯。這顯示 SmolLM3 在英語以外的語言亦能維持穩定表現。
.png&mode=full&exp=1795478400&sig=fe44b51e97cba316)
總括而言,基礎模型在多個領域都表現出色。接下來看看指令模型的表現如何。
雙模式指令/推理模型
由於 SmolLM3 同時具備指令和推理模式,我們需要在兩種模式下評估模型,並與具備相同能力的模型比較。
不延伸思考的評估
我們把 SmolLM3 與其他 3B 非推理模型比較,並在不思考模式下與 Qwen3 推理模型進行多項基準測試比較。效能圖表顯示,SmolLM3 超越 Llama3.2 3B Instruct 和 Qwen2.5 3B Instruct 等其他 3B 非推理模型,在效率與效能方面取得理想平衡:表現大幅超越 Qwen3 1.7B,同時接近 4B 模型,但計算成本更低。
.png&mode=full&exp=1795478400&sig=0aeaa916a92f406f)
因此,指令模型恰好處於效能與成本的 Pareto 前沿。接下來看看推理模型的表現!
延伸思考的評估
啟用延伸思考後評估 SmolLM3 推理能力,結果顯示大部分基準測試均較非推理版本大幅提升。在 AIME 2025 等高難度任務(36.7% 對 9.3%)、LiveCodeBench 競賽編程(30.0% 對 15.2%),以及 GPQA Diamond 研究生程度推理(41.7% 對 35.7%)中,提升尤其明顯。
Qwen3 4B 在思考和非思考模式下通常都取得最高分;SmolLM3 則在 3B 參數級別保持競爭力,尤其擅長數學推理和複雜問題解決。雙模式能力讓使用者可自行選擇較快、無推理的推論,或較深入的延伸思考。
.png&mode=full&exp=1795478400&sig=34651d89c511eaaa)
最後一個問題是:如何使用這個模型?
如何在本機運行
SmolLM3 的模型程式碼已整合至 transformers v4.53.0,請確保升級 transformers 版本。你亦可使用最新版 vllm 載入模型,它會以 transformers 作為後端。
pip install -U transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "HuggingFaceTB/SmolLM3-3B"
device = "cuda" # for GPU usage or "cpu" for CPU usage
# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
).to(device)
# prepare the model input
prompt = "Give me a brief explanation of gravity in simple terms."
messages_think = [
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages_think,
tokenize=False,
add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
# Generate the output
generated_ids = model.generate(**model_inputs, max_new_tokens=32768)
# Get and decode the output
output_ids = generated_ids[0][len(model_inputs.input_ids[0]) :]
print(tokenizer.decode(output_ids, skip_special_tokens=True))
我們建議在取樣參數中設定
temperature=0.6和top_p=0.95。
啟用與停用延伸思考模式
延伸思考預設為啟用,因此上方示例會生成帶有推理軌跡的輸出。若要選擇是否啟用,可在系統提示詞中加入 /think 和 /no_think 標記;下方片段示範如何停用延伸思考。要生成啟用延伸思考的回應,程式碼相同,只需在系統提示詞使用 /think,而非 /no_think。
prompt = "Give me a brief explanation of gravity in simple terms."
messages = [
{"role": "system", "content": "/no_think"},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
)
代理式使用
SmolLM3 支援工具呼叫!只需把工具清單傳入參數 xml_tools (一般工具呼叫),或 python_tools (呼叫 <code> 片段中的 Python 函數)。
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM3-3B"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint)
tools = [
{
"name": "get_weather",
"description": "Get the weather in a city",
"parameters": {"type": "object", "properties": {"city": {"type": "string", "description": "The city to get the weather for"}}}}
]
messages = [
{
"role": "user",
"content": "Hello! How is the weather today in Copenhagen?"
}
]
inputs = tokenizer.apply_chat_template(
messages,
enable_thinking=False, # True works as well, your choice!
xml_tools=tools,
add_generation_prompt=True,
tokenize=True,
return_tensors="pt"
)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))
結論
我們發布了 SmolLM3:一款支援最多 128k 上下文的小型、多語言長上下文推理模型。除了模型檢查點外,我們亦公開完整訓練方案,包括預訓練、中期訓練、後訓練及合成數據生成方法,以及資料集(即將推出)。希望社羣覺得這款模型實用,而訓練方案亦能協助其他團隊改進模型。
資源
- 量化檢查點模型合集:連結
- SmolLM GitHub 儲存庫,包含預訓練配置和評估程式碼:https://github.com/huggingface/smollm
- 我們的 Hugging Face 機構:https://huggingface.co/HuggingFaceTB
引用
@misc{bakouch2025smollm3,
title={{SmolLM3: smol, multilingual, long-context reasoner}},
author={Bakouch, Elie and Ben Allal, Loubna and Lozhkov, Anton and Tazi, Nouamane and Tunstall, Lewis and Patiño, Carlos Miguel and Beeching, Edward and Roucher, Aymeric and Reedi, Aksel Joonas and Gallouédec, Quentin and Rasul, Kashif and Habib, Nathan and Fourrier, Clémentine and Kydlicek, Hynek and Penedo, Guilherme and Larcher, Hugo and Morlon, Mathieu and Srivastav, Vaibhav and Lochner, Joshua and Nguyen, Xuan-Son and Raffel, Colin and von Werra, Leandro and Wolf, Thomas},
year={2025},
howpublished={\url{https://huggingface.co/blog/smollm3}}
}
來源:Hugging Face Blog · huggingface.co