Hugging Face 發佈 135M、360M 和 1.7B 三種 SmolLM 模型及 SmolLM-Corpus
SmolLM - blazingly fast and remarkably powerful
Hugging Face 發佈 135M、360M 和 1.7B 三種 SmolLM 模型,並公開訓練語料 SmolLM-Corpus。語料包括 28B tokens 的 Cosmopedia v2、4B tokens 的 Python-Edu,以及 220B tokens 的 FineWeb-Edu;三款模型分別以 600B、600B 和 1T tokens 訓練。
文章梳理 SmolLM 的資料集整理流程、訓練配置與各參數級別的基準結果,並列出三種模型規模及本地運行選項,便於比較小型模型的訓練和部署取捨。
重點摘要
這篇網誌介紹SmolLM,這是一系列最先進的小型模型,分別有 135M、360M 和 1.7B 參數,並以全新高品質資料集訓練。文章會介紹資料整理、模型評估和使用方法。
簡介
愈來愈多人關注可在本機裝置運行的小型語言模型。相關技術包括蒸餾或量化以壓縮大型模型,以及使用大型資料集從頭訓練小型模型。這些方法既帶來全新應用,也大幅降低推論成本並提升用戶私隱。
Microsoft 的 Phi 系列、Alibaba 的 Qwen2(少於 2B)和 Meta 的 MobileLLM 都顯示,只要經過周詳設計和訓練,小型模型也能取得出色成果。不過,這些模型的資料整理和訓練細節大多沒有公開。
這篇網誌很高興介紹SmolLM,一系列最先進的小型語言模型,提供三種大小:135M、360M 和 1.7B 參數。模型以精心整理的高品質訓練語料建構;我們亦將語料以SmolLM-Corpus名義發布。SmolLM Corpus 包括:
- Cosmopedia v2:由 Mixtral 生成的合成教科書和故事集(28B tokens)
- Python-Edu:來自 The Stack 的 Python 教育示例(4B tokens)
- FineWeb-Edu(去重版):來自 FineWeb 的教育類網頁示例(220B tokens)
評估結果顯示,在涵蓋常識推理和世界知識的多種基準測試中,SmolLM 模型勝過同一參數規模的其他模型。本文會介紹訓練語料中各子集的整理方式,再討論 SmolLM 模型的訓練和評估。

SmolLM 模型在不同推理和常識基準測試中的評估結果。
資料整理
從 Cosmopedia v1 到 v2
Cosmopedia v2是 Cosmopedia 的升級版本。Cosmopedia 是規模最大的預訓練合成資料集,包含 Mixtral-8x7B-Instruct-v0.1 生成的超過 3,000 萬本教科書、網誌文章和故事。大部分示例都是提示模型,利用稱為「種子示例」的網頁內容,按指定主題生成材料,如圖 1 所示。我們使用網頁示例提升多樣性並擴展提示詞範圍。詳情請參閲這篇網誌。

圖 1:Cosmopedia 提示詞示例。
為了改進 v2 資料集,我們嘗試了兩種方法:
- 使用能力更強的模型,沿用相同提示詞
- 最佳化提示詞本身
第一種方法中,我們試用 llama3-70B-Instruct、Mixtral-8x22B-Instruct-v0.1 和 Qwen1.5-72B-Chat,但發現使用這些替代模型生成的教科書訓練模型,效能並無顯著提升。因此,本節其餘內容會聚焦第二種方法:如何改進提示詞。
尋找更好的主題和種子示例
每個提示詞包含三個主要部分:主題、種子示例,以及生成風格;生成風格會指定目標讀者和希望模型生成的內容類型。
為確保生成內容一致,我們需要與指定主題密切相關的種子示例。在 Cosmopedia v1 中,我們對 FineWeb 示例進行分羣,以找出主題和相應網頁示例,如圖 2 所示。這種方法有兩大限制:
- 主題清單反映網頁/FineWeb 分羣結果;雖然內容全面,但可能限制我們控制主題的能力。
- 每個羣組內的網頁示例沒有進一步篩選,因此可能包含一些低品質示例。

圖 2:FineWeb 分羣。
v2 不再採用這種無監督分羣方法,而是先使用BISAC 圖書分類中的預設 34,000 個主題。這是按主題分類圖書的標準,涵蓋面廣,也以教育內容為重。我們先選出屬於 51 個類別的 5,000 個主題,再要求 Mixtral 為部分主題生成子題。以下是各類別最終的子題分佈:

圖 3:提示詞使用的主要類別主題分佈。
確定主題後,我們仍要尋找相關網頁。就像使用搜尋引擎查找特定主題的內容,我們建立搜尋工具,為每個主題檢索最相關的網頁。我們以 BISAC 類別及其子題作為查詢,在 FineWeb 的 CC-MAIN-2024-10 和 CC-MAIN-2023-50 傾印資料中執行搜尋;兩者合計超過 5.2 億個示例。每項查詢都擷取 1,000 個網頁,確保只取得最相關內容。部署和執行搜尋工具的程式碼在此提供。
因此,我們整理出涵蓋 34,000 個主題的 3,400 萬個網頁。下一步是判斷哪種生成風格效果最好。

圖 4:「醫療」類別的主題及其檢索到的示例。
生成風格
為了找出最有效的生成風格,我們進行消融研究,使用 Cosmopedia v1 不同子集中的 8B tokens 訓練 1.8B 模型。對於新生成的資料,我們只生成 2B tokens,並訓練 4 個 epoch 以節省時間(使用 Mixtral 生成 2B tokens 約需 1,000 個 GPU 小時)。我們採用與FineWeb 消融模型相同的訓練和評估設定。每項實驗使用兩個不同隨機種子執行兩次,再取兩次結果的平均分數。
我們比較了 Cosmopedia v1 以下子集的表現:
- 網頁教科書子集
- 故事子集
- Stanford 和 OpenStax 子集
我們發現,以 Stanford 和 OpenStax 等精選來源的主題和種子示例製作教科書,整體表現最佳,在 MMLU 和 ARC 基準測試中勝過網頁教科書。故事則似乎有助常識基準測試。v2 採用新的主題和種子示例檢索方法後,使用網頁種子示例也能達到精選來源的表現,證實新提示詞的品質。
接着,我們研究哪種目標讀者風格效果最好。我們使用相同的網頁教科書提示詞,分別以中學生和大學生為目標讀者生成教科書。結果發現,以中學生為主要對象的教科書訓練出的模型,在除 MMLU 外的所有基準測試中分數最高。原因可能是大多數測試考核基本常識和初階至中階科學知識,而 MMLU 則包含一些需要進階知識和專業技能的問題。

不同目標讀者教科書的評估結果。

不同目標讀者教科書的評估結果。
在 v2 中,我們決定把 40% 內容設定為面向中學生、30% 面向大學生,其餘 30% 則採用其他讀者和風格混合,包括從 Cosmopedia v1 沿用的故事及以 Stanford 課程為基礎的教科書等子集。此外,我們使用來自 AutoMathText 資料集的 Python 種子示例,生成 1B 份程式碼教科書。
最終,我們製作了 3,900 萬份合成文件,包含 280 億 tokens 的教科書、故事、文章和程式碼,涵蓋不同讀者類型和超過 34,000 個主題。
FineWeb-Edu
FineWeb-Edu 是我們幾個月前隨 FineWeb技術報告一同發布的資料集。 它包含從 🍷 FineWeb 資料集篩選出的1.3T tokens教育類網頁。
我們利用 Llama3-70B-Instruct 生成的標註,開發了教育品質分類器,再用它從 FineWeb 中保留教育價值最高的網頁。FineWeb-Edu 在熱門基準測試中勝過 FineWeb,顯示使用合成資料訓練分類器的效用。

FineWeb-Edu 與其他開放網頁資料集的比較。
Smollm-Corpus 收錄 FineWeb 中去重後的 220B tokens。
Stack-Edu-Python
我們把 FineWeb-Edu 的相同方法應用於程式碼。我們使用 Llama3 為 The Stack 資料集中的 500,000 個 Python 示例加上標註,再按照 FineWeb-Edu 分類器相同流程訓練教育程式碼分類器。之後,我們把分類器套用於 StarCoder 模型訓練語料中的 Python 子集。在可用的 40B Python tokens 中,只保留得分為 4 或以上的示例,最後得到 4B tokens 的精選資料集。
下圖比較 Python-Edu、未篩選 Python 程式碼,以及採用較寬鬆門檻 3 的結果。可見,以 Python-Edu 訓練的模型收斂速度比使用未篩選 Python 程式碼快超過 3 倍,只用 12B tokens 便達到 16% pass@1。

Python-Edu 與未篩選 Python 程式碼的比較。
訓練
SmolLM 模型有三種大小,並使用以下資料組合訓練:
- 135M 和 360M 模型各使用 Smollm-Corpus 中的 600B tokens 訓練,Smollm-Corpus
- 1.7B 模型使用 Smollm-Corpus 中的 1T tokens 訓練

SmolLM 模型的訓練資料組合。
超參數選擇
我們採用梯形學習率排程器,並設定冷卻階段佔總訓練時間的 20%。請注意,這個排程的原始實驗規模較小,我們已為較大型模型調整設定。
135M 和 360M 參數模型的架構採用類似MobileLLM的設計,使用分組查詢注意力(GQA),並優先增加深度而非寬度。1.7B 參數模型則使用較傳統的架構。三款模型都採用嵌入權重綁定和 2048 tokens 的上下文長度;透過長上下文微調,還可以進一步延長上下文。
各模型大小的詳細架構規格如下:

SmolLM 模型的架構詳情。
我們使用以 Smollm Corpus 訓練、詞彙表大小為 49152 的 tokenizer。
實驗
使用梯形排程器的一項優點,是可縮短進行 scaling law 實驗所需時間,如Hägele 等人所示。我們以最小型模型 SmolLM-125M 進行小規模 scaling law 研究,展示此優點。即使超過 Chinchilla 最佳點,訓練時間更長仍能提升效能。因此,我們決定使用 1 萬億 tokens 訓練 1.7B 模型,並使用 600B tokens 訓練 135M 和 360M 模型;對這些較小模型而言,部分基準測試在 400B tokens 後效能增益開始放緩。

以不同 token 數訓練的 125M SmolLM 模型評估結果。
我們試過在冷卻階段加入指令資料集,以及增加精選 Cosmopedia 子集的抽樣比例,但未見顯著改進。這可能是因為主要資料組合品質已很高,限制了這些改動能帶來的影響。
為追蹤訓練進度,我們每訓練 2B tokens 就評估兩個最小型模型。以下圖表顯示它們在多項基準測試中的表現:

SmolLM-135M 和 SmolLM-360M 在多項基準測試中的中期評估結果。
評估
本節會評估不同參數規模的 SmolLM 模型,並與各自類別中的最佳模型比較。我們使用多種測試常識推理和世界知識的基準測試,並以這套設定和 lighteval 函式庫評估所有模型。HumanEval 使用 [bigcode-evaluation-harness](我們使用温度 0.2、top-p 0.95,抽樣 20 次。)並採用温度 0.2、top-p 0.95 和 20 個樣本。對於未公開的 MobileLLM,則盡可能採用論文中報告的數值。
我們發現:
- SmolLM-135M 的表現勝過參數少於 200M 的目前最佳模型 MobileLM-125M,儘管前者只使用 600B tokens 訓練,後者則使用 1T tokens。
- SmolLM**-**360M 儘管參數較少,且訓練 token 少於 1 萬億(600B),表現仍勝過所有少於 500M 參數的模型,包括 MobileLM-350M 和 Qwen2-500M。
- SmolLM-1.7B 勝過所有少於 2B 參數的模型,包括 Microsoft 的 Phi1.5、MobileLM-1.5B 和 Qwen2-1.5B。
- SmolLM-1.7B 的 Python 編碼表現出色,pass@1 為 24。我們注意到,Qwen2-1.5B 的評估分數與 Qwen 團隊報告的 31.1 pass@1 不同。測試使用温度 0.2、top-p 0.95 和 20 個樣本。

SmolLM 模型與其他 SLM 的比較。所有模型都使用相同設定評估,但未公開的 MobieLLM 除外。

SmolLM 模型在 HumanEval 的評估結果。
我們亦使用公開、寬鬆授權的指令資料集對模型進行指令微調。三款模型都在WebInstructSub 資料集的寬鬆授權子集中訓練 1 個 epoch,並混合 StarCoder2-Self-OSS-Instruct。其後再進行 1 個 epoch 的 DPO(直接偏好最佳化):135M 和 1.7B 模型使用HelpSteer,360M 模型則使用argilla/dpo-mix-7k。我們採用alignment handbook中的 Zephyr-Gemma 配方訓練參數,但把 SFT(監督式微調)學習率調整為 3e-4。
下表顯示 SmolLM-Instruct 和其他模型在 IFEval 基準測試(提示詞嚴格準確度)中的表現。Qwen2-1.5B-Instruct 模型分數最高,為 29.94;SmolLM-Instruct 模型則以較小規模取得良好平衡,並且只使用公開、寬鬆授權的資料集。

SmolLM-Instruct 模型在 IFEval 的評估結果。
如何在本機執行?
我們的模型體積小,可在不同硬件配置的本機裝置上運行。作為參考,iPhone 15 配備 6GB DRAM,iPhone 15 Pro 則有 8GB。這些記憶體需求令模型適合部署於各類裝置,從智能手機到手提電腦皆可。我們測試了三種模型大小的記憶體佔用:

SmolLM 模型的記憶體佔用。
除了 Transformers 檢查點外,我們亦發布 ONNX 檢查點,並計劃加入相容於 llama.cpp 的 GGUF 版本。你可以在https://huggingface.co/spaces/HuggingFaceTB/SmolLM-135M-Instruct-WebGPU和https://huggingface.co/spaces/HuggingFaceTB/SmolLM-360M-Instruct-WebGPU試用 SmolLM-135M 和 Smol-LM360M 的 WebGPU 示範。
總結
這篇網誌介紹 SmolLM 模型,這是一系列最先進的新型小型 LLM。它們顯示,小型語言模型只要透過高品質資料集有效訓練,也能取得高效能,在模型規模和表現之間取得良好平衡。
資源
- SmolLM 模型系列:https://huggingface.co/collections/HuggingFaceTB/smollm-models-6695016cad7167254ce15966
- SmolLM-Corpus 資料集:https://huggingface.co/datasets/HuggingFaceTB/smollm-corpus
- WebGPU 示範:https://huggingface.co/spaces/HuggingFaceTB/SmolLM-135M-Instruct-WebGPU和https://huggingface.co/spaces/HuggingFaceTB/SmolLM-360M-Instruct-WebGPU
來源:Hugging Face Blog · huggingface.co