Granite 4.1 LLM 如何構建:預訓練、微調與強化學習流程
Granite 4.1 LLMs: How They’re Built
Granite Team(IBM)詳述 Granite 4.1 的 3B、8B 和 30B 模型構建流程,涵蓋預訓練、監督式微調和多階段強化學習。預訓練以約 15T tokens 分五階段進行,並將上下文窗口擴至最高 512K tokens;其後以約 4.1M 經整理樣本作微調,採用 on-policy GRPO 配合 DAPO loss 進行強化學習。
文章梳理 Granite 4.1 從約 15T tokens 預訓練、約 4.1M 樣本微調到多階段強化學習的流程,呈現 dense 模型的訓練設計取捨。
深入介紹 Granite 4.1 LLM 背後的數據工程、預訓練、監督式微調和強化學習技術。
作者:Granite 團隊、IBM
重點摘要 — Granite 4.1 是一系列密集型、僅解碼器 LLM(3B、8B 和 30B),使用多階段預訓練流程,以約 15T 個 token 訓練,其中包括把長上下文延伸至最多 512K 個 token。模型再以約 4.1M 個精選高質素樣本進行監督式微調,並透過採用策略 GRPO 和 DAPO 損失進行強化學習(Yu 等人,2025)。值得注意的是,8B 指令模型採用較簡單、參數較少的密集架構,表現仍媲美或超越上一代 Granite 4.0-H-Small(32B-A9B MoE)。所有 Granite 4.1 模型均以 Apache 2.0 授權發布。
連結:
概覽
打造高質素小型語言模型,不只是擴大運算規模,更需要在整個訓練過程中嚴謹整理數據。對 Granite 4.1 而言,我們重視數據質素多於數量,並在五個預訓練階段逐步改良數據組合。我們亦使用「LLM 作評審」框架精選監督式微調數據,並採用多階段強化學習流程,有系統地提升數學、編程、指令遵循和一般對話能力。
模型架構
Granite 4.1 模型採用密集型 Transformer 架構,僅包含解碼器。核心設計包括分組查詢注意力(GQA)、旋轉位置嵌入(RoPE)、SwiGLU 啟動函數、RMSNorm,以及共享輸入/輸出嵌入。
| 元件 | 3B 密集型 | 8B 密集型 | 30B 密集型 |
|---|---|---|---|
| 嵌入維度 | 2560 | 4096 | 4096 |
| 層數 | 40 | 40 | 64 |
| 注意力頭大小 | 64 | 128 | 128 |
| 注意力頭數量 | 40 | 32 | 32 |
| KV 頭數量 | 8 | 8 | 8 |
| MLP 隱藏層大小 | 8192 | 12800 | 32768 |
| MLP 啟動函數 | SwiGLU | SwiGLU | SwiGLU |
| 位置嵌入 | RoPE | RoPE | RoPE |
三種模型規模共用相同的訓練流程和數據策略,只有架構維度不同。
預訓練
Granite 4.1 從頭開始訓練,使用約 15 萬億個 token,並採取五階段訓練策略。第 1–2 階段為基礎預訓練;第 3–4 階段以逐步提高質素的數據退火進行中期訓練;第 5 階段則進行長上下文訓練,把上下文視窗延伸至 512K 個 token。每個階段採用不同的數據組合和學習率排程,逐步由廣泛的網絡規模數據轉向更精選、針對領域的內容。
圖 2:五階段預訓練流程。第 1–2 階段為預訓練;第 3–4 階段為中期訓練(高質素數據退火);第 5 階段為長上下文訓練(LCE)。
階段 1:一般預訓練(10T 個 token)
第一階段使用一般訓練數據組合、冪次學習率排程及預熱,建立廣泛的語言理解能力。
數據組成:
- CommonCrawl 約 59% — 一般網絡數據
- 程式碼 約 20% — 程式語言及儲存庫
- 數學 約 7% — 數學推理數據
- 技術內容 約 10.5% — 科學論文、技術文件及手冊
- 多語言 約 2% — 非英語數據
- 領域專用 約 1.5% — 特定領域內容
階段 2:數學/程式碼預訓練(2T 個 token)
第二階段大幅提高程式碼和數學數據的比例,轉向加強推理能力,同時仍維持一般語言覆蓋範圍。
數據組成:
- 數學 約 35% — 比階段 1 增加 5 倍
- 程式碼 約 30% — 增加 1.5 倍
- CommonCrawl-HQ 約 12% — 高質素 Common Crawl 子集
- 合成數據 約 9% — 高質素合成數據
- 技術內容 約 10%
- 多語言 約 3%
- 領域數據 約 1%
階段 3:高質素數據退火(2T 個 token)
第三階段進入中期訓練,採用更均衡、高質素的數據組合和指數衰減學習率排程。由此階段開始加入思維鏈及合成指令數據。
數據組成:
- CommonCrawl-HQ 約 16.67%
- 數學 約 16.67%
- 程式碼 約 16.67%
- 合成數據 約 8.5%
- 技術內容 約 12.5%
- 多語言 約 4.5%
- 長思維鏈 約 12.5% — 推理軌跡
- 語言指令 約 7.5% — 指令微調數據
- 程式碼指令 約 4.5% — 指令微調數據
階段 4:高質素數據退火 — 精煉(0.5T 個 token)
第四階段繼續中期訓練,學習率以線性方式衰減至零,集中使用可取得的最高質素數據。
數據組成:
- CommonCrawl-HQ 約 40%
- 程式碼 約 20%
- 數學 約 20%
- 長思維鏈 約 6%
- 程式碼指令 約 5%
- 語言指令 約 9%
圖 3:預訓練各階段的數據組合變化。請留意,數據逐步由以網絡內容為主(階段 1)轉向以質素為重,並加入指令和推理數據(階段 3–4)。
階段 5:長上下文訓練(LCE)
第五階段亦是最後階段,屬於中期訓練的一部分,會透過分階段的長上下文延伸流程,把上下文視窗由 4K 擴展至 512K:
- 延伸至 32K — 使用與階段 4 相同的數據組合
- 延伸至 128K — 使用與階段 4 相同的數據組合
- 延伸至 512K — 80% 書籍 + 20% 程式碼儲存庫數據(只適用 8b 和 30b)
LCE 階段使用指數學習率排程,由 1e-4 開始並衰減至 0。為確保模型能原生處理長序列而不損害短上下文表現,我們會在每個 LCE 階段後合併模型。基礎模型的 RULER 基準測試:
| 模型名稱 | 32K | 64K | 128K |
|---|---|---|---|
| granite-4.1-3b-base | 75.0 | 66.6 | 58.0 |
| granite-4.1-8b-base | 83.6 | 79.1 | 73.0 |
| granite-4.1-30b-base | 85.2 | 84.6 | 76.7 |
SFT:數據準備與質素控制
監督式微調(SFT)能把基礎模型轉化為可靠、遵循指令的助理,因此數據質素至關重要;即使少量錯誤或幻覺樣本,也可能令模型養成不良行為。為此,我們採用嚴謹的「LLM 作評審」框架,配合規則式篩選,精選高質素樣本。整條流程會自動按結構、語義和行為準則評估每個樣本,並在可行情況下修正問題,剔除未達質素標準的樣本。
圖 4:SFT 數據質素流程。原始對話數據經多維準則的 LLM 評審,得出接受/邊緣/拒絕判定。幻覺、錯誤前提及計算錯誤等嚴重缺陷,無論分數如何都會自動拒絕。
我們嚴謹的「LLM 作評審」框架只評估助理回應,系統提示、使用者輸入、檢索文件及工具輸出一律只作上下文資訊。這能確保評審衡量模型實際説了甚麼,而非它被要求做甚麼。在 RAG 情境中,沒有檢索上下文作依據的回應會被標記為幻覺;工具使用輸出則會按允許使用的工具清單及其參數結構驗證。
我們會按不同 SFT 數據類型使用專門設計的評審提示詞,包括多輪對話、RAG 增強回應、工具呼叫互動及多語言對話。每個回應會按六個加權維度評分:指令遵循、正確性、完整性、精簡度、自然度和校準度(並可選擇檢查批判思考)。系統按確定性分數門檻接受、標記為邊緣或拒絕樣本;若有幻覺、錯誤前提或計算錯誤等嚴重缺陷,硬性拒絕規則會凌駕分數。
為補充語義評估,我們採用確定性的規則式流程,透過文字正規化、截斷和長度篩選、結構驗證及洩漏偵測,確保結構完整。最後進行全局去重,確保整個資料集內容不重複。所有篩選和修正操作均可完整審核。
SFT 訓練詳情
經過 LLM 評審、規則式篩選和全局去重流程後,我們以約 4.1 百萬個高質素樣本微調基礎模型。以下詳情適用於三種模型版本:
訓練配置:
| 參數 | 數值 |
|---|---|
| 運算資源 | 16 個節點,每個節點配備 4x GB200 |
| 訓練週期 | 3 |
| 學習率 | 5e-6(線性預熱 3%,約 25K 步內線性衰減) |
| 序列長度 | 16,384 個 token |
| 樣本總數 | 約 4.1M |
| 有效批次大小 | 每次迭代 256 個樣本(約 4.2M 個 token/次迭代) |
強化學習:多階段 RL 流程
完成 SFT 後,我們會採用多階段強化學習流程,進一步提升模型在特定領域的能力。我們不只進行一次 RL,而是安排多個具針對性的 RL 階段,分別優化不同能力。
訓練方法
我們使用採用策略 GRPO(羣組相對策略優化)(Shao 等人,2024),配合DAPO(解耦裁剪與動態採樣策略優化)損失(Yu 等人,2025),相較標準 GRPO 可提供更穩定的訓練訊號。不過,由於動態採樣的計算成本很高,我們在訓練期間停用了這項功能。
RL 訓練配置
| 參數 | 數值 |
|---|---|
| 演算法 | 採用策略 GRPO,使用 DAPO 損失 |
| 訓練堆疊 | SkyRL(NovaSky-AI,2025) |
| 每個提示詞的樣本數 | 16 |
| 訓練批次大小 | 1024 |
| 上下文長度 | 8,192 |
RL 流程
圖 10 展示我們用來訓練 Granite 4.1 模型的強化學習流程。透過大量試驗不同強化學習方案,我們發現這個步驟次序既能減少災難性遺忘,同時又能提升模型在多個領域的表現。
圖 10:Granite 4.1 強化學習流程包含四個連續階段:多領域 RL、RLHF、身分與知識校準 RL,以及數學 RL。
多領域 RL
此階段會以來自多個領域的統一混合數據共同訓練模型。因此,每次梯度更新都反映任務的完整多樣性,避免災難性遺忘、提升整體基準表現,並盡量減少個別任務的退步。
此階段涵蓋的不同領域包括:
| 領域 | 説明 |
|---|---|
| 數學 | 數學推理與計算 |
| 科學 | 科學知識與推理 |
| 邏輯推理 | 演繹與歸納邏輯 |
| 指令遵循(IF) | 遵從複雜指令 |
| 結構化輸出 | 結構化數據輸出 |
| Text2SQL | 資料庫查詢生成 |
| 時間推理 | 以時間為基礎的邏輯和排序 |
| 一般對話 | 一般對話質素 |
| 上下文學習 | 從上下文示例中學習 |
此階段我們以 45,504 個獨特提示詞訓練模型(按所有 Granite 4.1 模型的平均值計算),並發現使用 5e‑7 學習率和 KL 損失係數($\beta$)為 0.05 時,多領域強化學習的效果最佳。
RLHF
為進一步提升模型的助人程度和對話能力,我們使用多語言純量獎勵模型,以一般對話提示詞訓練模型。此階段讓三種 Granite 4.1 模型在 Alpaca-Eval 的平均分數,相較 SFT 檢查點提高約 18.9 分。
為減輕已學知識的策略漂移,此階段採用較保守的 3e-7 學習率及較高的 0.09 KL 損失係數($\beta$)。此 RLHF 階段平均使用 17,920 個獨特提示詞。
身分與知識校準 RL
此階段會使用身分和知識校準提示詞訓練模型數個步驟(約 40 個訓練步驟)。我們觀察到,這個短暫訓練階段可顯著提升模型的自我識別能力。
與 RLHF 階段相若,我們使用 3e-7 學習率和 0.09 KL 損失係數($\beta$);此階段使用 1728 個獨特提示詞。
數學 RL
在 RL 訓練期間,我們發現 RLHF 階段會令數學基準分數下降(例如 GSM8K、DeepMind-Math)。數學 RL 階段可讓模型從跌幅中恢復,並在數學基準上超越原有 SFT 表現:GSM8K 平均提高約 3.8 分,DeepMind-Math 平均提高約 23.48 分。此階段平均使用 13,504 個獨特提示詞,並採用與多領域 RL 階段相同的 5e-7 學習率及 0.05 KL 損失係數($\beta$)。
結果
基礎模型基準測試
| 基準測試 | 指標 | 3B | 8B | 30B |
|---|---|---|---|---|
| 一般任務 | ||||
| MMLU | 5-shot | 66.47 | 73.60 | 78.44 |
| MMLU-Pro | 5-shot,CoT | 37.16 | 44.58 | 49.51 |
| BBH | 3-shot,CoT | 63.84 | 73.83 | 80.66 |
| AGI EVAL | 3-shot | 54.32 | 61.68 | 69.20 |
| DROP | 5-shot | 66.04 | 72.36 | 78.57 |
| 數學任務 | ||||
| GSM8K | 8-shot | 72.93 | 73.54 | 83.78 |
| Minerva Math | 4-shot | 38.00 | 43.42 | 45.66 |
| 程式碼任務 | ||||
| HumanEval | pass@1(StarCoder) | 76.19 | 79.24 | 81.52 |
| HumanEval | pass@1 | 59.76 | 68.29 | 69.50 |
| HumanEval+ | pass@1 | 54.27 | 62.20 | 61.60 |
| Eval+ 平均分 | 65.94 | 62.05 | 63.90 | |
| 多語言任務 | ||||
| MMMLU | 5-shot | 56.59 | 64.73 | 73.36 |
| INCLUDE | 5-shot | 51.77 | 57.60 | 67.07 |
| MGSM | 8-shot | 58.48 | 63.68 | 74.40 |
指令模型基準測試
| 基準測試 | 指標 | 3B | 8B | 30B |
|---|---|---|---|---|
| 一般任務 | ||||
| MMLU | 5-shot | 67.02 | 73.84 | 80.16 |
| MMLU-Pro | 5-shot,CoT | 49.83 | 55.99 | 64.09 |
| BBH | 3-shot,CoT | 75.83 | 80.51 | 83.74 |
| AGI EVAL | 0-shot,CoT | 65.16 | 72.43 | 77.80 |
| GPQA | 0-shot,CoT | 31.70 | 41.96 | 45.76 |
| SimpleQA | 3.68 | 4.82 | 6.81 | |
| 對齊任務 | ||||
| AlpacaEval 2.0 | 38.57 | 50.08 | 56.16 | |
| IFEval 平均分 | 82.30 | 87.06 | 89.65 | |
| ArenaHard | 37.80 | 68.98 | 71.02 | |
| MTBench 平均分 | 7.53 | 8.50 | 8.53 | |
| 數學任務 | ||||
| GSM8K | 8-shot | 86.88 | 92.49 | 94.16 |
| GSM Symbolic | 8-shot | 81.32 | 83.70 | 75.70 |
| Minerva Math | 0-shot,CoT | 67.94 | 80.10 | 81.32 |
| DeepMind Math | 0-shot,CoT | 64.64 | 80.07 | 81.93 |
| 程式碼任務 | ||||
| HumanEval | pass@1 | 79.27 | 87.20 | 89.63 |
| HumanEval+ | pass@1 | 74.39 | 80.49 | 85.98 |
| MBPP | pass@1 | 61.64 | 82.54 | 83.33 |
| MBPP+ | pass@1 | 52.91 | 70.64 | 71.69 |
| CRUXEval-O | pass@1 | 40.75 | 47.63 | 55.75 |
| BigCodeBench | pass@1 | 32.19 | 35.00 | 38.77 |
| MULTIPLE | pass@1 | 52.54 | 60.26 | 62.31 |
| Eval+ 平均分 | pass@1 | 67.05 | 80.21 | 82.66 |
| 工具呼叫 | ||||
| BFCL v3 | 60.80 | 68.27 | 73.68 | |
| 多語言任務 | ||||
| MMMLU | 5-shot | 57.61 | 64.84 | 73.71 |
| INCLUDE | 5-shot | 52.05 | 58.89 | 67.26 |
| MGSM | 8-shot | 70.00 | 82.32 | 71.12 |
| 安全性 | ||||
| SALAD-Bench | 93.95 | 95.80 | 96.41 | |
| AttaQ | 81.88 | 81.19 | 85.76 | |
| Tulu3 安全評估平均分 | 66.84 | 75.57 | 78.19 |
支援語言:英語、德語、西班牙語、法語、日語、葡萄牙語、阿拉伯語、捷克語、意大利語、韓語、荷蘭語和中文。
Granite 4.1 與主流開源模型比較
Granite 4.1 無須依賴冗長思維鏈,便能提供具競爭力的指令遵循和工具呼叫能力。避免生成冗長推理軌跡,有助提供可預期的延遲、穩定的 token 用量及較低營運成本。因此,Granite 4.1 適合對效率、可靠性和成本控制有嚴格要求的企業工作負載,可作為即時投入生產的開源選擇。
Granite 4.1-8B 與 Granite 4.0-H-Small(32B-A9B)比較
結果令人矚目:Granite 4.1-8B 密集模型的表現,持續媲美或超越上一代 Granite 4.0-H-Small;後者是具有 32B 參數、其中 9B 為啟用參數的混合專家模型。
圖 13:各項基準測試中,Granite 4.1-8B(深藍)與 Granite 4.0-H-Small 32B-A9B(淺藍)的比較。8B 密集模型在 IFEval、AlpacaEval、MMLU-Pro、BBH、GSM8K、DeepMind-Math、Evalplus、ArenaHard、BFCL V3 及 MBPP(+) 上,表現媲美或超越規模更大的 MoE 模型。
Granite 4.1 模型系列比較
圖 14:Granite 4.1 系列模型比較:30B、8B 和 3B。分數隨模型規模有規律地上升,30B 模型在所有基準測試中領先。
FP8 量化
我們亦發布了 Granite 4.1 模型的 fp8 量化版本,並針對使用 vLLM 進行推論作優化。精度由 16 位元降低至 8 位元,令磁碟佔用和 GPU 記憶體用量均減少約 50%。量化只應用於 Transformer 區塊內線性運算子的權重和啟動值,並使用 LLM Compressor;其他所有層均保留原有精度。
基礎設施
我們在 CoreWeave 託管的NVIDIA GB200 NVL72 叢集上訓練 Granite 4.1 語言模型:
- 機架內通訊:72-GPU NVLink 網域
- 機架間通訊:非阻塞、全 Fat-Tree NDR 400 Gb/s InfiniBand 網絡
- 規模:整個叢集包含數千個 GPU
這套基礎設施提供可擴展、高頻寬的互連網絡,讓分散式訓練能以所需 token 規模(單是預訓練已超過 15T 個 token)高效運作。
開始使用
Granite 4.1 模型採用 Apache 2.0 授權。以下示範如何使用 30B 指令模型及工具呼叫範例開始操作:
pip install torch torchvision torchaudio
pip install accelerate
pip install transformers
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda"
model_path = "ibm-granite/granite-4.1-30b"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()
tools = [
{
"type": "function",
"function": {
"name": "get_current_weather",
"description": "Get the current weather for a specified city.",
"parameters": {
"type": "object",
"properties": {
"city": {
"type": "string",
"description": "Name of the city"
}
},
"required": ["city"]
}
}
}
]
# change input text as desired
chat = [
{ "role": "user", "content": "What's the weather like in London right now?" },
]
chat = tokenizer.apply_chat_template(chat, \
tokenize=False, \
tools=tools, \
add_generation_prompt=True)
# tokenize the text
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
# generate output tokens
output = model.generate(**input_tokens,
max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# print output
print(output[0])
預期輸出:
<|start_of_role|>system<|end_of_role|>You are a helpful assistant with access to the following tools. You may call one or more tools to assist with the user query.
You are provided with function signatures within <tools></tools> XML tags:
<tools>
{"type": "function", "function": {"name": "get_current_weather", "description": "Get the current weather for a specified city.", "parameters": {"type": "object", "properties": {"city": {"type": "string", "description": "Name of the city"}}, "required": ["city"]}}}
</tools>
For each tool call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call>. If a tool does not exist in the provided list of tools, notify the user that you do not have the ability to fulfill the request.<|end_of_text|>
<|start_of_role|>user<|end_of_role|>What's the weather like in London right now?<|end_of_text|>
<|start_of_role|>assistant<|end_of_role|><tool_call>
{"name": "get_current_weather", "arguments": {"city": "London"}}
</tool_call><|end_of_text|>
資源:
- Granite 4.1 Hugging Face 合集
- PRISM:揭開中期訓練中的保留與互動之謎
- GitHub:ibm-granite/granite-4.1-language-models
- Granite 文件
- Granite 社羣資源
Granite 4.1 是高質素開源語言模型向前邁進的重要一步。我們在每個階段都優先重視數據質素和嚴謹程度,從預訓練數據整理,到監督式微調和多階段強化學習,全面改良後訓練流程。結果是模型在指令遵循、工具使用及對話表現方面均大幅提升,證明經過仔細訓練的密集型 8B 模型足以媲美規模大得多的 MoE 架構。我們期待社羣採用這些模型,並以此為基礎繼續創新。
來源:Hugging Face Blog · huggingface.co







