跳到正文
Hugging Face Blog·· 2026-04-29精選AI 評分61

Granite 4.1 LLM 如何構建:預訓練、微調與強化學習流程

Granite 4.1 LLMs: How They’re Built

AI 導讀

Granite Team(IBM)詳述 Granite 4.1 的 3B、8B 和 30B 模型構建流程,涵蓋預訓練、監督式微調和多階段強化學習。預訓練以約 15T tokens 分五階段進行,並將上下文窗口擴至最高 512K tokens;其後以約 4.1M 經整理樣本作微調,採用 on-policy GRPO 配合 DAPO loss 進行強化學習。

推薦理由

文章梳理 Granite 4.1 從約 15T tokens 預訓練、約 4.1M 樣本微調到多階段強化學習的流程,呈現 dense 模型的訓練設計取捨。

正文 · 繁體中文

深入介紹 Granite 4.1 LLM 背後的數據工程、預訓練、監督式微調和強化學習技術。

作者:Granite 團隊、IBM


重點摘要 — Granite 4.1 是一系列密集型、僅解碼器 LLM(3B、8B 和 30B),使用多階段預訓練流程,以約 15T 個 token 訓練,其中包括把長上下文延伸至最多 512K 個 token。模型再以約 4.1M 個精選高質素樣本進行監督式微調,並透過採用策略 GRPO 和 DAPO 損失進行強化學習(Yu 等人,2025)。值得注意的是,8B 指令模型採用較簡單、參數較少的密集架構,表現仍媲美或超越上一代 Granite 4.0-H-Small(32B-A9B MoE)。所有 Granite 4.1 模型均以 Apache 2.0 授權發布。

連結:


概覽

打造高質素小型語言模型,不只是擴大運算規模,更需要在整個訓練過程中嚴謹整理數據。對 Granite 4.1 而言,我們重視數據質素多於數量,並在五個預訓練階段逐步改良數據組合。我們亦使用「LLM 作評審」框架精選監督式微調數據,並採用多階段強化學習流程,有系統地提升數學、編程、指令遵循和一般對話能力。


模型架構

Granite 4.1 模型採用密集型 Transformer 架構,僅包含解碼器。核心設計包括分組查詢注意力(GQA)、旋轉位置嵌入(RoPE)、SwiGLU 啟動函數、RMSNorm,以及共享輸入/輸出嵌入。

元件 3B 密集型 8B 密集型 30B 密集型
嵌入維度 2560 4096 4096
層數 40 40 64
注意力頭大小 64 128 128
注意力頭數量 40 32 32
KV 頭數量 8 8 8
MLP 隱藏層大小 8192 12800 32768
MLP 啟動函數 SwiGLU SwiGLU SwiGLU
位置嵌入 RoPE RoPE RoPE

三種模型規模共用相同的訓練流程和數據策略,只有架構維度不同。


預訓練

Granite 4.1 從頭開始訓練,使用約 15 萬億個 token,並採取五階段訓練策略。第 1–2 階段為基礎預訓練;第 3–4 階段以逐步提高質素的數據退火進行中期訓練;第 5 階段則進行長上下文訓練,把上下文視窗延伸至 512K 個 token。每個階段採用不同的數據組合和學習率排程,逐步由廣泛的網絡規模數據轉向更精選、針對領域的內容。

Five-phase pre-training pipeline

圖 2:五階段預訓練流程。第 1–2 階段為預訓練;第 3–4 階段為中期訓練(高質素數據退火);第 5 階段為長上下文訓練(LCE)。

階段 1:一般預訓練(10T 個 token)

第一階段使用一般訓練數據組合、冪次學習率排程及預熱,建立廣泛的語言理解能力。

數據組成:

  • CommonCrawl 約 59% — 一般網絡數據
  • 程式碼 約 20% — 程式語言及儲存庫
  • 數學 約 7% — 數學推理數據
  • 技術內容 約 10.5% — 科學論文、技術文件及手冊
  • 多語言 約 2% — 非英語數據
  • 領域專用 約 1.5% — 特定領域內容

階段 2:數學/程式碼預訓練(2T 個 token)

第二階段大幅提高程式碼和數學數據的比例,轉向加強推理能力,同時仍維持一般語言覆蓋範圍。

數據組成:

  • 數學 約 35% — 比階段 1 增加 5 倍
  • 程式碼 約 30% — 增加 1.5 倍
  • CommonCrawl-HQ 約 12% — 高質素 Common Crawl 子集
  • 合成數據 約 9% — 高質素合成數據
  • 技術內容 約 10%
  • 多語言 約 3%
  • 領域數據 約 1%

階段 3:高質素數據退火(2T 個 token)

第三階段進入中期訓練,採用更均衡、高質素的數據組合和指數衰減學習率排程。由此階段開始加入思維鏈及合成指令數據。

數據組成:

  • CommonCrawl-HQ 約 16.67%
  • 數學 約 16.67%
  • 程式碼 約 16.67%
  • 合成數據 約 8.5%
  • 技術內容 約 12.5%
  • 多語言 約 4.5%
  • 長思維鏈 約 12.5% — 推理軌跡
  • 語言指令 約 7.5% — 指令微調數據
  • 程式碼指令 約 4.5% — 指令微調數據

階段 4:高質素數據退火 — 精煉(0.5T 個 token)

第四階段繼續中期訓練,學習率以線性方式衰減至零,集中使用可取得的最高質素數據。

數據組成:

  • CommonCrawl-HQ 約 40%
  • 程式碼 約 20%
  • 數學 約 20%
  • 長思維鏈 約 6%
  • 程式碼指令 約 5%
  • 語言指令 約 9%

Data mix evolution across pre-training phases

圖 3:預訓練各階段的數據組合變化。請留意,數據逐步由以網絡內容為主(階段 1)轉向以質素為重,並加入指令和推理數據(階段 3–4)。

階段 5:長上下文訓練(LCE)

第五階段亦是最後階段,屬於中期訓練的一部分,會透過分階段的長上下文延伸流程,把上下文視窗由 4K 擴展至 512K:

  1. 延伸至 32K — 使用與階段 4 相同的數據組合
  2. 延伸至 128K — 使用與階段 4 相同的數據組合
  3. 延伸至 512K — 80% 書籍 + 20% 程式碼儲存庫數據(只適用 8b 和 30b)

LCE 階段使用指數學習率排程,由 1e-4 開始並衰減至 0。為確保模型能原生處理長序列而不損害短上下文表現,我們會在每個 LCE 階段後合併模型。基礎模型的 RULER 基準測試:

模型名稱 32K 64K 128K
granite-4.1-3b-base 75.0 66.6 58.0
granite-4.1-8b-base 83.6 79.1 73.0
granite-4.1-30b-base 85.2 84.6 76.7

SFT:數據準備與質素控制

監督式微調(SFT)能把基礎模型轉化為可靠、遵循指令的助理,因此數據質素至關重要;即使少量錯誤或幻覺樣本,也可能令模型養成不良行為。為此,我們採用嚴謹的「LLM 作評審」框架,配合規則式篩選,精選高質素樣本。整條流程會自動按結構、語義和行為準則評估每個樣本,並在可行情況下修正問題,剔除未達質素標準的樣本。

SFT Data Quality Pipeline

圖 4:SFT 數據質素流程。原始對話數據經多維準則的 LLM 評審,得出接受/邊緣/拒絕判定。幻覺、錯誤前提及計算錯誤等嚴重缺陷,無論分數如何都會自動拒絕。

我們嚴謹的「LLM 作評審」框架只評估助理回應,系統提示、使用者輸入、檢索文件及工具輸出一律只作上下文資訊。這能確保評審衡量模型實際説了甚麼,而非它被要求做甚麼。在 RAG 情境中,沒有檢索上下文作依據的回應會被標記為幻覺;工具使用輸出則會按允許使用的工具清單及其參數結構驗證。

我們會按不同 SFT 數據類型使用專門設計的評審提示詞,包括多輪對話、RAG 增強回應、工具呼叫互動及多語言對話。每個回應會按六個加權維度評分:指令遵循、正確性、完整性、精簡度、自然度和校準度(並可選擇檢查批判思考)。系統按確定性分數門檻接受、標記為邊緣或拒絕樣本;若有幻覺、錯誤前提或計算錯誤等嚴重缺陷,硬性拒絕規則會凌駕分數。

為補充語義評估,我們採用確定性的規則式流程,透過文字正規化、截斷和長度篩選、結構驗證及洩漏偵測,確保結構完整。最後進行全局去重,確保整個資料集內容不重複。所有篩選和修正操作均可完整審核。

SFT 訓練詳情

經過 LLM 評審、規則式篩選和全局去重流程後,我們以約 4.1 百萬個高質素樣本微調基礎模型。以下詳情適用於三種模型版本:

訓練配置:

參數 數值
運算資源 16 個節點,每個節點配備 4x GB200
訓練週期 3
學習率 5e-6(線性預熱 3%,約 25K 步內線性衰減)
序列長度 16,384 個 token
樣本總數 約 4.1M
有效批次大小 每次迭代 256 個樣本(約 4.2M 個 token/次迭代)

強化學習:多階段 RL 流程

完成 SFT 後,我們會採用多階段強化學習流程,進一步提升模型在特定領域的能力。我們不只進行一次 RL,而是安排多個具針對性的 RL 階段,分別優化不同能力。

訓練方法

我們使用採用策略 GRPO(羣組相對策略優化)(Shao 等人,2024),配合DAPO(解耦裁剪與動態採樣策略優化)損失(Yu 等人,2025),相較標準 GRPO 可提供更穩定的訓練訊號。不過,由於動態採樣的計算成本很高,我們在訓練期間停用了這項功能。

RL 訓練配置

參數 數值
演算法 採用策略 GRPO,使用 DAPO 損失
訓練堆疊 SkyRL(NovaSky-AI,2025)
每個提示詞的樣本數 16
訓練批次大小 1024
上下文長度 8,192

RL 流程

圖 10 展示我們用來訓練 Granite 4.1 模型的強化學習流程。透過大量試驗不同強化學習方案,我們發現這個步驟次序既能減少災難性遺忘,同時又能提升模型在多個領域的表現。

Granite 4.1 Reinforcement Learning Pipeline

圖 10:Granite 4.1 強化學習流程包含四個連續階段:多領域 RL、RLHF、身分與知識校準 RL,以及數學 RL。

多領域 RL

此階段會以來自多個領域的統一混合數據共同訓練模型。因此,每次梯度更新都反映任務的完整多樣性,避免災難性遺忘、提升整體基準表現,並盡量減少個別任務的退步。

此階段涵蓋的不同領域包括:

領域 説明
數學 數學推理與計算
科學 科學知識與推理
邏輯推理 演繹與歸納邏輯
指令遵循(IF) 遵從複雜指令
結構化輸出 結構化數據輸出
Text2SQL 資料庫查詢生成
時間推理 以時間為基礎的邏輯和排序
一般對話 一般對話質素
上下文學習 從上下文示例中學習

此階段我們以 45,504 個獨特提示詞訓練模型(按所有 Granite 4.1 模型的平均值計算),並發現使用 5e‑7 學習率和 KL 損失係數($\beta$)為 0.05 時,多領域強化學習的效果最佳。

RLHF

為進一步提升模型的助人程度和對話能力,我們使用多語言純量獎勵模型,以一般對話提示詞訓練模型。此階段讓三種 Granite 4.1 模型在 Alpaca-Eval 的平均分數,相較 SFT 檢查點提高約 18.9 分。

為減輕已學知識的策略漂移,此階段採用較保守的 3e-7 學習率及較高的 0.09 KL 損失係數($\beta$)。此 RLHF 階段平均使用 17,920 個獨特提示詞。

身分與知識校準 RL

此階段會使用身分和知識校準提示詞訓練模型數個步驟(約 40 個訓練步驟)。我們觀察到,這個短暫訓練階段可顯著提升模型的自我識別能力。

與 RLHF 階段相若,我們使用 3e-7 學習率和 0.09 KL 損失係數($\beta$);此階段使用 1728 個獨特提示詞。

數學 RL

在 RL 訓練期間,我們發現 RLHF 階段會令數學基準分數下降(例如 GSM8K、DeepMind-Math)。數學 RL 階段可讓模型從跌幅中恢復,並在數學基準上超越原有 SFT 表現:GSM8K 平均提高約 3.8 分,DeepMind-Math 平均提高約 23.48 分。此階段平均使用 13,504 個獨特提示詞,並採用與多領域 RL 階段相同的 5e-7 學習率及 0.05 KL 損失係數($\beta$)。


結果

基礎模型基準測試

基準測試 指標 3B 8B 30B
一般任務
MMLU 5-shot 66.47 73.60 78.44
MMLU-Pro 5-shot,CoT 37.16 44.58 49.51
BBH 3-shot,CoT 63.84 73.83 80.66
AGI EVAL 3-shot 54.32 61.68 69.20
DROP 5-shot 66.04 72.36 78.57
數學任務
GSM8K 8-shot 72.93 73.54 83.78
Minerva Math 4-shot 38.00 43.42 45.66
程式碼任務
HumanEval pass@1(StarCoder) 76.19 79.24 81.52
HumanEval pass@1 59.76 68.29 69.50
HumanEval+ pass@1 54.27 62.20 61.60
Eval+ 平均分 65.94 62.05 63.90
多語言任務
MMMLU 5-shot 56.59 64.73 73.36
INCLUDE 5-shot 51.77 57.60 67.07
MGSM 8-shot 58.48 63.68 74.40

指令模型基準測試

基準測試 指標 3B 8B 30B
一般任務
MMLU 5-shot 67.02 73.84 80.16
MMLU-Pro 5-shot,CoT 49.83 55.99 64.09
BBH 3-shot,CoT 75.83 80.51 83.74
AGI EVAL 0-shot,CoT 65.16 72.43 77.80
GPQA 0-shot,CoT 31.70 41.96 45.76
SimpleQA 3.68 4.82 6.81
對齊任務
AlpacaEval 2.0 38.57 50.08 56.16
IFEval 平均分 82.30 87.06 89.65
ArenaHard 37.80 68.98 71.02
MTBench 平均分 7.53 8.50 8.53
數學任務
GSM8K 8-shot 86.88 92.49 94.16
GSM Symbolic 8-shot 81.32 83.70 75.70
Minerva Math 0-shot,CoT 67.94 80.10 81.32
DeepMind Math 0-shot,CoT 64.64 80.07 81.93
程式碼任務
HumanEval pass@1 79.27 87.20 89.63
HumanEval+ pass@1 74.39 80.49 85.98
MBPP pass@1 61.64 82.54 83.33
MBPP+ pass@1 52.91 70.64 71.69
CRUXEval-O pass@1 40.75 47.63 55.75
BigCodeBench pass@1 32.19 35.00 38.77
MULTIPLE pass@1 52.54 60.26 62.31
Eval+ 平均分 pass@1 67.05 80.21 82.66
工具呼叫
BFCL v3 60.80 68.27 73.68
多語言任務
MMMLU 5-shot 57.61 64.84 73.71
INCLUDE 5-shot 52.05 58.89 67.26
MGSM 8-shot 70.00 82.32 71.12
安全性
SALAD-Bench 93.95 95.80 96.41
AttaQ 81.88 81.19 85.76
Tulu3 安全評估平均分 66.84 75.57 78.19

支援語言:英語、德語、西班牙語、法語、日語、葡萄牙語、阿拉伯語、捷克語、意大利語、韓語、荷蘭語和中文。


Granite 4.1 與主流開源模型比較

Granite 4.1 無須依賴冗長思維鏈,便能提供具競爭力的指令遵循和工具呼叫能力。避免生成冗長推理軌跡,有助提供可預期的延遲、穩定的 token 用量及較低營運成本。因此,Granite 4.1 適合對效率、可靠性和成本控制有嚴格要求的企業工作負載,可作為即時投入生產的開源選擇。

BFCL V3

IFEval

Granite 4.1-8B 與 Granite 4.0-H-Small(32B-A9B)比較

結果令人矚目:Granite 4.1-8B 密集模型的表現,持續媲美或超越上一代 Granite 4.0-H-Small;後者是具有 32B 參數、其中 9B 為啟用參數的混合專家模型。

Granite 4.1-8B vs Granite 4.0-H-Small comparison

圖 13:各項基準測試中,Granite 4.1-8B(深藍)與 Granite 4.0-H-Small 32B-A9B(淺藍)的比較。8B 密集模型在 IFEval、AlpacaEval、MMLU-Pro、BBH、GSM8K、DeepMind-Math、Evalplus、ArenaHard、BFCL V3 及 MBPP(+) 上,表現媲美或超越規模更大的 MoE 模型。

Granite 4.1 模型系列比較

Granite 4.1 model family comparison

圖 14:Granite 4.1 系列模型比較:30B、8B 和 3B。分數隨模型規模有規律地上升,30B 模型在所有基準測試中領先。

FP8 量化

我們亦發布了 Granite 4.1 模型的 fp8 量化版本,並針對使用 vLLM 進行推論作優化。精度由 16 位元降低至 8 位元,令磁碟佔用和 GPU 記憶體用量均減少約 50%。量化只應用於 Transformer 區塊內線性運算子的權重和啟動值,並使用 LLM Compressor;其他所有層均保留原有精度。

基礎設施

我們在 CoreWeave 託管的NVIDIA GB200 NVL72 叢集上訓練 Granite 4.1 語言模型:

  • 機架內通訊:72-GPU NVLink 網域
  • 機架間通訊:非阻塞、全 Fat-Tree NDR 400 Gb/s InfiniBand 網絡
  • 規模:整個叢集包含數千個 GPU

這套基礎設施提供可擴展、高頻寬的互連網絡,讓分散式訓練能以所需 token 規模(單是預訓練已超過 15T 個 token)高效運作。


開始使用

Granite 4.1 模型採用 Apache 2.0 授權。以下示範如何使用 30B 指令模型及工具呼叫範例開始操作:

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda"
model_path = "ibm-granite/granite-4.1-30b"
tokenizer = AutoTokenizer.from_pretrained(model_path)
# drop device_map if running on CPU
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_current_weather",
            "description": "Get the current weather for a specified city.",
            "parameters": {
                "type": "object",
                "properties": {
                    "city": {
                        "type": "string",
                        "description": "Name of the city"
                    }
                },
                "required": ["city"]
            }
        }
    }
]

# change input text as desired
chat = [
    { "role": "user", "content": "What's the weather like in London right now?" },
]
chat = tokenizer.apply_chat_template(chat, \
                                     tokenize=False, \
                                     tools=tools, \
                                     add_generation_prompt=True)
# tokenize the text
input_tokens = tokenizer(chat, return_tensors="pt").to(device)
# generate output tokens
output = model.generate(**input_tokens, 
                        max_new_tokens=100)
# decode output tokens into text
output = tokenizer.batch_decode(output)
# print output
print(output[0])

預期輸出:

<|start_of_role|>system<|end_of_role|>You are a helpful assistant with access to the following tools. You may call one or more tools to assist with the user query.

You are provided with function signatures within <tools></tools> XML tags:
<tools>
{"type": "function", "function": {"name": "get_current_weather", "description": "Get the current weather for a specified city.", "parameters": {"type": "object", "properties": {"city": {"type": "string", "description": "Name of the city"}}, "required": ["city"]}}}
</tools>

For each tool call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call>. If a tool does not exist in the provided list of tools, notify the user that you do not have the ability to fulfill the request.<|end_of_text|>
<|start_of_role|>user<|end_of_role|>What's the weather like in London right now?<|end_of_text|>
<|start_of_role|>assistant<|end_of_role|><tool_call>
{"name": "get_current_weather", "arguments": {"city": "London"}}
</tool_call><|end_of_text|>

資源:


Granite 4.1 是高質素開源語言模型向前邁進的重要一步。我們在每個階段都優先重視數據質素和嚴謹程度,從預訓練數據整理,到監督式微調和多階段強化學習,全面改良後訓練流程。結果是模型在指令遵循、工具使用及對話表現方面均大幅提升,證明經過仔細訓練的密集型 8B 模型足以媲美規模大得多的 MoE 架構。我們期待社羣採用這些模型,並以此為基礎繼續創新。

來源:Hugging Face Blog · huggingface.co