跳到正文
阿里雲開發者社區 AI·· 12 天前AI 評分55

大模型預訓練全流程:數千張卡運行數月,模型如何訓練出來?

预训练全流程:几千张卡跑几个月,一个大模型是怎么训出来的?

AI 導讀

作者以六個問題拆解大模型預訓練全流程,涵蓋階段安排、學習率、數千卡並行、低精度訓練、梯度裁剪、損失尖峯處理及 MFU 評估。文中列出 405B 模型訓練狀態約 6.48 TB,並引用 PaLM 540B 的 MFU 46.2%及 Llama 3 405B 的約 38%~43%。

正文

2026-11-10 4

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: 本课详解大模型预训练工程实践:拆解6大核心问题——阶段划分、学习率调度、千卡并行策略、低精度训练与梯度裁剪、loss突崩应对、真实算力利用率(MFU)。源自35讲《大模型系统课程》第9课,含Llama 3等一线实证与可复现计算。在线免费阅读→ https://zhuangzhaoyeye.github.io/llm-course/ (238字)

上一课把数据备好了。这一课把这些 token 真正跑起来——做一次预训练要拆成几个阶段、学习率怎么设、模型怎么切到几千张卡上、跑崩了怎么办、最后能跑出多少算力利用率。用 6 个问题把整条流程算清。内容来自我做的 35 课大模型课程的第 9 课。

问题 1:一次预训练能不能一口气跑完,还是必须分成几个阶段?

不能一口气跑完——因为不同训练阶段的最优设置(上下文长度、学习率、数据配比)并不相同。Llama 3 把预训练拆成三个阶段(Meta Llama Team, arXiv:2407.21783):

阶段 上下文长度 token 预算 关键设置
① 初始预训练 8K 绝大部分(15.6T 减去后面两段) 高学习率、稳定为主
② 长上下文扩展 8K → 128K(6 个子阶段) 约 800B 逐步拉长序列,配 RoPE 频率调整
③ 退火 同② 约 40M 学习率降到 0,上采样高质量数据

强行合成一段会怎样:

若强行合并 会发生什么
一开始就用 128K 上下文 注意力成本按序列长度平方增长,早期算力被大量浪费
全程用同一套数据配比 无法在末期"精准补课",推理与代码能力上不去
末尾不做退火 学习率停在半空,最后一段数据的影响被稀释

退火"量最小、影响最大"的原因,是把占比算出来(最后一行 0.0003% 为量级示意):

阶段 token 量 占比 学习率
初始预训练 约 14.8T ≈ 94.9% 高
长上下文扩展 约 800B ≈ 5.1% 逐步降低
退火 约 40M ≈ 0.0003% 衰减到 0

一句话结论:预训练不是"一条曲线跑到底",而是三个目标不同的阶段串联——末期喂什么往往比总量更重要。

问题 2:学习率该一路保持峰值不变,还是随训练进程变化?两端各会出什么问题?

必须先升后降,两端各有一道坎。Llama 3 405B 的学习率设置(arXiv:2407.21783):峰值 8×10⁻⁵,用 8,000 步线性 warmup 从 0 升到峰值,再用 cosine 在 1,200,000 步内衰减到 8×10⁻⁷。

三档模型的峰值学习率:

模型 峰值学习率 相对 405B
8B 3 × 10⁻⁴ 3.75×
70B 1.5 × 10⁻⁴ 1.875×
405B 8 × 10⁻⁵ 1×

模型越大、单步影响越广,峰值学习率必须更小——这是"大模型更怕训崩"的量化体现。

参数 数值 占总步数比例
总训练步数 1,200,000 100%
warmup 步数 8,000 ≈ 0.67%
峰值学习率 8 × 10⁻⁵ —
最终学习率 8 × 10⁻⁷ 峰值的 1%

两端各出什么问题:训练初期参数是随机初始化的,梯度方向噪声极大,一步到位用峰值学习率会把参数推入「logits 饱和、范数爆掉」的区域,最初几百步就 NaN 或发散(Goyal et al., arXiv:1706.02677 的 warmup 正是为此提出);训练末期已接近最优解,学习率还很大时,损失会在最优解附近来回震荡、收敛不到底。

一句话结论:学习率曲线是"先探索、后收敛"的量化表达——warmup 用不到 1% 的步数换不崩,cosine 把学习率压到峰值 1% 换收敛,而峰值随模型变大而减小。

问题 3:模型装不进一张卡,该怎么切分到几千张卡上?

先算显存账,就知道"切分"是装下的最低要求,不是"想跑快点"。

405B 模型的训练状态(fp16/BF16 权重 + 梯度 + Adam 优化器状态,还没算激活值):

项目 每参数字节 405B 总计
权重 2 810 GB
梯度 2 810 GB
Adam 优化器状态(fp32 主权重 + 一阶 + 二阶矩) 12 4,860 GB
合计 16 ≈ 6,480 GB(6.48 TB)

一张 80GB 的 H100:仅装训练状态就需要 6,480 ÷ 80 = ≥ 81 张;加上激活与缓冲(经验再留 50% 余量)约 122 张起。

四种并行各切什么:

策略 切什么 解决什么 代价
DP 数据并行 数据 提高吞吐 每卡都要存完整模型状态
TP 张量并行 矩阵乘 单层显存与算力分摊 通信量最大
PP 流水线并行 网络层 按层分摊模型 有空泡,需微批填充
CP 上下文并行 序列 支撑超长上下文 attention 通信增加

实践是组合使用:MLPerf / NVIDIA NeMo 的 405B 参考配置标注为 TP=8、PP=9、CP=2、DP=4,总卡数等于各维度之积 8×9×2×4 = 576。但 NVIDIA 另一份文档把同一组并行度记作 512 张(https://docs.nvidia.com/dl-cuda-graph/examples/llama-31-405b.html),与连乘结果对不上——这是官方文档之间自身不一致,引用时两处数字与来源都要写明,不替它选定一个。

一句话结论:并行不是"为了快",而是"为了装得下";选哪种并行的核心判据是通信开销——通信量最大的 TP 放机内高速互联,通信量小的 DP 放跨机器。

问题 4:为什么要用低精度训练?梯度裁剪又在防什么?

两个问题要一起解决:低精度省算力,但低精度下梯度更容易溢出,所以必须配梯度裁剪兜底。

先看格式差别(为什么选 BF16 而不是 FP16):

格式 指数位 尾数位 能表示的最大值 是否需要 loss scaling
FP16 5 10 约 6.5 × 10⁴ 需要(容易溢出)
BF16 8 7 约 3.4 × 10³⁸ 不需要(指数范围与 fp32 一致)
FP32 8 23 约 3.4 × 10³⁸ 不需要

BF16 用"牺牲尾数精度"换"保留 fp32 的动态范围"——大模型训练最怕溢出而不是精度不够,所以 BF16 成默认。

一个反直觉但重要的点:混合精度省的是算力不是显存:

方案 权重 梯度 优化器状态 合计(字节/参数)
全程 fp32(Adam) 4 4 8 16
BF16 混合精度 2 2 12 16

权重与梯度各减半(省 4 字节),但要多存一份 fp32 主权重(加 4 字节),正好抵消,合计仍是 16 字节/参数。真正省显存的是 ZeRO。省算力则很可观:H100 上 FP32 CUDA Core 峰值 67 TFLOPS、BF16 张量核 dense 989 TFLOPS,跨口径差约 15 倍(NVIDIA H100 官方规格)。

梯度裁剪(Pascanu et al., arXiv:1211.5063)给单步更新设上界:

情形 梯度范数 若裁剪到阈值 1.0 后果
正常批次 0.3(示意) 不触发 正常更新
异常批次 50(示意) 缩到 1.0 避免一步走出有效区域

一句话结论:BF16 换更快的矩阵乘(不是更小显存),梯度裁剪给单步更新设上界——两者合起来,才让"几千张卡连续跑几个月"成为可能。

问题 5:训练到一半 loss 突然飙升,该怎么处理?

即便精度与裁剪都做对,训练仍可能突然崩一下。Loss spike 是常态而非异常:PaLM 540B 全程遇到约 20 次尖峰,且已启用梯度裁剪(Chowdhery et al., arXiv:2204.02311)。处理办法是「回滚 + 跳过」,不是改超参:

项目 数值
尖峰次数 约 20 次(540B 训练全程)
回滚步数 约 100 步(从尖峰前最近检查点重启)
跳过批次 约 200~500 批

为什么回滚比重训划算:

方案 相对成本
从头重训 1×(完整预训练成本)
回滚 100 步 + 跳过 500 批 约 0.008%(100 ÷ 1,200,000)
不回滚、继续训 0,但参数可能已进坏区域

怎么判断该回滚还是继续:

现象 动作
飙升后几步内自行回落 不必回滚,继续观察
飙升后持续在高位不降 回滚检查点 + 跳过该数据段
同一数据段反复引发尖峰 回滚并永久剔除该数据

一句话结论:工程关键不是"如何避免尖峰",而是"多快发现、多近回滚"——回滚 100 步只花 0.008% 的成本,这直接决定检查点策略。

问题 6:几千张卡跑几个月,实际用上了多少算力?

"跑了多少天"不能反映效率,需要归一化指标 MFU(模型算力利用率)= 实际模型 FLOPs/s ÷ 硬件理论峰值 FLOPs/s,由 PaLM 论文引入(Chowdhery et al., arXiv:2204.02311)。

模型 报告的 MFU 硬件与口径
PaLM 540B 46.2% 6,144 TPU v4
Llama 3 405B 约 38%~43% H100,BF16 口径

口径要点:分母必须写清是哪种精度、是否含稀疏加速——否则同一张卡算出的 MFU 能差 2 倍以上。反推一下:按 BF16 dense 峰值 989 TFLOPS 算,40% MFU ≈ 每卡 396 TFLOP/s。

剩下的算力去哪了:

损耗项 大致影响 能否消除
通信等待 主要损耗 部分(重叠通信与计算)
流水线空泡 随 PP 级数增大 部分(增加微批)
重算(gradient checkpointing) 多算约 30% 前向 不计入 MFU 分子,但耗时增加
故障回滚 少量 不可完全消除

注意最后一行与问题 5 的联系:每次回滚都要重算一段,直接拉低整体效率——"稳定性"也能换算成"算力成本"。

一句话结论:MFU 是归一化读尺——同一笔预算,MFU 差 10 个百分点就是十天级别的差距,"能不能把 MFU 做上去"才是工程能力的直接体现。

小结

问题 结论 一个数字
分几个阶段 三阶段串联,末期喂什么比总量重要 退火仅约 40M token
学习率怎么设 先升后降,先探索后收敛 峰值 8e-5,衰减到 1%
怎么切分 为装得下而切,按通信开销选策略 405B 训练状态 6.48 TB
低精度 + 裁剪 BF16 省算力不省显存,裁剪设更新上界 16 字节/参数
loss 飙升 回滚 100 步 + 跳过 200~500 批 成本约 0.008%
用了多少算力 MFU 归一化读尺 PaLM 46.2% / Llama 3 约 38%~43%

参考与说明

  • Llama 3 三阶段与学习率:Meta Llama Team, arXiv:2407.21783
  • 多维并行:Megatron-LM, Shoeybi et al., arXiv:1909.08053;GPipe, Huang et al., arXiv:1811.06965
  • 混合精度训练:Micikevicius et al., arXiv:1710.03740
  • 梯度裁剪:Pascanu et al., arXiv:1211.5063
  • Warmup:Goyal et al., arXiv:1706.02677
  • Loss spike 与 MFU:Chowdhery et al., PaLM, arXiv:2204.02311
  • NVIDIA H100 规格与 405B 配置:https://docs.nvidia.com/dl-cuda-graph/examples/llama-31-405b.html
  • 文中算术均已用代码独立复算:405e9×16 ≈ 6.48 TB、6480÷80 = 81、8e-7÷8e-5 = 1%、8000÷1.2e6 ≈ 0.67%、100÷1.2e6 ≈ 0.008%、8×9×2×4 = 576、989×0.4 ≈ 396。标注「示意/估算」的数字(梯度范数 0.3/50、退火占比 0.0003%)为量级示意。
  • 一处来源冲突需注明:405B 总卡数,并行度之积为 576,NVIDIA 某文档记 512,两处均列出、不替它选定。
  • 说明:这套课程由 AI 在我设计的规则下生成,再经过脚本检查和独立审查;审查发现过不少问题,已写在仓库 README 里。发现错误欢迎提 Issue,写清位置,我逐条核实。

继续学

完整课程 35 课,这一篇是第 9 课。下一篇进入 SFT 微调:预训练出的模型只会"接话",怎么用指令把它调成"会听话"的助手。

來源:阿里雲開發者社區 AI · developer.aliyun.com