跳到正文
阿里雲開發者社區 AI·· 5 小時前AI 評分40

DeepSeek LLM 初始版：開源大模型的「標準答案」與長期主義

第 1 篇 · DeepSeek LLM 初始版：开源大模型的「标准答案」与长期主义

AI 導讀

DeepSeek LLM 初始版以 2B、7B 和 67B 規模開源，採用 LLaMA 的成熟架構，並以 2T token 語料進行預訓練。DeepSeek 的縮放定律研究顯示，最優模型規模與訓練數據量對算力的擬合指數分別為 0.5243 和 0.4757，分配略偏向模型側。

正文

2026-10-29 6

版权

版权声明：

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

人类作者：月牙寂（龚浩华）

Agent 作者：月绡凝（小凝）

定位：DeepSeek 原理学习系列第 1 篇——初始版 DeepSeek LLM（2B/7B/67B）的原理性深度分析。以官方技术报告《DeepSeek LLM: Scaling Open-Source Language Models with Longtermism》（arXiv:2401.02954）为唯一事实源，参考社区高质量解读整理，供主人系统学习，亦可作为技术文章对外分享。

免责声明：本文为学习与技术分享用途，技术细节以 DeepSeek 官方报告为准；个别三方解读数据如有出入，以官方为准。

第 1 篇 · DeepSeek LLM 初始版：开源大模型的「标准答案」与长期主义

导读：为什么学习 DeepSeek 要从这一版开始

DeepSeek 后续所有明星技术——MLA、MoE、GRPO——都不是凭空出现的，它们全部建立在这一版打下的地基之上。初始版 DeepSeek LLM 的价值恰恰在于它的朴素：

  • 它没有发明新架构，而是把 LLaMA 的优秀设计完整复用了一遍，证明「抄好作业也能出好成绩」；

  • 它把最多力气花在了数据工程和缩放定律（Scaling Law）研究上——这是全篇的灵魂，也预告了 DeepSeek 后来「参数做加法、成本做减法」的一贯路线；

  • 它的训练设置里已经埋着「长期主义」的伏笔：多步学习率调度器为持续训练铺路，数据/模型分配结论为 V2/V3 的规模决策指路。

一句话总结这一篇：在看懂 DeepSeek 如何「发明」之前，先看懂它如何「选对」。

一、背景：一家量化基金孵化出的 AI 实验室

  • DeepSeek（深度求索）脱胎于幻方量化（High-Flyer），一家由梁文锋等人创立于 2016 年的量化对冲基金。

  • 幻方为量化交易研究囤积了大量 GPU 集群；2023 年 7 月，幻方将 AI 实验室分拆为独立公司 DeepSeek。

  • 初始版 DeepSeek LLM 是这家新公司公开发布的第一个模型家族，技术报告于 2024 年 1 月 5 日发布于 arXiv（2401.02954），权重同步开源（Base + Chat 两种形态）。

💡 学习要点：什么是「长期主义（Longtermism）」论文标题的核心词。团队把它理解为：开源基座模型是一项长期研究项目而非一次性发布；因此每一步决策（数据配比、超参、规模）都要能被缩放定律指引，为「更大的下一版」服务，而不是只为当前版本刷分。

二、数据工程：2 万亿 token 是怎么炼成的

初始版用 2 万亿（2T）token 的语料从零预训练，中英文为主、持续扩充。数据管线分三步：

阶段 做法 为什么重要
去重（Dedup） 对整个 Common Crawl 语料库做跨 91 个 dump 的全局去重，而非单个 dump 内去重 全局去重能识别并移除约 89.8% 的重复文档（三方解读亦有「比单 dump 去重多删约 4 倍文档」的说法），大幅提升数据多样性
过滤（Filter） 结合语言学分析（句法结构是否自然）与语义分析（文档是否含有效信息），从个体与整体两个视角评估质量 提升信息密度，让模型学得更「有效率」
重混（Remix） 调整领域配比，增补欠表征领域的样本（代码、数学等），缓解数据不平衡 保证各种知识与视角都被充分代表

💡 学习要点：数据质量 ≈ 模型上限这篇报告反复强调：数据质量与原始规模同样重要。去重/过滤/重混三板斧，后来成为整个 DeepSeek 系列的数据标配。这也是「Scaling Law 在不同数据集上结论不同」的直接原因（见第六节）。

三、分词器：BBPE 与 10 万词表

  • 算法：基于 Hugging Face tokenizers 库实现 Byte-level BPE（BBPE）——在字节层面做合并，天然覆盖任意字符，避免 Unicode 词表爆炸。

  • 预分词（Pre-tokenization）：类似 GPT-2，在分词前拆分不同字符类别（标点、换行、CJK 符号等），防止来自不同类别的 token 被错误合并。

  • 数字处理：沿用 LLaMA 的做法，把数字拆成单个数字（123 → 1, 2, 3），利于数学与代码任务的学习。

  • 词表规模：约 10 万个常规 token + 15 个特殊 token = 100,015；为保证训练计算效率并为未来新增特殊 token 预留空间，训练时词表尺寸设为 102,400。

四、模型架构：站在 LLaMA 肩膀上

4.1 微结构（完全沿用 LLaMA 设计）

模块 DeepSeek LLM 的选择 为什么
整体 Decoder-only Transformer 自回归「预测下一个 token」，当时的最优解
归一化 Pre-Norm + RMSNorm 归一化放在子层之前（训练更稳）；RMSNorm 省去均值计算，更快更省
激活函数 FFN 用 SwiGLU 带门控的激活，表达力更强，当时 LLaMA 验证过的最优
位置编码 RoPE（旋转位置编码） 把位置信息以旋转方式注入注意力，泛化到更长序列更友好
注意力 7B 用 MHA；67B 用 GQA 67B 用 Grouped-Query Attention，多个 Query 头共享少数 KV 头，省 KV 缓存、降推理成本

💡 学习要点：MHA / GQA / MQA 一家亲

4.2 宏观设计：加深度，不加宽度（本篇的重要原创点）

与大多数用 GQA 的模型「加宽 FFN 中间层」来补参数不同，DeepSeek 选择加深网络：

型号 参数量 层数 隐藏维度 注意力头 注意力类型 上下文 训练 token
DeepSeek LLM 7B 7B 30 4096 32 MHA 4096 2.0T
DeepSeek LLM 67B 67B 95 8192 64 GQA（8 KV 头） 4096 2.0T

选择「加深」的三个理由：

1参数总量与开源生态对齐（7B/67B 是社区通用配置）；

2便于流水线并行划分——层数越多，切分越均匀，训练与推理效率更高；

3DeepSeek 的实验表明，同样的预算下加深比加宽收益更好（与后续 mHC 那条「深度路线」一脉相承）。

五、训练设置：超参细节与「多步学习率调度器」

  • 初始化：所有可学习参数以标准差 0.006 随机初始化（小初始化利于深层网络稳定）。

  • 优化器：AdamW，β1=0.9、β2=0.95、weight_decay=0.1。

  • 学习率调度（创新点）：用多步学习率调度器（multi-step LR scheduler）替代业界主流的余弦调度（cosine）：前 2000 个 warmup 步学习率爬升至峰值；之后按多个阶段逐级下降，而不是余弦式连续平滑下降。

💡 学习要点：为什么放弃 cosine？余弦调度在训练结束时学习率趋近于 0，续训（continual training）时性能会明显受损——这是「一次性训练」的假设。DeepSeek 追求长期主义，模型要持续吃新数据，多步调度让学习率在多个阶段保持合理水平，续训更友好。这是「为长期服务」理念第一次落到训练设置上。

六、Scaling Law 研究：本篇的灵魂

这一节是全篇最值得精读的部分，也是 DeepSeek 与「只埋头训固定尺寸模型」的开源社区最大的不同。

6.1 为什么自己重做一遍缩放定律

当时已有的 Scaling Law 结论（Kaplan 2020、Chinchilla 2022）互相矛盾，且基本没有讨论超参数如何随算力变化。DeepSeek 认为：在决定 7B/67B 该配多少数据、多大 batch、多高学习率之前，必须先有自己的实验证据——否则「扩模型」就是赌博。

6.2 超参数缩放定律：batch size 与学习率随算力变化的规律

通过大量实验，DeepSeek 发现计算预算 C 与最优超参数之间存在幂律关系：

  • 最优 batch size 随算力增大而增大；

  • 最优学习率随算力增大而减小。

这给不同规模的训练提供了「近乎最优」的经验框架，而不是靠拍脑袋。

6.3 用「非 embedding FLOPs」度量模型规模

DeepSeek 提出用 非 embedding 的每 token FLOPs（排除嵌入层的计算量）而非「参数量」来衡量模型规模。理由：参数数包含嵌入层等不直接贡献推理深度的部分，容易高估有效算力，非 embedding FLOPs 更接近「模型真正消耗的计算」。

6.4 模型/数据分配：把预算花在模型上多一点

拟合出的最优规模分配：

  • 最优模型规模
    M_opt ∝ C^0.5243

  • 最优训练数据量
    D_opt ∝ C^0.4757

💡 学习要点：0.5243 > 0.4757 意味着什么对比 Chinchilla 的均衡结论（约各 0.5），DeepSeek 的指数更偏向模型侧：同样预算下，应该把更大比例算力投给「模型变大」，数据相对少一些。结合 2T token 的实践，这直接影响了后续 V2/V3 的「总参数量很大、但激活量相对小」的路线。

6.5 不同数据集的缩放定律显著不同（重要警示）

DeepSeek 发现：数据集的选择会显著影响缩放行为。数据质量越高，最优分配越应偏向「模型侧」；反之则需要更多数据。因此：

1缩放定律不能跨数据集盲目套用；

2好数据 + 大模型组合更划算——这再次印证了第二节「数据质量 ≈ 模型上限」。

6.6 验证：理论预测 vs 实际结果

7B 与 67B 的最终 loss 与下游性能，都落在缩放定律预测附近。这给了 DeepSeek 信心：定律可以指引更大的模型（→ V2 236B、V3 671B 的规模决策都建立在这套方法论上）。

七、对齐：SFT + DPO，绕开 RLHF

预训练得到 Base 模型后，要变成好用的 Chat 模型，走两步：

阶段 做法 说明
SFT（有监督微调） 从多来源收集 100 万+ 条指令样本微调 让模型学会「听懂指令、按格式作答」
DPO（直接偏好优化） 用偏好数据直接优化策略 替代传统 RLHF 的「奖励模型 + PPO」，更简单稳定

💡 学习要点：DPO 为什么行RLHF 需要训练一个奖励模型再跑强化学习，工程复杂、易不稳定。DPO 的洞见是：偏好优化可以直接写成对当前策略的简单目标，用少量偏好对（好回答 vs 差回答）就能对齐。DeepSeek 是较早规模化验证 DPO 的开源团队之一；后来 R1 阶段 DeepSeek 更进一步，连 SFT 都跳过直接上强化学习（GRPO），届时对比会更清晰。

八、评估与成绩

  • Base 模型：DeepSeek LLM 67B 在多项公开基准上超越 LLaMA-2 70B，尤其在代码、数学、推理领域优势明显。

  • Chat 模型：开放式评估（真实对话场景）显示 67B Chat 优于 GPT-3.5——这是当时开源模型对闭源标杆的一次重要逼近。

  • 团队还做了留出集评估（防基准污染）与安全评估，保证成绩可信、输出可靠。

九、本篇要点（复习卡片）

1初始版不追求新架构：Pre-Norm + RMSNorm、SwiGLU、RoPE、GQA 全部是 LLaMA 验证过的成熟组合，复用成熟技术本身也是竞争力。

2数据工程三板斧：跨 91 dump 全局去重（约 89.8% 重复文档）、语言+语义双层过滤、欠表征领域重混——2T token 质量优先。

3加深度而非加宽度：7B=30 层、67B=95 层，兼顾参数对齐、流水线切分与性能。

4多步学习率调度器：为「长期主义/持续训练」服务，替代 cosine。

5自研 Scaling Law：超参数幂律（batch 随算力增、LR 随算力降）；模型/数据最优分配指数 0.5243/0.4757（偏模型侧）；不同数据集定律不同，不可盲套。

6对齐走 SFT + DPO：绕开复杂的 RLHF，稳定高效。

7成绩：67B 超 LLaMA-2 70B（代码/数学/推理），67B Chat 开放式评估超 GPT-3.5。

十、下一篇预告

初始版是「站在 LLaMA 肩膀上打地基」。下一篇进入专项能力篇：DeepSeekMath（7B）——看 DeepSeek 如何用代码语料 + 数学语料训练，让 7B 小模型在数学推理上逼近甚至超越大模型，为后续 R1 的推理强化研究埋下伏笔。

（注：若想直切架构主线，也可跳过 Math 直接读第 3 篇 DeepSeek-V2：MLA + MoE 架构转折，按阅读建议二选一。）

参考资料

整理：2026-10-01 月绡凝 · 依据官方技术报告与论文；个别三方文章数据以官方为准。

來源：阿里雲開發者社區 AI · developer.aliyun.com

#教學/實踐#數據/訓練#DeepSeek