跳到正文
阿里雲開發者社區 AI·· 5 天前AI 評分32

大語言模型基礎:Layer normalization 篇

大模型(LLMs)基础面:Layer normalization 篇

AI 導讀

文章梳理大語言模型中的 Layer Norm、RMS Norm 和 Deep Norm 方法,以及 Layer normalization 在模型中的位置差異。RMS Norm 移除計算均值的步驟,速度較快,效果基本相當甚至略有提升;Deep Norm 透過調整殘差連接及模型參數,緩解模型更新爆炸,令訓練更穩定。

正文

2026-11-17 3

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: 《大模型面试宝典》汇聚1000+高频考点,覆盖LLM基础(Layer Norm/RMS Norm/Deep Norm详解)、AI Agent架构与RAG等核心方向,专为AIGC算法岗求职者打造,开源免费,实战导向。(239字)

Layer normalization-方法篇

Layer Norm 篇

Layer Norm 的计算公式写一下?

RMS Norm 篇 (均方根 Norm)

RMS Norm 的计算公式写一下?

RMS Norm 相比于 Layer Norm 有什么特点?

RMS Norm 简化了 Layer Norm ,去除掉计算均值进行平移的部分。

对比LN,RMS Norm的计算速度更快。效果基本相当,甚至略有提升。

Deep Norm 篇

Deep Norm 思路?

Deep Norm方法在执行Layer Norm之前,up-scale了残差连接 (alpha>1);另外,在初始化阶段down-scale了模型参数(beta<1)。

写一下 Deep Norm 代码实现?

Deep Norm 有什么优点?

Deep Norm可以缓解爆炸式模型更新的问题,把模型更新限制在常数,使得模型训练过程更稳定。

Layer normalization-位置篇

1 LN 在 LLMs 中的不同位置 有什么区别么?如果有,能介绍一下区别么?

回答:有,LN 在 LLMs 位置有以下几种:

  1. Post LN:
    1. 位置:layer norm在残差链接之后
    2. 缺点:Post LN 在深层的梯度范式逐渐增大,导致使用post-LN的深层transformer容易出现训练不稳定的问题
  2. Pre-LN:
    1. 位置:layer norm在残差链接中
    2. 优点:相比于Post-LN,Pre LN 在深层的梯度范式近似相等,所以使用Pre-LN的深层transformer训练更稳定,可以缓解训练不稳定问题
    3. 缺点:相比于Post-LN,Pre-LN的模型效果略差
  3. Sandwich-LN:
    1. 位置:在pre-LN的基础上,额外插入了一个layer norm
    2. 优点:Cogview用来避免值爆炸的问题
    3. 缺点:训练不稳定,可能会导致训练崩溃。

Layer normalization 对比篇

LLMs 各模型分别用了 哪种 Layer normalization?

BLOOM在embedding层后添加layer normalization,有利于提升训练稳定性:但可能会带来很大的性能损失

文章标签:

目录

相关文章

|

6天前

|

JSON 前端开发 API

阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析

2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。

1577 1 2

|

6天前

|

人工智能 前端开发 API

阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析

2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。

1383 0 0

|

3天前

|

Linux Go 开发工具

手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南

DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。

2688 0 0

|

4天前

|

人工智能 安全 网络安全

|

19天前

|

JavaScript API iOS开发

DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)

DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。

5760 69 278

热门文章

最新文章

來源:阿里雲開發者社區 AI · developer.aliyun.com