百度文心發佈 ERNIE-5.5-Flash-Base 並開放權重，總參數 280B

IT之家 11 月 5 日消息，百度文心大模型今日发布 ERNIE-5.5-Flash-Base，开放 ERNIE 5.5 Flash 预训练终点的权重。

这是一个稀疏 MoE 语言模型，总参数 280B，每 token 激活 14B，在 33.5T tokens 上从零完成预训练；最长训练上下文为 128K，微调与推理支持 1M tokens 上下文。

本次发布的权重未经中训练与后训练，可作为领域适配、指令微调和强化学习研究的共同起点。

官方表示，Base 模型只是起点。经过后训练的 ERNIE 5.5 Flash 将随后推出。

ERNIE-5.5-Flash-Base 在 33.5T tokens 上从零完成预训练，采用 Muon 优化器与 FP8 混合精度。预训练语料覆盖广泛的领域与语言，并重点建设了三个方向：

据介绍，训练系统与模型结构协同设计。优化器采用分布式 Muon：在数千卡规模下，Dense 参数与 MoE 参数的跨机通信合并为一次集合通信，降低了跨机时延与抖动。注意力算子采用基于 CuTe-DSL 的 FlashMask-4，支持 SM90 与 SM100 架构，head dim 最高支持 576（qk）/ 512（v），可直接用于 HCA 层 512 维宽头的计算。

IT之家附评测数据与开源链接：