就在刚刚，百度文心终于出手了，把自家基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）开源了。
一出手就在同尺寸模型里拿下 SOTA，在 30 项基准评测中表现突出，尤其在推理、代码和综合类任务上优势明显，超过了 DeepSeek-V4-Flash-Base、MiMo-V2.5-Base 等 Base 模型。
其中差距最大的是考试类的 MMLU-Pro，它拿了 78.4 分，第二名是 69.2。
这次文心 5.5 Flash Base 模型是从零开始预训练，采用的稀疏混合专家（MoE）架构，喂进了 33.5 万亿 Token 数据。
总参数量达到 2800 亿，每个 Token 只激活其中的 140 亿，这样每次计算用到的参数少了，算力也省下不少。
上下文方面，预训练时最长 128K，到了微调和推理阶段，能拉长到 100 万 Token。
为什么同样参数规模的基座模型，能拉开差距？我翻看了下文心 5.5 Flash Base 公开的技术 Blog。
模型底层从注意力、残差连接，到 MoE 层和输出头，每个组件都围绕着效率重新设计过。
精打细算，用在刀刃上
为什么这么盯着效率？从公开的技术材料里看到所给的理由，也很实在。
模型在后续训练要反复采样，放到 Agent 应用里要多步交互，还要处理长上下文，这些都会让计算和存储的开销不断往上累积。
所以文心 5.5 Flash Base 把注意力、残差连接、MoE 层和输出头逐个拿出来，重新权衡能力和效率，让每一份激活参数、每一字节 KV cache 都发挥更大作用。
整个主干一共 43 层，注意力层由 HCA 和 MLA 两种注意力混合排布。
除了第一层，每一层的前馈网络都是 MoE 块，输出头用的是 MultiMax，主干的最后一层还兼任了 ECHO。
其中还有几项创新的做法，已经单独公开发布了论文，下面跟大家一起来看下。
文本越长，越要省着存
第一处是注意力，叫 Latent-Gated Sparse Attention。
模型处理长文本时，每一层都要把读过的内容存成 KV cache，方便后面回头看，上下文越长，这份缓存就越大。
但大多数层其实不需要逐字回看很远的内容，对前面写了什么有个大概印象就够用。
所以 43 层里有 37 层用的是重度压缩注意力 HCA，每 128 个 token 压成一条缓存，再加上最近一小段没压缩的原文一起看。
这样每层的缓存只剩不压缩时的一小部分，对整段内容的全局视野还保留着。
剩下的 6 层用的是多头潜在注意力 MLA，这是模型逐个 token 回看远处内容的唯一通路。
为了不让这 6 层在长文本下占掉太多计算，它们还配了稀疏注意力 DSA。
由一个轻量级 indexer 先给历史位置打分，只在得分最高的那些位置上计算。
长上下文评测也验证了这一设计的有效性：尽管 43 层中只有 6 层采用 MLA-DSA，模型在 6 项长上下文 Benchmark 上依然取得了不错的效果。
每层注意力内部，还有两处小改动。
一处是低秩门控注意力，门控相当于在注意力的输出上加一个信息过滤器，决定哪些信息多往后传。
常规做法是用这一层的隐状态来算这个门，文心 5.5 Flash Base 改用每层本来就会生成的低秩 query latent，维度只有隐状态的四分之一。
这么一改，门控投影的权重参数少了 75%，消融实验里模型效果也有所提升。
另一处是虚拟头注意力，在注意力之后加了一层轻量的跨头混合，让不同注意力头之间多交换信息。
推理时这部分会融合进注意力算子，开销很小。
多人打分，不怕看走眼
第二处在 MoE 层，叫 Multi-Router Latent MoE。
MoE 模型里有很多专家，每个 token 进来，先由路由器给专家打分，再挑出几位专家来计算。
麻烦在于，传统 MoE 只有一个路由器，它打的分跟专家实际好不好用，关联并不强，中深层尤其明显。
落选的专家拿不到这个 token 的梯度，一旦选错就很难纠正，错误还会越滚越大。
文心 5.5 Flash Base 的做法，是让多个独立初始化的路由器一起打分，这些路由器的偏好会明显分化。
一个专家只要被某个路由器特别看好，或者同时被几个路由器看好，就有机会入选。
单个路由器打错分，也左右不了最后的结果，选错了也更容易被纠正。
每层有 512 个路由专家，每个 token 选 10 个，另外还有 1 个共享专家。
这样一来，路由打分和专家实际效用的相关性明显提升，原本相关性最弱的中深层，提升也最大。
而激活的专家数、专家计算量和通信量，都和单路由器一样，并没有拿更多算力去换效果。
少挂一个模块，想得更远
第三处是 ECHO，用主干网络自身的最后一层，取代了 MTP 模块。
MTP 也就是多 token 预测，让模型在训练时顺带学着预测后面好几个 token。
常见做法是在主干之外，再挂一个专门的 MTP 模块，多步预测的训练信号主要落在这个新模块上，主干各层还是只管下一个 token。
ECHO 没有额外加层，而是让主干的最后一层同时负责预测后面的 token，训练信号就直接落在生成下一个 token 的参数上。
让这一层去预测更远的内容，会促使模型提前规划后面的内容该怎么展开。
文心 5.5 Flash Base 用单步 ECHO 完成了预训练，在推理与代码等任务上带来了明显收益。
这一层还能直接当投机解码的 draft 模型，做投机解码几乎不用增加额外参数。
更有意思的是，它在预训练时只学多预测 1 个 token，作为 draft 模型却能连续往后起草多个 token，接受率比同样训练的外挂 MTP 模块更高。
小细节，也没放过
除了这三处，还有两个细节也挺有意思。
一个是 MultiMax 输出头，它用可学习的分段温度，压掉不合理候选词的长尾，同时保留合理候选词的多样性。
训练时的开销几乎可以忽略，还明显降低了预训练 loss。
另一个是全新的 R2L 分词器，词表约 20 万，数字会从右往左三位一组来切，比如 1,234,567 切成 1 / 234 / 567。
这样不同长度的数字，数位都能对齐，对算术和数字多的文本更友好。
设计得好，也得练得动
这次文心还同步做了两项训练基建，让上面这些结构放到大规模预训练里，也能高效地训练。
一项是分布式 Muon 优化器，Muon 和 Adam 这类逐元素的优化器不一样，它按整个张量做正交化更新。
文心为它重新优化了跨机通信，跨机时延和抖动都明显降低了。
参数切分也重新做了均衡，各节点的显存占用接近一致，让 Muon 在数千卡的规模下也能保持高效。
另一项是注意力算子 FlashMask-4，专门解决大 Head Dim 下算力用不满的问题。
它支持 qk_head_dim 576、v_head_dim 512 这样的规模，这是 FlashAttention-4 不支持的。
在 SM100 GPU 上，对比 FlashAttention-4 MaskMod，它的前向性能最高提升 175%，反向最高提升 74%，代码已经在 GitHub 上开源。
写在最后
Base 模型是完成了预训练、具备通用能力的基础模型，平时我们用的对话模型，都是在这样的基座上继续训练出来的。
预训练算是模型的基本功，数据质量、覆盖范围、训练方法和规模，会决定模型学到什么，以及能迁移到哪些任务上。
简单来说就是基座越强，开发者和团队拿它当起点，做出来的专业模型和应用，起点也就越高。
这次文心用 33.5 万亿 Token 从零训练出这个基座 ERNIE 5.5 Flash Base，还把它开源了。
具备训练能力的厂商和研究团队，可以在已有通用能力的基础上继续训练，自主探索数据配比、训练目标和模型路线，不必完全依赖外部模型厂商。
而开放的 Base 模型，无疑是降低了全球开发者和团队进入 AI 产业的门槛。
大家可在这个基座上，结合自己的业务数据和需求接着训练，做成自己需要的垂直领域模型或者应用。
那基于它训练的百度文心 5.5 Flash 模型，预计很快就会发布，届时能力上限又到哪里，越发让人期待了。
ERNIE-5.5-Flash-Base：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
ERNIE-5.5-Flash-Base-BF16：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16
SGLang Cookbook：https://docs.sglang.io/cookbook/autoregressive/Baidu/ERNIE-5.5-Flash
vLLM 插件：https://github.com/baidu/vLLM-ERNIE
技术 Blog：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base
今天的分享到此结束，感谢大家抽空阅读，我们下期再见，Respect！