280B总参数、14B激活！百度开源文心5.5 Flash Base，拿下同尺寸SOTA
智东西
智东西11月5日报道，百度正式发布并开源文心5.5 Flash Base（ERNIE-5.5-Flash-Base）。该模型采用稀疏MoE架构，总参数量达280B，每Token仅激活14B参数。模型在33.5T Tokens上从零完成预训练，最长训练上下文为128K，微调与推理支持1M Tokens上下文。
在同尺寸基座模型的竞争中，文心5.5 Flash Base表现强劲。评测显示，其与DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base等模型相比，在多个维度取得领先，拿下同尺寸SOTA（同等规模最优水平），尤其在推理、代码、学科能力及长上下文任务上优势显著。
国产基座模型的竞争已进入效率深水区。拆解技术细节可见，文心试图将“效率”目标贯穿模型架构、预训练数据和训练系统，通过三项核心改造优化激活计算与KV Cache价值。目前模型已开放权重，并联合vLLM、SGLang等社区提供开源生态支持。
如何做出同尺寸SOTA：底子来自系统合力
基准测试成绩背后，是文心5.5 Flash Base极具“重工业”属性的预训练体系。该模型采用280B总参数的稀疏MoE架构，拥有43层Transformer，Hidden Size为4096，64个注意力头。这种设计在控制单Token计算成本的同时，容纳了更多专家知识。
算法层面，模型重点改造了注意力机制，将HCA（重度压缩注意力）与MLA（多头潜在注意力）组合成混合稀疏注意力，引入低秩门控注意力和VHA（虚拟头注意力），以优化长上下文处理与KV Cache开销。训练方面，采用Muon优化器与FP8混合精度，训练上下文逐步扩展至128K。
数据层面，模型在33.5T Tokens上完成预训练，重点打造网页、代码、长文数据“三驾马车”：
- 网页数据：通过大规模多语言抓取、高保真抽取及模型驱动的质量过滤，提升有效学习信号密度。
- 代码数据：涵盖静态代码及commit、issue、PR、CI验证修复数据等动态工程数据。
- 长文数据：包含天然长文档、构造的长序列及合成的MRCR式检索、多跳问答数据。
此外，Infra层面改进了分布式Muon优化器，并推出面向大head dim的注意力算子FlashMask-4，提升了大规模训练中的通信、显存利用与计算效率。
把“效率”写进预训练：详解三处硬改造
文心5.5 Flash Base通过一套组合拳，将“效率”作为预训练的设计变量，覆盖历史信息处理、专家能力调用和未来Token预测三个关键环节。
1. Latent-Gated Sparse Attention：37层省缓存，6层保精准检索
针对Agent时代长上下文带来的KV Cache与计算成本攀升问题，模型采用MLA与HCA组合的混合稀疏注意力：
- HCA层（37层）：将每128个Token压缩为一条缓存条目，仅在全局视野下计算，大幅降低KV Cache占用。
- MLA层（6层）：保留逐Token访问远距离历史信息的能力，确保精准检索。
为控制MLA层开销，引入DSA（动态稀疏注意力），通过轻量级Indexer筛选Top-K历史位置进行精细计算，使核心注意力开销不再随上下文长度线性增长。同时，采用低秩门控注意力减少75的门控投影权重参数量，并通过VHA增强注意力头间的信息融合。
2. Multi-Router Latent MoE：多路由协同决策，提升专家选择稳健性
传统MoE单路由器打分存在偏差且难以纠正的问题。文心5.5 Flash Base引入Multi-Router Latent MoE，由多个独立初始化的路由器共同打分，降低单次错误判断的影响，提升路由稳健性。
该机制在不增加专家计算成本的前提下，显著提升了路由打分与专家实际效用的相关性。专家计算方面，先将Token投影至2048维隐空间完成计算，再映射回原空间，使专家FLOPs和通信量减半。配合Stable LatentMoE设计，进一步优化了优化稳定性。
3. ECHO：复用主干网络预测未来Token，提升多步起草质量
ECHO机制直接复用主干网络最后一层承担未来Token预测，无需独立MTP模块。多步预测损失直接作用于生成下一个Token的参数，促使主干网络提前学习序列后续展开。
该层可直接充当投机解码的内置Draft模型，不增加额外参数，且在推理时能连续向后起草多个Token，接受率高于外挂MTP模块。此外，模型还改进了MultiMax输出头和R2L分词器，进一步优化训练效率与数字处理能力。
从堆参数到拼底座：每Token效率决定主动权
大模型效率竞争已从单纯压缩激活参数延伸至每个关键计算环节。随着Agent应用需要反复调用模型、读取大量上下文，KV Cache存储、重复计算和推理延迟成为关键瓶颈。
文心5.5 Flash Base通过开源Base权重，为开发者提供了统一起点，支持领域适配、指令微调及Agent训练。行业竞争焦点正转向每Token激活效率、长上下文处理成本及底座能力的可复用性。
结语：Base即SOTA只是开场，正式版将至
百度此次开源是其在大规模预训练阶段对模型效率的系统性探索。通过混合稀疏注意力、多路由器MoE及ECHO三项核心技术，叠加数据与训练基建优化，将能力与效率沉淀至Base底座。
目前开源的是预训练终点权重，文心5.5 Flash正式版将于近期发布。开发者和社区可基于此底座进一步释放推理、代码及Agent能力，值得期待。
