记忆力强，开销不涨
11月5日，百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。
该模型采用MoE架构，总参数量2800亿，每个Token激活140亿参数。基于33.5万亿Token完成预训练，预训练上下文长度最高达128K，微调与推理阶段支持最长100万Token上下文。
文心5.5 Flash Base在知识、推理、数学、代码、多语言和长上下文等多个基准测试中，取得同尺寸模型SOTA表现。
Benchmark测试结果
开源地址：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base
死磕效率：系统性优化提升资源利用率
随着大模型应用向长文档分析、多轮交互和智能体任务延伸，计算和显存开销持续上升。文心5.5 Flash Base围绕“效率”主线，在注意力机制、专家路由及训练目标等关键环节进行系统性优化。
创新注意力机制：Latent-Gated Sparse Attention
模型提出Latent-Gated Sparse Attention，结合混合稀疏注意力、低秩门控注意力与虚拟头注意力：
- 组合HCA与MLA：让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务；
- 低秩门控注意力：利用注意力层生成的低秩query latent计算输出门，门控投影参数量减少75%，同时提升模型效果；
- 虚拟头注意力（VHA）：提升表达力与训练质量，推理时融合进算子，开销极小，有效降低长上下文处理资源消耗。
优化专家路由：Multi-Router Latent MoE
模型采用Multi-Router Latent MoE，由多个独立路由器参与专家选择，改善路由评分与专家实际效用的相关性。相比传统单一路由器方案，该设计降低了单一评分偏差的影响，同时保持激活专家数量、计算量和通信量不变。
引入ECHO训练目标
模型引入ECHO，无需额外增加MTP模块，而是复用主干最后一层学习预测后续Token，提前规划序列走向，有效提升推理与代码能力。仅采用单步ECHO预训练，复用的最后一层还可作为投机解码的草稿模型，展现出优异的多步外推能力。
文心5.5 Flash Base架构图
开放基座：提供灵活定制空间
除算法创新外，文心改进了分布式Muon优化器，并推出面向大head dim的注意力算子FlashMask-4，改善了大规模训练中的通信、显存利用与计算效率。
Base模型承载着预训练形成的通用能力，为开发者和企业提供了进一步微调与定制的空间。相较于面向终端用户的应用模型，开放基座模型能降低专业模型开发的训练成本与技术门槛，助力构建适应不同场景的专业应用。
当前，大模型竞争已进入能力、效率与场景创新协同发展的新阶段。文心5.5 Flash Base在提升基础能力与训练推理效率的同时，为社区提供了更具拓展性的技术基础，推动模型技术向多样化能力探索与应用创新演进。