百度开源 ERNIE-5.5-Flash-Base：280B 参数基座模型发布
11 月 5 日，百度正式开源 ERNIE-5.5-Flash-Base（文心 5.5 Flash Base）。该模型总参数量达 280B，每 Token 激活参数为 14B，基于 33.5T Tokens 从零预训练而成。其训练上下文长度为 128K，微调与推理阶段支持高达 1M Tokens。
这是国产开源模型中首次出现此量级的基座模型。
ERNIE 5.5 Flash 模型结构
一、定位明确：开源的是「起点」而非「成品」
官方文档明确指出，本次发布的权重为预训练终点的 Checkpoint，未经过中训练与后训练（Post-training），旨在作为领域适配、指令微调和强化学习研究的共同起点。
二、技术架构：极致高效的计算优化
为实现 280B 参数的高效运行，ERNIE 5.5 Flash 在架构设计上重点解决了激活计算和 KV Cache 的压缩问题：
1. 混合注意力机制
采用 MLA（多头潜在注意力）与 HCA（重度压缩注意力）相结合的方案。每 7 层中仅保留 1 层进行 Token 级全上下文访问，其余 6 层使用 HCA，将每 128 个 Token 压缩为一条缓存条目。最终，43 层中有 37 层在压缩序列上计算，大幅降低了 KV Cache 占用。
2. 分层头维度分配
- HCA 层：计算量较小，采用 512 维宽头；
- MLA 层：逐 Token 访问且计算量大，采用 256 维窄头。
这种设计通过平衡计算成本与收益，实现了更优的资源利用率。
3. 稀疏注意力优化
在需要逐个访问历史 Token 的 MLA 层，引入 DSA（稀疏注意力）。通过轻量索引器对历史位置打分，仅对得分最高的 Top-K 位置进行核心注意力计算，使得每个 Query 的计算开销不再随上下文长度线性增长。
此外，模型还集成了 Latent MoE、流形约束超连接、MultiMax 输出头及 ECHO 分词器等组件，整体系统设计围绕持续训练与推理效率展开。
三、评测表现：代码能力突出，长文本互有胜负
在相同框架、Prompt 及裁判模型下，ERNIE 5.5 Flash Base 与 DeepSeek V4 Flash Base、Hy3 Preview Base、MiMo V2.5 Base 进行了横向对比。
关键指标得分：
| 维度 | 项目 | 分数 |
|---|---|---|
| 综合 | MMLU | 93.3 |
| 综合 | MMLU-Pro | 78.4 |
| 知识 | SimpleQA | 34.1 |
| 理科 | GPQA | 60.2 |
| 推理 | BBH (CoT) | 89.2 |
| 代码 | HumanEval+ | 82.3 |
| 代码 | LiveCodeBench | 40.1 |
| 代码 | RepoQA | 91.7 |
| 长上下文 | LongBench-v2 | 48.7 |
| 长上下文 | HELMET-ICL | 85.9 |
优势分析：代码能力是本代模型的亮点，HumanEval+ 得分（82.3）显著高于竞品（DeepSeek 69.5、Hy3 78.0、MiMo 74.4），这得益于数据侧对仓库级代码与长上下文理解的加强。
客观差距：虽然在 MMLU-Pro 上领先明显，但在长上下文的 HELMET-Rerank 和 InfiniteBench 两项指标上，略逊于 DeepSeek 和 MiMo，并非全面碾压。
ERNIE 5.5 Flash Base 总体评测结果
四、获取方式与许可协议
- 模型权重：Hugging Face 提供 FP8 与 BF16 两种格式（BF16 版本标识为
baidu/ERNIE-5.5-Flash-Base-BF16）。 - 许可协议：遵循 ERNIE 5.5 Flash Base Model License Agreement v1.0。
- 使用规范：作为 Base 模型，输入需以 BOS Token 开头，分词时需设置
add_special_tokens=True。
五、使用建议与注意事项
- 非即插即用：此为 Base Checkpoint，非 Chat 模型。使用者需自行准备后训练数据、定义训练目标并完成对齐流程，才能转化为可用产品。
- 注意许可条款：采用的是自定义协议而非 Apache/MIT 等标准开源许可。商用、再分发及衍生模型处理需仔细阅读条款，通常此类协议限制更为严格。
- 理性看待长文本：虽然支持 1M Tokens 推理，但预训练长度为 128K。超出训练长度的效果取决于后续微调策略，能力边界由下游应用决定。
六、行业意义：从「成品竞争」转向「基座共享」
此次开源标志着国产大模型竞争进入新阶段。以往竞争多集中于 Chat 模型的易用性与榜单分数，而百度此次开放高质量预训练终点权重，具有三重价值：
- 降低门槛：免除绝大多数团队难以承担的 280B 参数/33.5T Tokens 预训练成本。
- 确立基线：提供阶段明确的研究基线，便于不同训练方法在同一 Checkpoint 上进行公平对照。
- 技术共享：公开 MLA+HCA 混合注意力等高效架构设计，为长上下文推理研究提供参考。
开源的核心意义已从「谁的模型更会聊天」升级为「谁能将巨大的训练投入转化为行业研究的公共起点」。