百度把280B参数的文心基座直接开源了。
开放的 ERNIE 5.5 Flash Base 预训练权重：总计280B 总参数，每个 token 激活 14B，在33.5T token 上从零训练，提供 FP8 和 BF16 两个版本。
百度这次交出来的是预训练结束时的原始 checkpoint，还没有经过中训练和后训练。做领域适配、指令微调或者 Agent 强化学习，可以从同一份权重起步。对想自己继续训练模型的团队来说，这个挺有用。
这次发布背后，还有一个熟悉的名字：孙天祥。
他在复旦读博期间主导了 MOSS 项目，2024年获得博士学位。今年7月，他加入百度，出任基础模型研发部负责人。从 MOSS 到文心，这位做过开源对话模型、也创办过 AI 公司的研究者，又交出了一份新作品。
孙天祥说，这是他加入百度后的首个发布，并特别感谢了背后的团队。
代码成绩很抢眼
先看这份底座已经练到了什么程度。
百度把它与三个规模相近的 Base 模型放在一起：DeepSeek V4 Flash Base、Hy3 preview Base 和 MiMo V2.5 Base。四者使用同一评测框架、相同提示词和 few-shot 样例，自由问答也使用同一裁判模型。
代码部分最醒目。对照 DeepSeek V4 Flash Base，几项成绩是：
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
这三项均为 Pass@1，HumanEval+ 和 LiveCodeBench 使用1-shot，MBPP+ 使用0-shot。
综合与科学问题也有提升：MMLU-Pro 是78.4，对照模型为69.2；GPQA 是60.2，对照为55.9，两项均使用5-shot设置。
百度公布的同规模基座模型完整评测
中文事实问答 ChineseSimpleQA、长文重排序 HELMET-Rerank 等项目，DeepSeek 的分数仍然更高；FullStackBench 则是 Hy3 preview Base 领先。
37层负责压缩历史
14B 激活参数主要约束每步计算，长任务还有另一笔开销：对话、工具输出、代码文件越积越多，KV cache 也跟着涨。
文心5.5 Flash 的43层主干里，37层采用 HCA，只有6层采用 MLA 加 DSA。
HCA 把较远的历史每128个 token 压成一条缓存，同时保留最近一小段未压缩的窗口。多数层仍能访问整段历史，但读到的是压缩后的表示。
剩下6层保留对远处历史的 token 级访问能力，再用 DSA 的轻量索引器挑出相关位置，只对选中的位置计算核心注意力。
官方结构图中的43层主干与 ECHO
注意力头的宽度也随之分配：压缩后的 HCA 层计算便宜，用512维的宽头；逐 token 处理历史的 MLA 层更贵，用256维的头。百度在相近 KV cache 预算下比较过，把预算集中给少数 MLA 层，优于分给更多 CSA 压缩稀疏注意力层。
注意力内部还加入了 VHA（Virtual Head Attention），用轻量的低秩混合加强不同注意力头之间的信息交流，推理时可融合进注意力算子。低秩门控则直接利用已有的 query latent，门投影参数比从隐状态计算减少了75%。
模型在预训练中逐步扩展到 128K，发布配置支持微调和推理时最长 1M。官方的长文评测包括 RepoQA、LongBench-v2、HELMET 等，RepoQA 得到91.7，DeepSeek 对照为81.0。
专家不再由一个路由器拍板
模型每个 MoE 层有512个路由专家，每个 token 选10个，另加1个共享专家。
百度先检查了一个问题：路由器给专家打的分，和专家真正能帮多少忙，究竟有多一致？结果是相关性偏弱，中深层尤其明显。没被选中的专家又拿不到这个 token 的梯度，选错之后不容易纠正。
Multi-Router 的办法，是让多个独立初始化的路由器一起打分。它们在训练中形成不同偏好，一个专家可以因为某个路由器强烈支持而入选，也可以得到几个路由器的共同支持。
选中的专家数量没有增加，专家计算量和通信量也保持原来的预算。
官方结构图中的 Multi-Router Latent MoE
专家本身则在更窄的空间里工作：先把4096维表示投影到2048维，专家处理后再统一映射回来。相对于全宽专家，这部分专家计算与分发、合并通信开销约减半。
它仍然是280B 参数的模型。14B 是每个 token 的激活规模，部署时要容纳的权重不能按 14B 来算。vLLM 的官方配方默认采用4卡并行。
最后一层兼任草稿模型
文心还把多 token 预测用进了主干。
它采用的 ECHO 复用模型自己的最后一层来预测后续 token，而不是另外挂一套独立的 MTP Transformer 模块。未来位置的训练信号会直接作用于生成下一个 token 的那组参数。
这次预训练使用单步 ECHO。到了推理阶段，同一层还能为投机解码起草多个 token，再由模型验证接受；官方报告，同样只训练一步时，其多步起草质量优于辅助 MTP。
其他改动也围绕计算和表达能力的取舍：mHC 让各层读写4条并行残差流；MultiMax 用可学习的分段温度处理输出分布。
这些设计最后要一起落到训练系统里。百度配套改了分布式 Muon 的通信与优化器状态切分，还开放了面向大注意力头的 FlashMask-4 算子。
训练语料加入了代码演化过程
33.5T token 里，代码并不只是静态文件。
官方列出的材料包括 commit、issue、PR、代码评审，从需求到 PR 的过程、多次提交的轨迹，以及生成的测试和通过 CI 验证的修复。
一个仓库出了什么问题，改动经过哪些步骤，测试怎样确认修好，这些过程也进入了预训练材料。
长文数据则同时使用天然长文档、混入语义相近干扰材料的长序列，以及检索、带引用问答和多跳问答的合成数据。
前 Hugging Face 亚太生态负责人王铁震：“你上一次见到大型基座模型发布是什么时候？”随后他写道：“百度回来了。天祥和团队干得漂亮。”
最后
目前，FP8 与 BF16 权重都已上架 Hugging Face 和 ModelScope，vLLM、SGLang 也有部署入口。Base 使用文本补全接口，开发者可以从这里继续做领域训练、SFT 和强化学习。
权重采用文心专用许可协议，商用有营收条件和地域限制，具体项目接入时需要看对应条款。
孙天祥透露，后训练已经启动，后训练版 ERNIE 5.5 Flash 将随后推出。
参考链接
-
ERNIE 5.5 Flash Base 官方技术介绍：https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/ -
模型卡与 FP8 权重：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base -
BF16 权重：https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16 -
孙天祥个人主页：https://txsun1997.github.io/ -
vLLM 部署配方：https://recipes.vllm.ai/baidu/ERNIE-5.5-Flash -
ECHO 论文：https://arxiv.org/abs/2610.24766 -
Multi-View Latent MoE 论文：https://arxiv.org/abs/2610.40577