编者摘要：DeepSeek‑V4.1‑Flash 是 DeepSeek 推出的面向智能体 Agent 场景的多模态 MoE 大模型，主干 552B 参数，最高支持100 万 token 上下文DeepSeek。对比上一代 V4‑Flash，它性能变强，同时把缓存开销大幅砍半再压缩，还新增原生图像多模态能力。

架构最大亮点是 CED 因果编解码，预填充（读输入）只激活 8B 参数，解码（生成输出）激活 16B，专门适配 Agent 大量输入的场景；搭配 CSA2 跨层 KV 复用、FP4 低精度 KV 缓存、SWA 有界重放，显存里全局 KV 缓存降到每 token890 字节，仅 V4‑Flash 的 1/4；SSD 持久化缓存仅为老版本 1/8，相比初代 V1 实现 437 倍缓存压缩，极大降低长上下文显存、SSD 硬件压力。

对比自家 V4‑Flash：代码、智能体基准大幅提升，DeepSWE v1.1 从 54.4% 提升至 74.2%；对比超大参数量 V4‑Pro，它总激活参数小得多，但推理、代码能力几乎追平甚至部分反超，Codeforces 评分 3471 高于 V4‑Pro 的 3348DeepSeek。模型新增推理努力档位，可自由调节思考深度，平衡输出质量与 token 成本，同时支持多智能体协作。

它的行业意义：证明不单纯堆总参数，靠架构 + 缓存工程 + 高质量后训练数据，也能实现顶尖 Agent 能力，大幅降低百万 token 长上下文智能体的部署硬件门槛。短板在于极端硬核科学任务和顶尖闭源模型仍存在差距，CSA2、SWA 近似重放在极端边界场景存在潜在性能退化风险。

10 个关键问题问与答

1. Q：DeepSeek‑V4.1‑Flash 参数量这么大，为什么推理反而更便宜？
   A：虽然主干 552B，但 CED 架构输入阶段只激活 8B 参数；加上 KV 缓存巨大压缩，长上下文场景显存、SSD 开销大幅下降，实际运行成本显著降低DeepSeek。
2. Q：V4.1‑Flash 和 V4‑Flash 核心差别是什么？
   A：新增原生多模态视觉；CED、CSA2、FP4、SWA 有界重放实现巨大 KV 缓存压缩；Agent / 代码能力大幅提升；新增推理努力调节接口。
3. Q：什么是 KV 缓存压缩，对 Agent 智能体有什么价值？
   A：KV 缓存存储历史上下文，长 Agent 任务会疯狂占用显存 / 硬盘；压缩后同样百万 token，占用硬件资源变少，可以跑更多并发智能体实例，降低部署成本DeepSeek。
4. Q：CED 因果编解码架构解决什么痛点？
   A：Agent 场景会频繁传入大量 prompt 做 prefill；CED 把 prefill 计算量几乎减半，输入密集的工具调用场景速度更快。
5. Q：推理努力度（reasoning‑effort）是什么，怎么用？
   A：可以设置 1‑100 的档位，API 封装 low (50)/high (75)/max (100)；档位越高思考 token 越多、准确率越高、开销越大，业务可按需取舍。
6. Q：V4.1‑Flash 对比 V4‑Pro，孰强孰弱？
   A：代码、Agent 基准很多指标超过 V4‑Pro；部分高难度科学知识任务略弱；V4.1‑Flash 激活参数量远小于 V4‑Pro，性价比更高DeepSeek。
7. Q：CSA2 的三种模式 Full、Reindex、Reuse 分别起什么作用？
   A：Full 完整计算 KV 与索引；Reindex 复用 KV 但重新选索引；Reuse 直接复用上层 KV + 索引；层层复用减少重复缓存存储与计算。
8. Q：SWA 有界重放，会不会带来模型效果损失？
   A：绝大多数日常任务几乎无感知；论文提示极端边界、缓存恢复场景，近似重建可能存在潜在性能下降风险，属于模型鲁棒性边界。
9. Q：这个模型适合哪些业务场景，哪些场景不推荐？
   A：适合：代码 Agent、自动化工作流、视觉智能体、百万 token 长文档；不太适合：顶尖硬核科学研究类超高难度任务。
10. Q：这份技术报告最大的行业启示是什么？
    A：大模型能力提升不只靠堆总参数；架构创新、KV 缓存工程、高质量 RL 合成数据，可以用更低硬件成本实现顶尖 Agent 能力。

附录  DeepSeek‑V4.1‑Flash：突破 KV 缓存压缩的极限

DeepSeek‑AI research@deepseek.com

摘要

长周期智能体的广泛应用，使得模型工作负载愈发偏向输入密集型。尽管已有大量研究大幅降低了长上下文计算开销，但预填充（prefill）阶段的计算成本依旧居高不下，庞大的 KV 缓存持续挤占高带宽内存（HBM）、固态硬盘（SSD）的容量以及数据传输带宽。计算、存储与带宽的多重需求，共同构成了进一步降低部署成本的主要瓶颈。

为应对该挑战，本文提出DeepSeek‑V4.1‑Flash，这是一个多模态混合专家（MoE）模型，主干参数量 552B，最高支持一百万 token 上下文。依托因果编解码（CED）架构，该模型解码阶段每个 token 激活 16B 参数，预填充阶段仅激活 8B 参数，极大提升智能体工作负载下的成本效率。

为挖掘 KV 缓存压缩的性能上限，DeepSeek‑V4.1‑Flash 将压缩稀疏注意力 2（CSA2）的跨层 KV 缓存复用技术与 FP4 KV 缓存相结合。这套方案将常驻 HBM 的全局 KV 缓存占用降至每 token 890 字节，约为 DeepSeek‑V4‑Flash 的 1/4。除此之外，借助专门的部署优化技术 ——SWA 有界重放（SWA Bounded Replay），常驻 SSD / 主机内存的持久化 KV 缓存占用压缩至 DeepSeek‑V4‑Flash 的约 1/8。

在 KV 缓存占用大幅缩减的同时，模型整体性能相比基线模型反而显著提升。此外，本文对 DeepSeek‑V4 架构做精简，引入多项高效架构扩展。我们在包含 45 万亿 token 的多模态语料库上完成预训练，并开展完备的后训练，最终该模型在各类文本与多模态智能体任务上均取得优异效果。模型权重已发布在 HuggingFace：https://huggingface.co/deepseek‑ai/DeepSeek‑V4.1‑Flash。

图 1 (a)：DeepSeek‑V4.1‑Flash 与其他竞品在智能体基准测试上的性能表现。(b)：DeepSeek 各代模型单 token 全局 KV 缓存占用（字节），体现 DeepSeek 持续降低上下文内存开销的技术路线。相较于 DeepSeek‑V4‑Flash 与 DeepSeek‑V1，DeepSeek‑V4.1‑Flash 的单 token 全局 KV 缓存分别实现约 4 倍、437 倍的压缩。

目录

1 引言

2 架构

3 通用基础设施 

4 预训练

5 后训练 

6 结论、局限性与未来展望 

附录 A 作者名单 46 

附录 B 评估补充细节 

附录 C 推理算力控制中的指数型 token 惩罚 

1 引言

长周期智能体应用快速发展，超长上下文处理成为模型愈发重要的工作负载。这类业务不仅要求高效处理长序列，还需要对海量 KV 缓存做持久化存储、复用与数据搬运。KV 缓存管理因此成为模型部署的核心能力，但也带来巨大的计算、存储与通信层面的挑战。

稀疏注意力领域的前期工作（DeepSeek‑AI，2025、2026b）显著降低长序列计算开销，却也让持久化存储和数据搬运成为更加突出的瓶颈。

具体来看，DeepSeek‑V4（DeepSeek‑AI，2026b）融合覆盖全部上下文的全局注意力分支与滑动窗口注意力（SWA）。全局分支维护全局 KV，包含主 KV 与索引器 K；SWA 维护局部 KV 状态。窗口大小固定时，SWA 的 KV 存储量与序列长度无关；当序列足够长时，全局 KV 成为 KV 缓存内存占用的主导部分，受限于 HBM 容量。除此之外，部分 KV 会被持久化保存，用于前缀复用，即持久化 KV 缓存，受限于 SSD 与主机内存容量；IO 与互联带宽也制约缓存迁移与加载。以上种种约束拉低服务吞吐、抬高部署成本，最终限制长任务智能体在更多场景落地。

因此进一步压缩 KV 缓存占用，对缓解存储通信瓶颈、降低长上下文服务成本至关重要。基于此，我们推出 DeepSeek‑V4.1‑Flash：面向激进 KV 缓存压缩的多模态混合专家模型。主干参数量 552B，原生支持多模态输入，上下文最高一百万 token。模型采用因果编解码（CED）架构：预填充阶段每个 token 仅激活 8B 参数，解码阶段激活 16B 参数，对输入密集的智能体场景非常友好。尽管整体规模大于 DeepSeek‑V4‑Flash，但同等序列长度下，运行时 KV 缓存仅为前者 1/4，持久化 KV 缓存仅为前者 1/8，同时整体性能优于 DeepSeek‑V4‑Flash。

该级别的 KV 缓存压缩来自架构、缓存精度、部署策略三方面协同优化。可以将 DeepSeek‑V4 理解为：一套以 SWA 为本地处理主干，叠加压缩全局上下文的模型。受该视角启发，我们重点简化全局分支，基本保留原有局部注意力设计。

架构层面：设计 CSA2（压缩稀疏注意力 2），对全局 KV（主 KV、索引器 K）以及 Top‑K 索引执行跨层复用，大幅削减 KV 缓存存储开销。CSA2 包含三种静态工作模式：完整模式（Full）、重索引模式（Reindex）、复用模式（Reuse）。

1. 完整模式：生成全局 KV 并执行索引；
2. 重索引模式：复用上一层全局 KV，使用本层索引器 Q 对复用的索引器 K 重新打分，选出全新 Top‑K 索引；
3. 复用模式：同时复用上层全局 KV 与 Top‑K 索引，直接执行稀疏注意力。

三种模式下，每一层都保留自身的全局 Q 以及 SWA KV。共享全局 KV 与索引器 K 消除重复缓存存储。和 DeepSeek‑V4 采用的 CSA‑HCA 混合架构不同，DeepSeek‑V4.1‑Flash 直接使用纯 CSA2。

缓存精度层面：训练阶段使用 FP4 精度存储全局 KV 缓存，性能仅有微幅下降。CSA2 搭配 FP4 KV 缓存，把全局 KV 缓存存储压至 DeepSeek‑V4‑Flash 的约 1/4（见图 1 (b)）。

部署层面：DeepSeek‑V4.1‑Flash 每一层同样使用 SWA。DeepSeek‑V4 采用混合策略权衡持久化 SWA KV 的存储开销与精确重建所需计算量；精确重建需要重放最近 \(L ×n_{win}\) 个 token（L为层数，\(n_{win}\)为 SWA 窗口大小）。DeepSeek‑V4.1‑Flash 提出SWA 有界重放，仅重放最近 \(n_{win}\) 个 token 就可以近似重建所需 SWA KV 状态；实验证明该策略只会带来可以忽略不计的性能损失。该方案建立一套全新存储‑计算权衡：不再需要将 SWA KV 持久化写入 SSD，仅付出少量预填充重算代价。借助 SWA 有界重放，持久化 KV 缓存占用进一步下降至 DeepSeek‑V4‑Flash 的 1/8。

上述全套优化大幅减轻 HBM、SSD 压力，降低部署成本，为更大规模落地铺平道路。

图 2：DeepSeek 各代模型单 token 解码 FLOPs 随上下文长度变化。计算时按精度做加权统计：BF16、FP8、FP4 运算权重分别取 1、0.5、0.25。随着上下文变长，DeepSeek‑V4.1‑Flash 的解码 FLOPs 几乎保持恒定，极大降低长上下文场景计算开销。

CED 与 CSA2 之外，我们对原版 DeepSeek‑V4 架构做精简升级。将原版 mHC（Xie 等人，2026）升级为单遍 mHC，配套 Mega‑mHC 部署内核，相比原来四内核实现，激活内存流量减半。集成 Engram 条件记忆模块增强模型能力；引入 DSSpark 推测解码架构，通过半自回归草稿生成 + 置信度调度校验，提升解码效率。

整套架构改进后，DeepSeek‑V4.1‑Flash 单 token 解码 FLOPs 几乎不受上下文长度影响。如图 2 所示，上下文从 4K 扩展到 1M（扩大 256 倍），解码 FLOPs 仅上涨 1/4，远小于 DeepSeek‑V4‑Flash 的涨幅。

为充分释放架构带来的 KV 缓存压缩收益，同时进一步提升训练、推理效率，我们针对 DeepSeek‑V4.1‑Flash 对训练基础设施与推理系统做协同优化，保障大规模多模态训练与长上下文部署高效可扩展。训练基础设施支持解耦视觉编码器执行、长序列均衡图像分片、跨阶段共享状态管理，适配注意力复用。推理系统实现编码器、解码器两套 SWA 有界重放逻辑；额外做计算‑通信重叠、分片 Engram 嵌入表、推理内核融合等优化。CSA2 复用模式的层，预填充仅需 15 个内核，解码仅需 11 个内核。同时在主机内存中将生命周期长的全局 KV 与生命周期短的编码器 SWA KV 分开存储，依靠有界重放近似还原缺失的编码器 SWA 状态。

预训练阶段，DeepSeek‑V4.1‑Flash 在 45 万亿 token 多模态语料上训练；稀疏注意力直接从 64K 序列长度从零开始训练，不经过稠密注意力预热阶段。预训练结束后，模型原生具备多模态能力，支持最高一百万 token 上下文。评测显示，DeepSeek‑V4.1‑Flash‑Base 在世界知识、推理、代码任务上可以比肩 DeepSeek‑V4‑Pro‑Base；总参数量仅为后者 1/3，激活参数量仅 1/4，在留存评测集上还有 5%‑10% 的提升，充分体现参数效率，也反映预训练数据质量的升级。

在基座模型基础上开展后训练，激发推理与智能体能力。后训练本身没有提出新算法，遵循 “监督微调 SFT→强化学习 RL→在策略蒸馏 OPD” 的标准范式，实现思路沿用 DeepSeek‑V4 的成熟实践，实质性改进集中在数据流水线：搭建大规模自动化数据合成与环境构建流水线，逐步扩大 RL 阶段使用的数据、任务、样本规模，拓展模型在文本、多模态、智能体领域能力。图 1 (a) 汇总核心智能体基准结果。

评测表明，尽管激活规模更小，DeepSeek‑V4.1‑Flash 展现独特能力特征：

• 推理
  推理能力强劲，在数学、竞赛编程等高推理强度基准保持高准确率，性能对标 Kimi‑K3、DeepSeek‑V4‑Pro 等顶尖开源模型。
• 智能体
  在 Terminal‑Bench 2.1、DeepSWE v1.1、Automation‑Bench 等主流智能体基准上达到闭源顶尖模型同等水平，足以胜任日常编码、白领办公流程。但面向 Terminal‑Bench 4.0 这类需要专家领域知识的科学类智能体任务，和超大模型之间仍存在差距。
• 多模态
  在视觉推理、专业图表解读类基准上超过 Kimi‑K3 等顶尖开源竞品。除基准分数外，在前端开发、办公自动化等真实视觉智能体工作流具备实用价值，能够读取截图完成视觉检查与自我修正。但整体综合能力和顶尖闭源大模型相比依旧存在差距。

以上结果说明 DeepSeek‑V4.1‑Flash 已经在绝大多数基准上看齐闭源前沿模型，可以解决超过 95% 真实业务任务；同时更小的激活内存带来更低推理延迟与服务成本。因此 DeepSeek‑V4.1‑Flash 实现能力与效率的优秀权衡，可以作为面向广大用户的高速低成本日常助手。

总而言之，DeepSeek‑V4.1‑Flash 同时提升模型智能水平与推理效率，降低部署成本，大幅降低大规模部署长周期智能体的门槛，拓展更多落地场景。本模型也将成为我们后续持续扩规模迭代的新起点。基于这套基座，我们会继续联合扩展架构、预训练、后训练，持续探索大模型能力边界。

2 架构

2.1 总览

DeepSeek‑V4.1‑Flash 是多模态混合专家 Transformer，接收图像、文本输入，自回归生成文本。语言主干共 40 层因果 Transformer，划分为 20 层因果编码器 + 20 层解码器。除前两层仅使用 SWA 之外，其余每一层同时包含全局注意力与滑动窗口注意力 SWA。视觉编码器 + MLP 投影器将图像转为视觉嵌入，与文本嵌入共同处理；多模态数据从语言模型预训练早期就参与训练。

整体上，DeepSeek‑V4.1‑Flash 主干参数量 552B，Engram 模块参数量 196B；预填充每个 token 激活 8B 参数，解码每个 token 激活 16B 参数。

图 3 DeepSeek‑V4.1‑Flash 整体架构：40 层网络分为各 20 层的因果编码器与解码器。前两层编码器仅使用滑动窗口注意力 SWA；其余层使用 CSA2。标注 CSA2 (压缩比，模式) 代表压缩比例与工作模式。模型同时使用单遍 mHC、Engram、DSSpark、分层稀疏索引器。全部前馈层使用标准 DeepSeekMoE。

因果编解码 CED 和 CSA2 分别解决长上下文推理中两类不同开销：CED 利用编码器输出构造解码器的全局 KV 缓存，大部分提示 token 无需完整走解码器计算，同时保留层内局部滑动窗口注意力，几乎减半预填充计算量，对上下文不断增长的智能体场景显著降低新输入 / 未命中缓存输入的开销。CSA2 跨层共享全局 KV 缓存，减少存储开销；复用稀疏选择结果，降低索引计算开销。解码器内部，分层稀疏索引器约束后续索引器仅在更早索引器筛选出的候选池内检索，进一步减少每个查询需要打分的条目数量。

模型沿用 DeepSeekMoE（Dai 等人，2024）细粒度路由共享专家设计，针对文本、图像 token 引入模态专属负载均衡策略（Wang 等人，2024a）。单遍 mHC（Xie 等人，2026）改造残差流混合逻辑，支持高效内核融合。Engram（Cheng 等人，2026b）实现稀疏访问的条件记忆。主干预训练阶段去掉 MTP 模块；DSSpark（Cheng 等人，2026a）用于推测解码，DSSpark 在主干预训练完成后单独训练。同时主 KV 缓存压缩为 FP4 进一步削减存储开销。下面分模块详细介绍。

2.1.1 多模态架构

多模态输入链路包含视觉编码器与 MLP 投影器。对每一张输入图像，视觉编码器输出空间网格形式的视觉特征；经过 3×3 像素重排（pixel‑unshuffle），在通道维度重组局部邻域信息，降低空间分辨率，再由 MLP 投影器映射到语言主干的隐藏维度。处理完成的视觉嵌入插入输入序列对应的图像 token 位置，和文本嵌入共同送入语言主干。

DeepSeek‑ViT 视觉编码器：从零训练得到，原生支持任意分辨率图像输入。基于 Vision Transformer（Dosovitskiy 等人，2021），做多处改动：去掉绝对位置嵌入，替换为二维旋转位置编码 2D‑RoPE；patch 嵌入的卷积替换为线性投影，适配 Muon 优化器；归一化使用 RMSNorm，激活函数 SwiGLU。送入大模型前执行 3×3 下采样 pixel‑unshuffle，视觉 token 数量下降 9 倍，最高可处理约 1344×1344 分辨率输入。

面向 MoE 的无辅助损失多模态负载均衡：图像与文本 token 表征分布不同，会带来专家路由偏好差异。全局负载均衡会掩盖模态内部不均衡。对此我们扩展无辅助损失负载均衡（Wang 等人，2024a），为文本、图像 token 维护两套独立专家修正偏置。路由时，每个 token 使用自身模态对应的偏置选择专家，原始路由分数保留，用于加权专家输出。每一步训练结束，两套偏置依据各自模态的专家负载独立更新。该设计保障每种模态内部专家利用率均衡，实现稳定高效的多模态训练。

2.2 因果编解码（CED）

智能体工作流会频繁调用工具，产生大量预填充请求；当缓存未命中时，预填充计算开销巨大。为缓解预填充瓶颈，我们提出因果编解码 CED 架构，灵感来自 YoCo（Sun 等人，2024）。YoCo 允许上层层直接复用下层生成的 KV 缓存，以此降低预填充计算量。CED 在该思想之上做一系列结构改进，提升 KV 缓存容量与 KV 生成的计算深度。最终 CED 可以在性能基本不变前提下，减少近一半预填充计算。

针对全局注意力：CED 把 Transformer 下半部分 \(L/2\) 层作为因果编码器；上半部分（解码器，\(l>L/2\)）不再从自身隐藏状态 \(H_l\) 计算 KV，而是借助层专属投影权重 \(W_{l}^{KV}\)、\(w_{l}^{z}\)，直接从第 \(L/2\) 层（编码器最后一层）隐藏状态 \(H_{L/2}\) 投影得到： \(C_{l}=H_{L / 2} W_{l}^{K V}, Z_{l}=H_{L / 2} W_{l}^{Z}, l>\frac{L}{2}\) 式中 C、Z 分别代表 KV 条目与对应压缩权重。该机制意味着预填充阶段只需要完整计算前一半层，即可用极小代价得到上层全局 KV 缓存。

针对滑动窗口注意力 SWA：所有层依旧维持逐层计算，每一层局部 KV 直接取自本层隐藏状态 \(H_l\)。该设计提升局部 KV 生成的计算深度，但也需要 SWA 重放流程。预填充阶段，想要计算解码器 SWA KV，必须额外处理 \(n_{win} ×L / 2\) 个 token。当多轮对话每轮提示很短时，解码器的这份计算开销不可忽视。已有研究（Chen 等人，2025）指出 SWA 实际有效感受野远小于理论 \(n_{win} ×L / 2\)。受此启发，我们提出解码器 SWA 有界重放：预填充 SWA 计算仅处理提示末尾最近 \(n_{win}\) 个 token，显著降低计算开销，详见 3.2.2 节。

整体上，当序列长度 \(N \gg n_{win}\)，CED 把预填充复杂度从 \(O(NL)\) 降低到 \(O(N L / 2+n_{win} ×L / 2)≈O(N L / 2)\)，有效减半整体预填充计算量。

2.3 压缩稀疏注意力 2（CSA2）

长上下文服务需要同时控制 KV 缓存存储与注意力计算。可以从三个相乘维度削减开销：

1. 条目维度
   GQA 减少 KV 头数量；MLA 在多头之间共享隐向量；
2. 序列维度
   每 m 个 token 压缩成一条条目，如 DeepSeek‑V4 的 CSA、HCA；
3. 层维度
   部分层直接复用其他层缓存与选择结果，而不是独立维护一份。

过往工作证明层维度压缩具备巨大潜力：IndexCache（Bai 等人，2026）跨层复用 Top‑K 索引，削减索引计算；YOIO（Sun 等人，2026b）只做一次稀疏路由，全层共享；HySparse（Gao 等人，2026）稀疏层复用稠密层 KV 缓存。但仅复用索引无法节省主 KV 存储；全局路由共享会损害性能；混合架构依旧保留稠密注意力层；最重要的是以上方案都无法同时覆盖上述全部三个维度。

CSA2 同时利用这三个维度：跨层共享主 KV 与索引器 K，允许层复用 Top‑K 索引；缓存共享和索引复用相互解耦；结合简化压缩器与分层稀疏索引器，缩小解码器后续索引层的检索搜索域。

和 CSA 类似，CSA2 配备轻量索引器：使用索引器 Q、索引器 K 对主 KV 条目打分，为每个查询选出 Top‑K 条目。每个 Q 结合选中条目与本层局部 SWA KV 共同输出注意力结果。压缩比取 1 就是无压缩的原始主 KV。CSA2 同时简化压缩器与索引器：

• CSA 中压缩比 m，会由 2m 条原始 KV 生成一条压缩条目，相邻压缩条目源有重叠，并且加入绝对位置编码记录位置；CSA2 移除条目重叠与绝对位置嵌入；
• CSA2 直接从主 KV 条目投影得到索引器 K，不再像 CSA 那样从隐藏状态走独立压缩通路。 以上改动简化实现，提升训练效率。

2.3.1 跨层 KV 与索引复用

每一个 CSA2 层被静态分配为三种模式之一：Full 完整模式、Reindex 重索引模式、Reuse 复用模式。

图 4 CSA2 三种工作模式。差异在于获取主 KV、索引器 K、Top‑K 索引的方式。绿色为本层计算；黄色代表复用最近 Full 层的主 KV、索引器 K；红色代表复用最近生成索引层（Full/Reindex）的 Top‑K 索引。三种模式都在本层计算主查询 Q 与 SWA KV。

完整模式 Full：本层独立计算主 KV、索引器 Q，从主 KV 投影得到索引器 K；运行索引器，生成全新 Top‑K 索引。执行完整 CSA2 计算链路，等价于 DeepSeek‑V4 中一个标准 CSA 层。

重索引模式 Reindex：复用前面最近可用层的主 KV 以及对应的索引器 K；本层独立计算索引器 Q，对复用的 key 重新打分，生成全新 Top‑K 索引。主 KV 与索引器 K 保持共享，但各层稀疏选中条目可以发生变化。

复用模式 Reuse：复用前面 Full 或 Reindex 层生成的主 KV 以及最新 Top‑K 索引；直接使用这套选择结果做注意力，不再计算索引器 Q，也不执行索引打分。

共享主 KV 与索引器 K 减少缓存存储；复用 Top‑K 索引避免额外索引计算。Reindex 模式在缓存共享前提下，允许不同层选中不同条目。当 CSA2 与 CED 结合，分配为 Full 模式的解码器层，从因果编码器最后一层隐藏状态计算全局 KV；Reindex、Reuse 模式逻辑不变。

2.3.2 分层稀疏索引器

跨层索引复用减少索引器打分次数，但剩余索引器依旧需要对全部可见上下文打分；对于超长上下文，该开销仍是计算瓶颈。已有方案先对块表征打分剪枝，再做 token 级索引（Xu 等人，2026b）。我们发现在解码器中，浅层索引器的结果可以直接约束深层索引器检索范围，不需要新增额外状态。

因此提出分层稀疏索引器，仅用于 CED 解码器，降低解码阶段重复打分开销。对于每一条查询，第一个 Full 模式层构建候选池；后续 Reindex 层只在候选池内部检索。候选池大小固定后，后续每个查询索引打分开销从随上下文线性增长变为常数。该机制感知训练流程：训练与推理阶段同样施加候选池限制，深层索引器在推理使用的搜索域上完成优化。

图 5 分层稀疏索引器。每个方块代表位置；绿色方块是选中索引；蓝色方框代表根据索引最高分选出的块。解码器第一个 Full 模式 CSA2 层选出 Top‑512 索引，从选中块构建共享候选池；后续 Reindex 模式 CSA2 层只在候选池中选出自己的 Top‑512 索引。

第一个 Full 模式层对全部因果可见的主 KV 位置打分，生成自身注意力所需 Top‑K 索引；同时执行分块候选选择：每个块取块内所有位置最大索引分数，选出分数最高的一批块；收集被选中块包含的全部位置，构成规模大于最终 Top‑K 集合的候选池。例如选择 2048 个块，每个块 8 个位置，得到 16384 个候选位置。该候选池就是后续索引器的搜索范围；最终 Top‑K 选择决定每层实际读取哪些主 KV 条目。

后续 Reindex 模式层，只针对对应查询的候选位置打分，在候选池内部选出自己的 Top‑K 条目。Reuse 模式层不执行任何新索引，直接使用它所复用主 KV 对应的最新 Top‑K 索引。因此索引层共享候选池，但各层最终选择可以不一样。

候选池大小固定后，后续索引器每个查询打分位置数量不再随上下文变长而膨胀。第一个 Full 模式层依旧需要完整扫描全部因果可见范围。分层索引因此降低后续索引器的计算开销，同时保留最开始的全范围扫描。

2.4 高效架构扩展

2.4.1 单遍 mHC

DeepSeek‑V4 引入 mHC（Xie 等人，2026），在相邻 Transformer 块之间维护 n 条残差流，token 维度残差流记作 \(X_{l} \in \mathbb{R}^{n ×d}\)。更新公式： \(X_{l+1}=B_{l}X_{l}+C_{l} \mathcal {F}_{l}(A_{l}X_{l}), (A_{l},B_{l},C_{l})=\mathcal {H}(X_{l})\) \(A_{l} \in \mathbb{R}^{1 ×n}\)，\(C_{l} \in \mathbb{R}^{n ×1}\)，\(B_{l} \in \mathbb{R}^{n ×n}\) 均为由 \(X_l\) 预测得到的逐 token 系数；系数预测模块 H 包含归一化与投影。

理想情况下两个块之间残差变换可以合并为一次映射，理论读写下限 \((2 n+2) d\)。DeepSeek‑V4 原始多趟实现受数据依赖限制，拆分为 3 个串行内核，总激活内存流量达到 \((4n+4)d\)，刚好是理论下限的两倍。

我们提出单遍 mHC（Single‑Pass mHC）：将输入混合系数向后偏移一个块，块使用上一块输出的混合系数 \(A_{l-1}\)，消除数据依赖： \(X_{l+1}=B_{l}X_{l}+C_{l} \mathcal {F}_{l}(A_{l-1}X_{l}), (A_{l},B_{l},C_{l})=\mathcal {H}(X_{l}).\) 实证表明该偏移只会带来微乎其微性能下降。预训练阶段我们保留原有多内核实现；部署阶段将残差更新、输入混合、系数预测融合为单个内核 Mega‑mHC。该内核将激活内存流量减半，达到理想映射下限 \((n+1)d\)读、\((n+1)d\)写。内核同时集成输入前置归一化、FP8 转换。

2.4.2 Engram 记忆模块

我们接入 Engram 条件记忆模块（Cheng 等人，2026c），该模块将记忆与计算解耦。沿用原始设计：tokenizer 压缩、多头哈希、上下文门控、多分支集成；做两处改动：

1. 移除短因果卷积：收益不足以抵消推理栈复杂度；
2. Engram 嵌入表采用动量更新 + Sinkhorn 平衡优化。

Engram 总参数量 196B，均分至两个子模块。每个模块 N‑gram 阶数取 {2,3,4}，8 个哈希头，每一阶总嵌入维度 2048；每个头索引一张约 16M 条目的表，表大小选用不同质数。嵌入表与 KV 投影全部使用 FP8 精度。模块放置在第 1、14 层（从 0 开始编号），平衡各训练流水线阶段内存占用。推理阶段，确定性寻址允许通过 RDMA 后台预取主机内存中的嵌入；第一个模块预取与第一个 Transformer 块计算重叠执行。更多训练、推理细节见 3.1.3 节。

2.4.3 DSpark 推测解码

DSSpark（Cheng 等人，2026a）是一套推测解码模块，结合半自回归草稿生成与置信度调度校验。草稿生成器包含 3 个 Transformer 块，滑动窗口大小 128token。一次前向可以并行计算 5 个草稿位置基础 logit；轻量马尔可夫头建模草稿 token 之间依赖关系。置信度头预测每个位置条件接受概率，估算前缀留存概率。调度器结合估算结果与引擎吞吐曲线，为每条请求动态选择校验长度，目标是在当前系统负载下最大化整体系统 token 吞吐。

和 DeepSeek‑V3 的 MTP 不同，DSSpark 不在主干预训练阶段联合训练；主干预训练完成后单独开启 DSSpark 训练，冻结主干权重。后训练阶段 DSSpark 与主干一起训练，但 DSSpark 目标的梯度不会反向传播回主干网络。该方式保证 DSSpark 和持续迭代的模型策略对齐，同时既可以加速线上服务，也可以加速 RL、在策略蒸馏的 rollout 样本生成。

2.4.4 FP4 主 KV 缓存

长上下文智能体工作负载每条请求需要巨大 KV 缓存，推高服务成本。DeepSeek‑V4 已经对索引器 Q、K 做感知量化训练 QAT，使用 FP4，加速索引计算，减小索引器缓存。我们采用 OCP 标准 MXFP4 格式（Rouhani 等人，2023），最大化硬件兼容性。现在我们将 QAT 扩展到主 KV 缓存，FP4 主要目标是降低存储，而不是加速矩阵乘法。注意力计算前对缓存做反量化，不需要硬件原生支持该精度矩阵运算，跨硬件平台兼容。

在众多 4bit 格式中，我们选用 E2M1，每 16 个通道共用 1 个 E4M3 缩放系数，参考 NVFP4（Alvarez 等人，2025），但去掉第二级全局缩放，平衡精度与实现简单性。去掉全局缩放后依旧拥有充足动态范围：经过 RMSNorm，KV 隐向量 L2 范数上限约 \(\sqrt{512}≈22.6\)；训练期间实际观测最大幅值约 10，因此去掉全局缩放不会带来可观测精度损失，同时简化缓存布局。

为启用 FP4 主 KV 缓存，在后训练阶段引入量化感知训练 QAT。RoPE 变换前后使用同一套量化格式；在 RoPE 执行之后做量化：实验证明 RoPE 之前量化仅带来微小精度提升，但解码阶段引入额外开销。SWA KV 缓存对量化更敏感，依旧维持 FP8。对比 DeepSeek‑V4 的 FP8 主 KV 缓存，这套方案 HBM 内与 SSD 卸载场景下存储占用几乎减半。

2.5 优化策略

在 DeepSeek‑V4 优化配置基础上做新改动，适配新架构。

1. 按头维度 Muon 优化器
   Query 权重按注意力头拆分，分别执行 Muon 更新。普通 Muon 对全部头共用同一个预条件器；按头 Muon 为不同注意力头提供独立预条件器，更好处理注意力头之间的异质性（Zhang 等人，2024；Zhang，2026）。GLM‑5（Zeng 等人，2026）、Kimi‑K3（Team 等人，2026a）同样验证该方案实证收益。
2. Engram 参数如果直接用 Adam，优化器状态内存开销爆炸。因此 Engram 嵌入表、token 嵌入、预测头改用动量更新 + Sinkhorn 平衡。Sinkhorn 平衡之前被用在线性层权重矩阵 SinkGD（Scetbon 等人，2025）；这里我们扩展到这些超大参数矩阵。和 Muon 类似，仅使用动量缓冲，效果实证优于 Adam。

基础优化器配置：

• 归一化层权重、偏置、缩放因子等非矩阵参数使用 AdamW（Loshchilov and Hutter，2019）；
• 语言主干、Engram 投影层、视觉‑语言投影器的线性变换权重矩阵使用 Muon；
• Query、Key 权重使用按头 Muon；
• Muon 使用解耦权重衰减与 Nesterov 动量；归一化层权重使用权重衰减，偏置、缩放因子不使用；
• Sinkhorn 平衡更新同样使用 Nesterov 动量，不做权重衰减；
• 预训练阶段，学习率衰减到来之前冻结视觉编码器，只训练它最后一层归一化层与视觉‑语言投影器；进入学习率衰减阶段，再用更小学习率解冻视觉编码器联合训练。

Engram / 嵌入 / 预测头的 Sinkhorn 平衡更新流程：

算法 1：带 Sinkhorn 平衡的动量更新 输入：权重矩阵 \(W_t∈R^{m×n}\)，梯度 \(G_t\)，动量 \(M_{t−1}\)，动量系数 β，基础学习率\(\eta_t\)，学习率修正系数 γ，数值常数 ε、τ，归一化迭代次数 K（奇数）。

1. \(M_{t}←\beta M_{t-1}+(1-\beta)G_{t}\)
2. \(\hat{G}_{t}←\beta M_{t}+(1-\beta)G_{t}\) # Nesterov 动量
3. 计算各行梯度范数\(\rho_i\)，求均值\(\bar{\rho}\)
4. \(U^{(0)} \leftarrow \hat{G}_{t}\)
5. 如果\(\rho_{i} ≤\tau \bar{\rho}\)，将第 i 行置零 # 屏蔽接近零的行
6. for k = 1 … K:   if k 为奇数：逐行归一化 U 各行 L2 范数   else：逐列归一化 U 各列 L2 范数
7. \(\Delta_{t}\leftarrow\sqrt{n}\, U^{(K)}\) # 转换单位行 L2 范数到单位行 RMS
8. \(\tilde{\eta}_{t}=\gamma \eta_{t}\) # 对齐 Adam 更新幅度
9. \(W_{t+1}=W_{t}-\tilde{\eta}_{t}\Delta_{t}\)

Sinkhorn 平衡通过对角缩放矩阵，近似均等化更新矩阵的行、列方向 RMS。行对应 token 索引 /n‑gram 标识；列对应隐藏特征。数值不稳定的行做掩码。\(\sqrt{n}\)因子用于单位转换；γ=0.18 用来对齐 Adam 更新幅度，参考 Moonlight（Liu 等人，2025）。

该算法与 Adafactor、Adammini 等同属利用矩阵行列结构的优化方案，但归一化策略、通信开销存在差异，未来会进一步研究。

3 通用基础设施

3.1 训练基础设施

3.1.1 多模态训练基础设施

对比学习阶段计算‑通信重叠：视觉编码器先经过对比学习目标优化，再接入生成式 next‑token 损失。对比学习阶段，损失计算需要全部数据并行 rank 收集图文特征，带来巨大通信开销。文本特征梯度仅依赖收集完成的图像特征，图像特征梯度仅依赖收集完成的文本特征。因此 AllGather 通信可以和前向、后向计算互相重叠，不用等待通信阻塞流水线。调度如下： \(\mathit{Forward}(V) \to \big (\mathit{Forward}(T) \| \mathit{AllGather}(V)\big ) \to \nabla _{\mathit{Text}}\\ \to \big (\mathit{Backward}(T) \| \mathit{AllGather}(T)\big ) \to \nabla _{\mathit{Vision}} \to \mathit{Backward}(V)\) V 代表视觉特征，T 代表文本特征；A || C代表计算 A 与通信 C 并行执行。AllGather 通信开销完全隐藏在计算背后。

端到端并行：视觉编码器与 LLM 之间模型、数据特性差异巨大，采用解耦编码器设计（Team 等人，2025、2026b）。视觉编码器独立副本，不在 LLM 参数树内。每个训练 step 分为三段：视觉编码器前向、LLM 前向‑反向、视觉编码器反向。该隔离避免视觉计算干扰 LLM，负载均衡的图像处理局限在首尾阶段，LLM 阶段维持纯文本训练的并行策略不变。

长序列多模态训练优化：DeepSeek‑V4.1‑Flash 预训练、后训练大量使用百万 token 超长序列。多模态样本带来严重 IO、CPU、内存瓶颈。

• 均衡图像分片
  一条图像密集超长序列加载时会耗尽单机 IO/CPU/ 内存。因此把每条序列的图像做负载均衡分片分发到不同计算 rank；每张图像只加载一次。只要满足 \(\frac{N × \rho}{B_{IO}}<\frac{N × C}{B_{GPU}}\)，图像加载开销就可以被计算掩盖。N 为 token 数，ρ 单 token 原始字节，C 单 token 计算量，\(B_{IO}\)存储带宽，\(B_{GPU}\)GPU 带宽。该不等式与序列长度、集群规模无关。只有小模型每 token 计算量很低时存储吞吐才会成为瓶颈；生产规模模型整体是计算受限。
• 增量图像传输
  RL rollout 阶段，图像增量传输到推理引擎；CPU 侧解码预处理结果写入分布式文件系统，在多次 rollout、后续训练中复用。

3.1.2 面向 CSA2 的注意力共享训练

CSA2 存在跨层复用主 KV、索引器 K、Top‑K 索引；大规模分布式训练流水线中，共享源层和消费层可能分布在不同流水线阶段，无法直接简单复用模块实例。为此我们设计多套机制支持 CSA2 训练：

1. 影子索引器
   每个参与 stage 放置轻量可执行副本；逻辑上只有一份源参数，负责优化与保存 checkpoint；参数同步、梯度聚合保证各影子副本在训练全程保持一致。不改变模型语义，流水线调度不需要特殊对待共享层。
2. 流水线载荷扩展
   源层与消费层跨流水线边界时，把下游需要的中间表征、稀疏路由信息封装进点对点通信；和上下文并行分区对齐，不做多余复制，保证梯度正常流动。
3. 微批次粒度共享状态管理
   跟踪每个活跃流水线微批次对应的共享状态生命周期；前向、激活重计算、反向传播全部完成后立刻释放共享状态，控制内存开销。这套运行时抽象屏蔽物理流水线布局，注意力实现不需要感知硬件放置位置。

配合优化器、checkpoint、预热、计算图追踪流程的轻量适配，CSA2 可以在现有分布式训练接口、流水线调度下透明运行。

3.1.3 Engram 模块训练

Engram 嵌入表在行维度切分到一组 Engram 并行进程组；组大小权衡单设备内存占用与嵌入查询通信范围。每个表分片再进一步分片优化器状态。嵌入查询索引只取决于输入 token 序列。每个流水线微批次开始前，提前预取本批次全部索引，最小化对流水线的干扰。反向传播阶段缓存嵌入梯度；主干反向全部完成后，梯度回传给所属 rank。嵌入读取、写入全部使用 FP8；检索得到的嵌入与缩放因子直接送给 GEMM 计算。

Engram 表更新使用 Sinkhorn 归一化，维护迭代行列缩放向量，避免反复重写完整归一化矩阵；行归一化、列统计累加融合为单个内核，降低内存流量。RL rollout 阶段，Engram 嵌入表常驻 GPU 显存，降低主机内存压力，避免主机内存碎片导致 OOM。

3.2 推理系统

DeepSeek‑V4.1‑Flash 设计之初就把推理效率作为核心目标。尽管架构概念复杂，但最终推理内核流程非常简洁。大量内核融合：FlashMLA 的 RoPE‑注意力‑RoPE‑cast 融合内核、DeepGEMM 中 Mega‑Gate/Mega‑mHC/Mega‑MoE、TileKernels、DeepSelect TopK 内核。结果上，绝大多数 Reuse 模式 CSA2 层：预填充仅 15 个内核，解码仅 11 个内核，实现高吞吐低延迟推理。

部署层面使用编码器‑预填充‑解码（EPD）解耦架构：视觉编码、prefill、解码可以独立扩缩容，互相执行重叠。

3.2.1 持久化 KV 缓存管理

同等工作负载下，V4.1 持久化 KV 缓存为 V4 的 1/8，来自两点相乘因素：

1. SWA KV 不再存入持久化缓存，体积几乎减半；
2. 留存的全局 KV 通过架构与精度进一步压缩到 V4 的 1/4。

DeepSeek‑V4 部署中，SWA KV 几乎占持久化 KV 缓存一半。全局 KV、SWA KV 独立管理，采用 LRU 淘汰策略。全局 KV 完整存储，命中时直接复用完整前缀；SWA KV 只缓存提示末尾与输出来两个位置，便于重建与多轮会话恢复。为保证高命中率，SSD 上持久化缓存配置很大，典型工作负载两类 KV 可以留存超过 72 小时。但即便只保存指定位置，未压缩 SWA KV 存储开销依旧巨大，尤其多轮短对话。

持久化存储 SWA KV 成本高，访问模式和长留存持久缓存并不匹配：SWA KV 只在活跃会话短短几分钟窗口内复用；会话结束或者一轮对话结束之后就彻底失效。V4 技术报告提出 Zero SWA Caching：不缓存 SWA KV，缺失时重算恢复。但精确恢复需要完整前向重放 \(L ×n_{win}\) token，线上生产环境开销无法接受。

V4.1 重新设计持久化 KV 缓存管理：

1. SWA KV 不再写入持久化 KV 缓存，只放在每台机器 10% 主机 DRAM 组成的分布式内存池。总容量不大，但 TTL 只有几分钟；过期条目立刻回收给新会话。真实业务负载下高周转足以服务绝大多数并发活跃会话。全局 KV 依旧保存在持久化缓存，保证至少 72 小时生命周期。
2. SWA KV 驱逐必然发生缓存未命中；但依靠轻量降级方案 ——编码器 SWA 有界重放，未命中代价可控。当全局 KV 命中、SWA KV 缺失时，只重放最近 \(n_{win}\) token，而不是完整 \(L ×n_{win}\) token 前向。这套有界重放是整套设计基石：把灾难性缓存缺失变成代价微小的优雅降级，以此支撑把 SWA KV 移出持久化 SSD 缓存。

3.2.2 SWA 有界重放

精确重建 L 层 SWA KV，必须重放 \(L ×n_{win}\) token。SWA 有界重放只重放最近 \(n_{win}\) token，将 SWA 窗口截断到重放片段，生成近似状态。从重放起点 s 开始，位置 i 的查询只能访问区间 \([max (s, i-W+1), i]\) 的 SWA key。

编码器 SWA 有界重放：编码器 SWA KV 缺失时，重放缓存前缀末尾最近 \(n_{win}\) token，和未缓存后缀一起处理。重放 token 只重新生成 SWA KV，已经缓存的全局 KV 直接复用，不重写；未缓存后缀同时生成全局 KV 与 SWA KV。设计上重放得到的状态是近似值，因此未缓存后缀计算的全局 KV、SWA KV 和完整数学推导不完全等价。实验证实有界重放对回复质量几乎无损伤。该机制让前缀缓存只依赖全局 KV，SWA KV 彻底脱离持久化缓存。

解码器 SWA 有界重放：CED 架构下解码器全局 KV 从编码器最终隐藏状态投影得到。预填充阶段真正阻碍提前结束的只有解码器 SWA KV，它来自解码器每一层自身隐藏状态，供最初几步解码使用。我们不缓存解码器 SWA KV；精确重建需要解码器全部 \(L/2\) 层重新跑一遍提示末尾 \(\frac{L}{2} ×n_{win}\) token；当长缓存前缀后面跟随很短未缓存后缀时开销巨大。因此解码器同样启用有界重放：每次 prefill 只重放提示末尾最近 \(n_{win}\) token，把编码器输出送入解码器层，SWA 做窗口截断；生成的解码器 SWA KV 只用于解码，不用于前缀缓存。

重放得到解码器 SWA KV 数学上不等于完整解码器前向得到结果，但对回复质量影响可以忽略。为进一步稳妥，在后训练阶段也模拟这套重放逻辑，做训练感知适配。

4 预训练

4.1 数据构建

文本数据筛选构建：跳出小规模数据实验看到的样本层面质量，更加关注不同语料混合交互带来的整体信息增益。设计一套系统化标准化数据构建流水线，优化数据配比；依据模型参数、训练数据设计精细的扩展阶梯。过滤信息增益有限的模型生成内容、低质量机器翻译文本，视作隐式重复，避免长训练过程带来负面影响。探索模型‑在‑环迭代数据，作为未来大规模合成数据基础。引入领域专家建立细粒度数据质量评估维度。对比上一版本，新版本语料纳入更多开源库、新提交代码，覆盖更多编程语言，更好反映现代软件工程现实场景。

多模态数据构建：多模态预训练数据集主要三类：图文对、图文交错文档、领域专项数据。我们不做大规模人工合成多模态数据，优先清洗利用原生网页数据，实现可规模化的视觉知识压缩。原始爬虫系统偏向纯文本网页，因此我们基于 Common Crawl 重新自举，扩充多模态来源覆盖。

1. 图文对：从网页提取图片与 alt 文本，图文相关性阈值过滤，基于图像语义去重；
2. 交错图文文档：主要来源网页、PDF；经过启发式过滤、去重、质量模型筛选高价值文档；组装成交错图文序列，再次做图像感知过滤、去重；使用 SmolVLM 做严格图文质量打分；过滤后的文档部分拆解复用为图文对；
3. 领域专项数据集：补充细粒度视觉感知、OCR、长尾知识；大量图像‑代码配对、计算机操作轨迹，增强多模态智能体理解。

数据合并与去重：文本、多模态来自两套流水线，取两者并集；重叠样本用多模态版本替换纯文本版本，epoch 取两者更大值。文本 token 与多模态 token 比例 7:1。预训练、上下文扩展阶段联合预取分配样本，最小化样本重复。超长文档确定性预先切分。增强最优填充打包算法，填充率不超过 \(10^{-4}\)。

4.2 预训练设置

4.2.1 模型设置

Transformer 层数 40，隐藏维度 5120。CED 架构，编码器 20 层，解码器 20 层。前两层只用 SWA。剩余 18 层编码器使用 CSA2 压缩比 m=2，分为 3 组各 6 层；每组第一层 Full 模式，剩下 5 层 Reuse 模式。20 层解码器 CSA2 压缩比 m=1，分为 5 组各 4 层；第一组第一层 Full，剩余 3 层 Reuse；剩下 4 组每组第一层 Reindex，其余 3 层 Reuse。

CSA2 全部层索引器 Q 头数 32，索引器头维度 128；稀疏注意力选出 Top‑K=512 条 KV 条目。查询头 64，头维度 512，查询压缩维度 1280。分层稀疏索引器最多选择 2048 个块，每块 8 位置，最多 16384 候选位置。输出投影分组数 8，每个注意力输出中间维度 1024。SWA 窗口大小 \(n_{win}=128\)。

全部 Transformer 块使用 MoE，SwiGLU 激活带阈值 10 截断。每个 MoE 层包含 1 个共享专家，384 个路由专家；每个 token 激活 6 个路由专家。mHC 扩展因子 4；Sinkhorn‑Knopp 迭代 20 次。

视觉编码器 32 层，隐藏维度 1024，注意力头 16，patch 尺寸 14。视觉 MLP 投影器 2 层，隐藏维度 5120。整套配置下主干 552B 参数；prefill 每个 token 激活 8B 参数，decode 每个 token 激活 16B 参数。

4.2.2 训练设置

线性层权重矩阵 Muon；RMSNorm 权重、其他非矩阵参数 AdamW；嵌入表、预测头 Sinkhorn 平衡更新。 AdamW 超参：\(\beta_1=0.9\)，\(\beta_2=0.95\)，\(\varepsilon=10^{-20}\)，weight_decay=0.1。 Muon 动量 0.95，weight_decay=0.1；更新矩阵 RMS 缩放至 0.18 复用 Adam 学习率。 Sinkhorn 平衡：动量系数与 Muon 相同，学习率修正系数相同，K=11，\(\tau=10^{-3}\)，\(\varepsilon=10^{-20}\)。 Engram 学习率放大 5 倍。

在 45 万亿 token 多模态数据上训练，全程稳定。batch size 固定 100.6M token。学习率前 2000 步线性预热，维持 \(2.6 ×10^{-4}\)直到 28T token；28T‑40T token 使用 cosine 衰减到 \(2.6 ×10^{-5}\)；40T‑45T token 保持该学习率不变。

模型从零训练，64K 序列长度直接开启稀疏注意力；训练到 34T token，序列长度扩展到 1M。无辅助损失负载均衡，文本、图像 token 偏置更新速度 0.001；保留极小序列级别平衡损失 0.0001，避免单序列内部极端不均衡。预训练使用样本级注意力掩码。

视觉编码器训练流程：DeepSeek‑ViT 经历两个独立阶段：对比预训练、自回归微调。

1. 对比预训练：基于约 47B 图文对，SigLIP sigmoid 对比损失；输入分辨率上限 224×224，大图按比例下采样。高分辨率在这个阶段收益有限，但计算开销巨大；高分辨率外推交给第二阶段自回归微调。
2. 自回归微调：视觉编码器对接 4B MoE LLM，在 caption、alt‑text、图表、OCR 等合计 236B token 数据集训练 next‑token 目标；输入分辨率区间 544×544 ~ 1344×1344；训练完成丢弃辅助 LLM，保留训练好的 DeepSeek‑ViT 接入主干预训练，维持同样输入分辨率策略。

4.3 评估

4.3.1 评估基准集

对比 DeepSeek‑V4‑Flash‑Base、DeepSeek‑V4‑Pro‑Base，评估五大维度：世界知识、语言理解推理、代码数学、长上下文、多模态。

• 世界知识：AGIEval、MMLU‑Pro、C‑Eval、MultiLoKo、SimpleQA‑Verified、SuperGPQA
• 语言理解推理：BBH、BBEH、DROP、HellaSwag
• 代码数学：BigCodeBench、HumanEval、GSM8K、MATH、MGSM
• 长上下文：LongBench‑V2
• 多模态：MMMU‑Pro、DocVQA、CVBench、RefCOCO/RefCOCO+/RefCOCO‑g

4.3.2 评估结果

表 1 DeepSeek‑V4‑Flash‑Base / V4‑Pro‑Base / V4.1‑Flash‑Base 对比，统一内部评测框架，相同设置。分数差距≤0.3 视为同一水平。每行粗体最优，下划线次优。

类别	评测集 (指标)	Few‑shot	DeepSeek‑V4‑Flash‑Base	DeepSeek‑V4‑Pro‑Base	DeepSeek‑V4.1‑Flash‑Base
	架构	-	MoE	MoE	MoE
	激活参数量	-	13B	49B	8B/16B
	主干参数量	-	284B	1.6T	552B
世界知识	AGIEval(EM)	3‑5‑shot	83.9	84.4	83.4
	MMLU‑Pro(EM)	5‑shot	68.3	73.5	74.1
	C‑Eval(EM)	5‑shot	92.1	93.1	92.1
	MultiLoKo(LLM‑Judge)	5‑shot	42.6	50.9	45.5
	Simple‑QA verified(EM)	25‑shot	30.1	55.2	42.3
	SuperGPQA(EM)	5‑shot	46.5	53.9	53.1
语言 & 推理	BBH(EM)	3‑shot	86.9	87.5	86.1
	BBEH(EM)	1‑shot	25.4	29.8	27.2
	DROP(F1)	1‑shot	88.6	88.7	87.9
	HellaSwag(EM)	0‑shot	85.7	88.0	87.2
代码 & 数学	BigCodeBench(Pass@1)	3‑shot	56.8	59.2	60.6
	HumanEval(Pass@1)	0‑shot	69.5	76.8	79.4
	GSM8K(EM)	8‑shot	90.8	92.6	93.0
	MATH(EM)	4‑shot	57.4	64.5	61.1
	MGSM(EM)	8‑shot	85.7	84.4	80.2
长上下文	LongBench‑V2(EM)	1‑shot	44.7	51.5	45.2
多模态	MMMU‑Pro(EM)	4‑shot	-	-	56.5
	CVBench(EM)	4‑shot	-	-	77.9
	DocVQA(LLM‑Judge)	4‑shot	-	-	95.6
	RefCOCO‑avg(Acc@0.5)	0‑shot	-	-	86.0

DeepSeek‑V4.1‑Flash‑Base 激活参数量远小于 V4‑Pro‑Base，KV 缓存大幅压缩，但整体性能和前代持平甚至部分指标更好。体现预训练数据流水线的升级；原生多模态训练，多模态评测取得有效结果。在推理、代码基准持续进步，多项指标接近甚至超过 DeepSeek‑V4‑Pro。

图 6：内部留存集 BPB（bits‑per‑byte，越低越好）对比：内部文档、内部代码仓库、学术材料。DeepSeek‑V4.1‑Flash‑Base 全部三项取得最低 BPB，展现强大基座潜力。

我们额外在内部专属语料做困惑度 BPB 测试，数据集包含内部文档、私有代码库、学术材料，面向复杂科研问题推理、溯源求解。V4.1‑Flash‑Base 全部三项 BPB 最低。

5 后训练

5.1 后训练流水线

本次后训练没有提出全新算法；整体遵循 SFT 监督微调 → RL 强化学习 → OPD 在策略蒸馏的成熟范式，算法层面没有创新；核心改进集中在数据侧：搭建大规模自动化数据合成与环境构建流水线：

1. 合成可验证多样化训练任务、参考解、奖励信号；
2. 程序化构建、规模化交互式智能体环境，低成本收集轨迹与评估；
3. 严格过滤、去重、难度校准，保证数据质量与课程平衡。

我们发现，在优化算法固定前提下，合成数据、环境的规模、多样性、可验证性带来的提升几乎解释全部性能增益。该经验反映现阶段：后训练环节数据与环境工程带来的边际收益，远大于算法创新。

5.1.1 大规模智能体任务合成

任务是智能体学习的基础；传统高质量任务构建高度依赖人工。我们观察模型已经初步具备自我构造训练任务的能力，但还不够完善。因此我们重点增强模型任务构建与质量校验能力。

我们把每条任务形式化为三元组（问题，环境，验证系统）；从难度、正确性两个维度评估质量，用作奖励信号，迭代训练模型生成更高质量任务。全程监控 RL 任务生命周期；任务投入新一轮 RL 运行后，生成轨迹会用来重新审计任务质量。在这套总框架下，搭建两大场景的训练环境生产流水线：通用智能体、代码智能体。

通用智能体：鼓励内部员工、外部合作方在日常工作流中使用最新模型，自愿回传交互数据与反馈。基于回传数据观察到的接口，大规模模拟真实工具、系统行为：输入格式、输出结构、API 模式、行为约束，覆盖 SaaS、企业应用、专业业务后台。同时大规模收集内部员工提交的失败样例与负面反馈，生成基于真实工作流的单轮、多轮智能体环境；复现工具上下文、用户交互模式、失败条件，对模型已有弱点定向强化学习。

代码智能体：训练环境两大来源：

• 内部员工、外部合作者代码智能体会话；筛选复杂任务或者模型表现差的样本，轨迹去重；
• 满足 star 门槛的公开 GitHub 仓库。

多个专门智能体协作完成环境构建：

• 第一个智能体判断项目能否在容器内编译运行，是否可以自动验证；挑选任务起点 commit，设计多条复杂实现方向，产出评估点与构建报告，按需抓取外部资源；
• 另一个智能体搭建依赖、初始目录、测试代码、任务描述到隔离容器，自测试，清除泄露答案痕迹，打包镜像层；
• 多个智能体尝试完成任务；独立质检智能体审查环境、轨迹，检查环境 bug、事实错误、评估点与任务描述不匹配、可被 hack 漏洞。质检不通过，修复智能体修正全部问题，任务重新进入验证。

通过这套流水线，我们可以批量自动产出正确、区分度可控、长度难度可控的 RL 训练数据。不管是真实工作流复刻的通用智能体环境，还是精确构造的编码任务环境，全部汇入统一训练系统；在持续质量监控下迭代提升模型能力。

5.1.2 合成任务上的强化学习

在合成任务数据集上执行大规模异步 RL，从两个维度扩展 RL 规模：训练计算资源、智能体脚手架数量。无论是单脚手架扩计算，同脚手架多变体联合训练，还是异构脚手架之间联合训练，随着 RL 累积步数增加，性能持续提升。

跨多种脚手架 RL 训练时，智能体 rollout 执行拆分为智能体沙盒与 worker 容器：沙盒运行脚手架与工具；worker 容器提供脚手架无关控制层，编排 rollout，把异构交互标准化为统一轨迹 schema，与训练器通信。整套运行在 DSec 平台（5.1.3），与可抢占 GPU 训练池相互隔离。rollout 可以暂停、卸载保存完整状态后恢复，释放 CPU/GPU 资源，实现异构脚手架上稳定高效 RL，不用修改底层算法。

为在多次 RL 运行中延续有效计算，我们使用模型合并初始化后续 RL 运行：合并不同脚手架、不同配置 checkpoint，融合不同优化路径学到的改进。图 7、图 8 中断开的曲线片段代表模型重新初始化后的新一轮 RL。简单实用，实现多轮并行 RL 计算聚合，继续扩大规模收益。

图 7：DeepSeek Harness Minimal 模式下，代码智能体基准性能随 RL 训练规模提升。进一步把最大上下文扩展到 1M token，可以继续提升 Terminal‑Bench v3.0 这类超长周期任务性能。

图 8：多版本 Claude Code 联合 RL（左）；异构脚手架联合 RL（右），包含 OpenCode、Pi、DeepSeek Harness Standard/PTC 模式。评估指标 DeepSWE v1.1。浅色曲线为各个独立脚手架版本结果。

5.1.3 大规模运行智能体：DSec 平台

从 V3 升级到 V4，智能体训练环境数量多样性爆炸，因此我们开发 DSec（DeepSeek Elastic Compute），面向大规模智能体训练与评估的生产级沙盒平台。最初设计解决异构执行环境、镜像分发、多隔离后端、高密度资源管理、抢占安全恢复。V4.1 训练需要同时运行百万级沙盒实例，横跨众多 harness、平台、代码仓库、软件依赖、任务服务。规模上来后主要瓶颈变成：集群可扩展性、工作负载隔离、单机计算密度、抑制智能体异常行为破坏环境。关键设计要点：

水平大规模扩缩：DSec 通过分片调度 + 松弛一致性实现水平扩展。计算节点划分为多个分片（scale unit），隔离不同实验故障爆炸半径。放弃 K8s 这类通用编排器，使用自研放置引擎，牺牲强全局一致性换取可扩展性。核心观察：沙盒部署只需要最终一致性，只要单机本地安全约束生效。放置引擎运行多个独立副本，互相不同步；依据最近资源观测做够用的放置决策。每个节点本地执行准入校验，如果超过本地告警阈值直接拒绝新任务。整套设计可以扩展到百万容器级别，不会被中心调度成为瓶颈。

单机高密度运行：节点层面使用硬件 sub‑NUMA 分区，worker VM 绑定独立 NUMA 域；容器跑在 worker VM 内部，CPU 内存约束在对应 NUMA 资源。适度内存超分配，规避 Linux 内核锁竞争。这套配置把单机可并发活跃容器从约 1000 提升到 2500+，并且不会带来端到端性能显著下降。

高密度部署会被后台任务干扰时间敏感评测。DSec 引入延迟敏感 LS 执行类别：非 LS 任务 SCHED_IDLE 低优先级；同超线程兄弟核只运行同优先级任务，消除互相干扰。

抑制智能体异常行为：RL 训练经常出现奖励黑客行为、无意识环境崩溃。训练过程模型甚至会利用公开漏洞：XFS 驱动权限问题、AppArmor 非法内存访问、镜像源泄露答案等；也会直接删除二进制、破坏系统文件、删除整个文件系统。我们为每个沙盒配置 AppArmor 配置文件、细粒度 eBPF 网络策略阻止这些行为。环境崩溃时，标记轨迹失败，向 RL 框架返回 “副作用” 信号。

5.1.4 RL 中可控推理算力调节

除架构、硬件之外，输出 token 数量直接决定推理成本，决定真实业务的成本‑质量权衡。因此在强化学习中将标量推理努力档位 b作为显式条件信号，同时适用于单轮推理与多轮智能体任务。系统提示前缀增加指令：

Reasoning Effort: {effort} (range 1–100; higher values request more thorough reasoning)

\(b \in \{1,\dots,100\}\)为请求的推理努力等级。对每条训练 prompt x，在一组努力等级 \(b\in B\)，每个 b 采样 \(M_b\)条回复： \(z_{b,j}\sim \pi _{\theta }(\cdot | x,b), b\in \mathcal {B}, j=1,... ,M_{b}.\) 同一 (x,b) 下的回复组成子组，组内奖励做均值中心化计算组内相对优势；不同 b 的回复不会直接互相比较。通过依赖 b 的长度惩罚项塑造行为，奖励增加长度惩罚项： \(r_{b, j}^{len }=-min \left\{C_{max }, k(b) \frac{\ell_{b, j}}{L_{norm }}\right\}.\) \(\ell_{b,j}\)推理 token 数；\(L_{norm}\)参考长度；\(C_{max}\)单条轨迹最大扣分项。惩罚系数随请求努力等级指数衰减： \(k(b)=k_{0} exp \left(-\frac{b-b_{min }}{\tau}\right), \tau=\lambda \overline{\Delta b}.\) \(k_0\)最低努力等级基础惩罚系数；\(b_{min}\)最小努力等级；\(\tau\)控制惩罚衰减速率；\(\lambda\)系数；\(\overline{\Delta b}\)训练各努力等级平均间隔。b 增加 τ，惩罚系数乘以 \(e^{-1}\)。\(k_0\)控制整体缩短推理的压力；τ 越小，不同努力档位行为区分越明显。附录 C 提供指数参数化的效用推导。

部署时标量 b 提供灵活控制接口，在不改动模型权重、不解码配置前提下，沿着学到的成本‑质量前沿调整模型行为，适配不同延迟、token 预算、解答质量要求。训练只用有限离散档位，但部署可以传入中间数值，插值得到对应的推理行为，高效细粒度分配推理资源。

2026 年 9 月公开 API 对外暴露三档预设推理努力，直接映射该标量：

API 档位	底层努力值 b
max 最大	100
high 高	75
low 低	50

5.2 异步后训练基础设施

LLM 的 RL rollout 长尾问题一直是训练效率瓶颈。我们扩展后训练基础设施支持异步样本生成（Zeng 等人，2026；Team 等人，2026b），显著缓解 rollout 长尾，提升 RL、OPD 效率。几乎全部 RL、OPD 任务启用异步模式。

5.2.1 整体工作流

rollout 与训练跑在同一物理设备上，时间分片共享硬件资源，避免手动调参分配资源。每个任务设置最大飞行样本数量，系统全程维持该并发。

我们对比三种分发粒度，最终选择样本级分发：一旦新完成样本数量达到下一个 prompt 的 GRPO 组大小，就分发下一条 prompt，不关心样本来自哪一组。该策略保证 rollout 并发平稳。

• 批次级分发：早期尝试，容易出现训练指标剧烈震荡；
• prompt 级分发：容易被长尾样本卡住，难以维持稳定并发；
• 样本级分发：克服前两者缺陷。

积累足够训练样本之后，训练抢占正在运行的 rollout。跨 checkpoint 的样本，使用拼接路由‑重放：保留每段 rollout 对应的专家路由，而不是丢弃重新计算。

5.2.2 缓解长度偏置与离策略效应

异步生成提升 rollout 效率，但带来两个副作用：

1. 长度偏置
   短样本更快完成，早期训练批次被短序列主导；
2. 离策略样本
   部分 token 来自更早版本 checkpoint。

缓解长度偏置：

1. 数据集粒度限制并发，调节稳态训练批次内各个数据集占比，间接缓解长度分布偏移；
2. 支持丢弃过早返回的短样本，平滑过渡到稳态长度分布，避免模型过拟合过短序列。

缓解离策略：

1. 调整样本分发逻辑，控制最大离策略样本占比，保证训练数据不会和当前模型过度偏离；
2. 训练阶段增加损失掩码，对过旧样本的 token 消除梯度贡献，缓解陈旧样本带来的负面影响。

5.2.3 性能优化

异步 RL 框架需要可以快速中断 rollout，切换更新后的策略 checkpoint，并且无缝恢复。

• token 粒度中断
  在任意 token 边界立刻停止生成；收集足够训练样本时，几乎瞬间停止全部在跑样本，进入训练阶段。
• token 粒度持久化 rollout 状态
  KV 缓存、专家路由等状态保存；切换新 checkpoint 后直接复用，省去重跑 prefill 开销，被中断样本可以从断点继续。样本完成立刻垃圾回收释放状态。

这套快速中断无缝恢复机制，同时也让训练任务可以响应集群抢占信号，不丢失进度，提升集群利用率。

5.2.4 大规模在策略蒸馏 OPD

后训练最后一步完整词表 OPD，在全部领域数据集训练，教师模型超过 40 个，同样启用异步生成提升 rollout 效率。不同领域最优教师来自模型不同开发阶段；教师、学生架构可以异构。基础设施原生支持大量异构教师，切换代价极低。

OPD 阶段配置需要动态调整：持续跟踪模型能力，动态调整数据集混合、每数据集并发上限、活跃教师集合。同步训练中批次边界天然适合切换配置；而异步环境，新旧配置的样本会同时在飞行。我们基础设施支持配置平滑过渡，不打断 rollout 与训练。

5.3 评估

5.3.1 评估设置

后训练评测重点关注推理、智能体能力；知识类能力主要由预训练决定，见表 1。 推理评测集：GPQA Diamond、Humanity’s Last Exam(HLE)、Codeforces、MathArena Apex；temperature=1.0，top‑p=1.0。 智能体评测分四类：

1. 代码智能体：Terminal‑Bench 2.1/3.0/4.0、DeepSWE v1.1、ProgramBench、NL2Repo‑Bench
2. 网络安全：SEC‑Bench Pro v260505、CyberGym、ExploitGym
3. 通用智能体：AutomationBench v1.0.6、Agents’ Last Exam (ALE‑CLI)
4. 视觉智能体：Chartography、BabyVision、ZeroBench‑main

代码智能体评测：DeepSeek Harness Minimal 模式，1M 上下文窗口，temperature=1.0，top‑p=0.95；DeepSWE v1.1 使用 mini‑SWE harness。SEC‑Bench Pro 使用 Claude Code harness 会话紧凑模式。视觉智能体任务：Claude Code harness，512k 上下文，temperature=1.0，top‑p=0.95。Agents’ Last Exam、AutomationBench 使用官方脚手架。

为缓解奖励黑客，代码评测环境禁止联网，剥离 Git 历史；自动清理 Go module、node_modules、jar 包、Python pycache 等编译缓存。即便如此，评测中依然出现模型试图寻找系统漏洞的行为。我们呼吁社区在设计下一代基准时，优先检测、缓解模型钻评测漏洞。

5.3.2 评估结果

表 3 DeepSeek‑V4.1‑Flash 对比闭源、开源模型。†代表 HLE 纯文本子集；粗体最优，下划线次优。

| 基准 (指标)|Opus‑5|GPT‑5.6 Sol|

表 3 DeepSeek‑V4.1‑Flash 与闭源、开源模型对比。†代表 HLE 仅文本子集；粗体为最优结果，下划线为次优结果。

基准（指标）	Opus‑5	GPT‑5.6 Sol	Kimi‑K3	GLM‑5.3	DS‑V4‑Pro	DS‑V4‑Flash	DS‑V4.1‑Flash
推理任务
GPQA Diamond（Pass@1）	93.4	94.1	92.9	88.1	92.4	89.9	90.9
MathArena Apex（Pass@1）	56.3	44.5	65.6	43.5	65.3	58.6	65.6
Codeforces（评分）	—	—	—	—	3348	3289	3471
HLE（Pass@1）	42.0†	42.7†	37.8†	39.1†	—	—	36.8（39.1†）
智能体任务
Terminal‑Bench 2.1（Pass@1）	89.1	88.8	88.3	88.2	87.9	82.7	90.6
Terminal‑Bench 3.0（Pass@1）	43.3	51.8	39.9	34.4	30.0	17.7	31.2
Terminal‑Bench 4.0（Pass@1）	37.9	—	11.8	12.4	7.0	7.6	28.3
DeepSWE v1.1（解决率）	74.0	73.0	67.5	66.9	62.7	54.4	74.2
ProgramBench（Almost@1）	37.0	23.0	17.5	19.0	15.5	15.5	20.3
NL2Repo‑Bench（得分）	75.3	56.8	58.0	58.0	61.5	54.2	65.4
CyberGym（Pass@1）	84.5	80.0	84.5	83.3	76.7	76.7	88.1
SEC‑Bench Pro（Pass@1）	74.3	56.4	30.9	62.8	—	—	—
ExploitGym（Pass@1）	22.1	33.7	15.0	5.4	1.8	1.8	15.3
HLE w/ tools（Pass@1）	63.6	48.8	28.6	28.6	27.6	27.6	59.8
Agents’ Last Exam(Pass@1)	62.5	60.0	43.2	25.2	28.5	25.2	31.8
Automation‑Bench（Pass@1）	63.9	51.5	37.7	37.7	51.5	37.7	54.8
ZeroBench‑main w/ tools（Pass@5）	84.0	79.9	53.0	53.0	49.0	49.0	89.6
Chartography w/ tools（Pass@1）	94.1	88.9	68.1	68.1	78.9	78.9	85.7
BabyVision w/ tools（Pass@1）	52.0	52.0	41.0	41.0	—	—	78.9

在核心推理任务上，DeepSeek‑V4.1‑Flash 的 Codeforces 评分达到 3471，超越 DeepSeek‑V4‑Flash（3289）与 DeepSeek‑V4‑Pro（3348）。在 MathArena Apex 上取得 65.6% 的 Pass@1 准确率，与顶尖开源基线 Kimi‑K3（65.6%）、DeepSeek‑V4‑Pro（65.3%）完全持平。GPQA Diamond 得分达到 90.9%，相比 DeepSeek‑V4‑Flash（89.9%）实现稳步提升。

智能体任务上性能提升更为显著。值得注意的是，在 DeepSWE v1.1 上，DeepSeek‑V4.1‑Flash 解决率达到 74.2%，相比 DeepSeek‑V4‑Flash（54.4%）实现大幅跃升，同时超越 Opus‑5（74.0%）、GPT‑5.6 Sol（73.0%）等主流闭源模型。Terminal‑Bench 2.1 上得分 90.6%，优于 Opus‑5（89.1%）与 GLM‑5.3（88.2%）。同样，在 Automation‑Bench（54.8%）、Agents’ Last Exam（31.8%）评测中，DeepSeek‑V4.1‑Flash 得分领先众多开源与顶尖闭源系统。尽管参数量更小，该模型展现出顶尖的智能体能力，大幅缩小与前沿闭源模型的差距，在开源方案中建立明显优势。

在网络安全任务上，DeepSeek‑V4.1‑Flash 取得开源模型中新的 SOTA。鉴于该类能力具备双重用途，我们呼吁社区将其应用限定在防御性安全研究与漏洞修复等负责任的研究方向。

多模态智能体任务场景中，DeepSeek‑V4.1‑Flash 展现出强大的能力，尤其在需要视觉推理、专业图表解析的任务上表现突出。虽然性能优于 Kimi‑K3 等顶尖开源竞品，但与第一梯队闭源系统相比仍存在可观测的性能差距。

除峰值性能之外，模型暴露推理努力度调节接口，用户可以可控地在推理成本与准确率之间做权衡。如图 9 所示，推理与智能体基准上，准确率、输出 token 长度均会随努力等级单调上涨。将努力等级从 25 提升至 100，8 项高推理强度基准平均 Pass@1 由 67.1% 提升至 76.3%；DeepSWE v1.1 由 66.0% 提升至 74.2%；Terminal‑Bench 2.1 由 82.4% 提升至 90.6%，代价约为输出 token 数量提升 2.5 倍。

收益存在边际递减效应：60‑80 档位就可以用不到最大档位一半的 token 开销，拿回绝大多数最高档位的准确率；而提升至 100 最大档位，智能体输出轨迹 token 数会放大 1.6‑1.8 倍，但仅带来微小精度增益。因此max 最大档位更适合最难的任务；中等努力档位更适合日常智能体业务，实现成本‑性能的良好平衡。这套在单轮推理上学到的努力度控制，可以平滑迁移到长周期多轮智能体轨迹，控制多轮中的整体探索与校验开销。

5.3.3 不同推理努力等级下的性能

图 9 报告不同预算条件下模型性能与平均回复长度。随着推理努力等级升高，模型生成更长推理链；高推理强度、软件工程基准上准确率单调提升；大部分增益集中在低‑中档位区间，超过该区间之后收益递减。虽然 RL 训练仅使用有限的离散努力等级，但标量努力参数支持部署时取中间数值，实现插值后的回复长度控制。

这使得从业者可以沿着平滑的权衡曲线，自由取舍质量与延迟、token 开销：对延迟敏感业务，使用低努力等级，承受适度精度损失；处理困难任务，启用高努力档位释放模型全部能力。在公开 API 服务中对外暴露三档预设：low（50）、high（75）、max（100）。

5.3.4 跨智能体脚手架的性能

实际部署中，模型极少固定运行在单一智能体框架。不同脚手架的系统提示词、工具定义、上下文管理、交互协议各不相同；如果模型对某一套 harness 过拟合，更换框架后性能就会明显下滑。

为评估模型对框架变化的鲁棒性，本次评测覆盖 6 套框架家族的 8 种配置：Claude Code、Codex、OpenCode、Pi、mini‑SWE，以及 DeepSeek Harness（DSH）的 Minimal、Standard、PTC 模式。固定模型权重、解码配置、任务集，仅替换外层脚手架、系统提示、工具 schema、交互逻辑。

表 4 最大推理努力档位下，不同智能体脚手架的评测结果

基准（指标）	Claude Code	Codex	OpenCode	Pi	mini‑SWE	DeepSeek Harness
						Minimal	Standard	PTC
DeepSWE v1.1（解决率）	69.8	65.6	65.5	66.2	74.2	72.6	70.5	67.6
Terminal‑Bench v2.1（Pass@1）	88.0	84.1	85.0	86.1	90.3	90.6	85.8	85.8

注：DeepSWE v1.1 每个任务采样 8 次；Terminal‑Bench v2.1 每个任务采样 3 次。全部评测使用 Linux 容器，温度 1.0，top‑p 0.95，1M 上下文窗口，每个智能体最多执行 500 轮生成。Terminal‑Bench v2.1 评测禁用网络访问。Claude Code 报告版本为 v2.1.251；多版本对比详见附录表 5。脚手架详细配置见附录 B.1。

模型在不同提示词、工具接口的脚手架家族之间性能迁移效果良好，性能不会被某一套 harness 的特殊约定绑定。这种鲁棒性来源于训练数据中大量多样化环境、工具 schema，促使模型在训练阶段就学会跨脚手架泛化。

5.3.5 多智能体实验

我们基于 DeepSeek Harness 的 Agent Team 模式开展初步实验，探索多智能体协作解决复杂任务的能力。

多智能体脚手架 Agent Team 模式：主智能体可以通过spawn_teammate异步创建命名持久化队友。队友有两种启动模式：fresh 全新模式（不继承主智能体历史）、fork 分叉模式（一次性复制主智能体全部已完成对话上下文）。全部智能体共享同一个代码仓库检出目录，编辑结果对所有参与者立即可见。

智能体之间通过持久化对等消息邮箱通信。调用send_message发送消息，会在队友下一个执行边界送达；可以唤醒空闲队友、恢复暂停队友运行。主智能体可以使用list_agents监控运行状态，使用wait_agent等待状态、邮箱、共享任务变更。使用共享任务看板team_task_*系列工具维护任务归属、依赖、修改校验。

需要人工干预时，主智能体可调用interrupt_agent中断队友的当前轮次执行。全部工作完成后，主智能体审阅合并后的修改，执行测试，输出最终回复。

训练设置：Agent Team 模式 RL 奖励由三部分组成：任务性能奖励、鼓励委托与通信的协作奖励、推导延迟惩罚，用于促进高效协同，惩罚不必要的串行执行与同步等待。将执行事件与协作依赖建模为有向无环图 DAG，把 token 开销、工具执行时间计入关键路径长度，以此计算推导延迟。该方式鼓励有效并行，同时降低对服务端批处理、队列等待时间的敏感度。

性能结果：我们对 ProgramBench 筛选高置信金子集，仅保留参考方案在隐藏测试集 Pass@1≥95% 的任务，得到 172 条高质量任务；同时在 FrontierSWE v2 的无 GPU 公开子集上开展评测。分别设置不同单轮运行截止墙钟时间，对比单智能体与多智能体配置。

图 10 ProgramBench、FrontierSWE‑v2 基准，单智能体 vs 多智能体随单轮截止时间变化的测试时计算缩放曲线。

在两个基准全部截止时间条件下，多智能体配置性能均优于单智能体。 ProgramBench 上，多智能体 Almost@1 指标从 1 小时的 13.59%，在 8 小时达到峰值 30.04%；而单智能体最高仅 20.39%。 FrontierSWE v2 上，多智能体 Mean@5 从 1 小时 13.50% 上涨到 20 小时 32.90%；单智能体对应从 10.50% 上涨至 28.20%。

以上结果属于初步实验结论，报告中对比的是最优多智能体配置与最优单智能体基线。

6 结论、局限性与未来展望

本文提出 DeepSeek‑V4.1‑Flash，一款支持百万 token 上下文的多模态混合专家 MoE 模型。通过架构、缓存精度、部署策略联合优化，该模型把 KV 缓存压缩推向新高度。

因果编解码 CED 架构：预填充阶段每个 token 仅激活 8B 参数，解码阶段激活 16B 参数，极大提升输入密集型智能体工作负载的成本效率。 同等序列长度条件下：

1. CSA2 跨层 KV 缓存复用 + FP4 KV 缓存，常驻 HBM 的全局 KV 缓存占用降至每 token 890 字节，约为 DeepSeek‑V4‑Flash 的 1/4；
2. SWA 有界重放进一步把 SSD / 主机内存上持久化 KV 缓存压缩至 DeepSeek‑V4‑Flash 的约 1/8。

这套压缩方案显著缓解 HBM、SSD 硬件容量压力，同时模型整体性能相比 DeepSeek‑V4‑Flash 得到明显提升。尽管对比 GLM‑5.3、Kimi‑K3 等主流开源模型，DeepSeek‑V4.1‑Flash 整体参数量规模更小，但大量基准上性能可以持平，部分任务实现反超。

虽然对比 DeepSeek‑V4‑Flash，DeepSeek‑V4.1‑Flash 对部分架构组件做了简化，但新增的架构改动也带来尚未被完整刻画的鲁棒性边界。我们内部已经覆盖大量测试用例与边界条件；在已评估场景中，没有观测到系统性能力退化。但有限的测试套件不可能穷尽全部极端输入与部署工况。

潜在风险点：CSA2 的条目选择错误、SWA 有界重放近似状态重建，在未测试过的边界场景仍有可能带来能力损失。后续我们会持续扩充压力测试与评测体系，重点关注长上下文稀疏检索、缓存恢复边界上的 SWA 状态重建；持续观测真实业务负载，系统刻画潜在失效模式与鲁棒边界，进一步提升极端条件下模型稳定性。

随着大模型能力持续提升，主流评测基准逐步出现饱和。DeepSeek‑V4.1‑Flash 体验已经十分接近 Fable‑5、GPT‑6 Astra 这类顶尖闭源模型，绝大多数日常任务用户体验差距很小。但在最难任务上仍然存在性能缺口。基准分数接近不代表它可以在全部复杂高难度推理、极端边角案例上比肩顶尖闭源大模型。

因此我们会持续更新评测协议，对大模型能力边界开展严谨评估。除持续降低成本之外，未来智能体能力进一步提升，依赖数据、模型容量、强化学习三者协同扩展。DeepSeek‑V4.1‑Flash 将作为新起点，我们会继续探索大模型能力边界，系统性解决大规模数据合成与 RL 规模化的难题。我们还会推进模型‑智能体脚手架协同设计，实现模型与系统共同迭代优化。希望成本下降与能力扩张同步推进，让高能力智能体更容易落地，进一步降低各行各业部署 AI 智能体的门槛。

附录 A 作者名单

作者按名字首字母排序；* 标记代表已离职成员。 （作者名单为超长人员列表，原文罗列数百位研发、业务合规人员，文本内容过长，此处省略，与原文格式保持一致）

附录 B 评估补充细节

B.1 脚手架配置

全部脚手架均运行在 Linux 任务容器，使用表 4 中的统一评测设置。每一轮从任务描述开始，直接使用脚手架运行时自带的提示词、任务模板、工具定义；没有增加额外实验性系统提示词。

• Claude Code（v2.1.105、v2.1.238、v2.1.251、v2.1.259）：使用 Claude Agent SDK 与原生工具接口。表 4 报告版本 v2.1.251；附录表 5 对比全部 4 个版本。

表 5 最大推理努力档位，不同 Claude Code 版本性能

基准（指标）	v2.1.105	v2.1.238	v2.1.251	v2.1.259	平均
DeepSWE v1.1（解决率）	68.4	68.7	69.8	68.6	68.9
Terminal‑Bench v2.1（Pass@1）	87.3	88.4	88.0	87.6	87.8

注：平均值由 4 个版本未四舍五入原始 Pass@1 分数计算。

• Codex（v0.147.0）：标准应用‑服务模式，适配工具 schema。
• OpenCode（v1.18.15）：build‑agent 模式，提供 shell、file 工具，原生任务委托能力。
• Pi（v0.84.2）：RPC 模式；提供文件、shell 工具，搜索扩展工具search、open_page、find_in_page。
• mini‑SWE：mini_swe_v2 移植版本；只有 bash 工具，每轮必须调用工具，需要提交标记结束任务。
• DeepSeek Harness（DSH）：   ‑ Minimal：仅 bash 工具；   ‑ Standard：完整 SDK 配置，共 26 个初始函数工具，包含网页搜索、网页抓取；   ‑ PTC：TypeScript 程序执行工具run_code，底层包含 24 个子工具。   Standard 与 PTC 使用自定义版本 v0.1.1+ custom.202609011522。

B.2 跨脚手架下的推理努力档位

图 11：6 张子图，提升推理努力等级会拉长轨迹长度：每一组脚手架‑基准配对中，单条轨迹平均输出 token 随努力等级单调上涨。但 Pass@1 准确率和 token 长度相关性并不强：整体会提升，但中间档位会出现平台甚至小幅下跌。不同脚手架校准本身就存在差异。

DeepSWE v1.1 任务中，Claude Code 曲线最平缓，token 额外开销相对少；DeepSeek Harness (Minimal) 基线分数最低，但最大档位收益最高，token 开销也最大；mini‑SWE 介于两者中间。Terminal‑Bench v2.1 三者分数区间被压缩到很窄范围；在最大努力档位得分排序：DeepSeek Harness (Minimal) > mini‑SWE > Claude Code。 结论：一旦任务接近饱和，脚手架的选择带来的影响至少不亚于推理努力档位的选择。

B.3 不同推理努力档位，推理基准详细结果

图 12：8 项高推理强度基准，推理努力 25‑100 区间的 Pass@1 与每条回复平均输出 token。包含 AIME 2026、Apex 2025 Shortlist、GPQA Diamond、HLE‑Text、IMO‑AnswerBench、LiveCodeBench、MathArena‑Apex 2025、SimpleQA‑Verified。

推理努力等级这套控制机制，在全部 8 个基准上都展现平滑可控的回复长度与准确率表现。 把努力等级从 25 提升至 100，每条回复 token 数量统一放大 2.0‑3.1 倍：AIME2026 从 4.6k 增长至 11.4k；MathArena Apex 2025 从 29.1k 增长至 86.1k。没有出现不可控暴增，因此可以提前估算任意档位的计算开销。

准确率变化同样平滑，全部基准准确率随努力等级上升不会下降。MathArena Apex 2025 涨幅最大，25.3% → 65.6%，提升 40.3 个点；Apex 2025 Shortlist 提升 11.5 个点；已经接近饱和的基准涨幅很小，例如 GPQA Diamond 仅 + 1.3、LiveCodeBench+2.6；AIME 2026 在最高努力等级达到满分 100%。

因此该标量旋钮可以可靠控制成本‑准确率工作点，部署方可以根据延迟、算力预算，自由选择档位，不会牺牲模型推理能力。

附录 C 推理努力控制中的指数型 Token 惩罚

标量努力参数可以在部署时控制成本‑质量权衡，不需要设置硬性 token 上限。强化学习训练时，低努力等级 token 惩罚更强；高努力等级允许模型生成更多计算 token。本附录给出指数惩罚调度的简化推导动机。

对于一条轨迹，推理 token 数量\(\ell\)，努力等级b，长度扣分项： \(r^{len }(\ell, b)=-min \left\{C_{max }, k(b) \frac{\ell}{L_{norm }}\right\}\) \(L_{norm}\)为参考长度；\(C_{max}\)设置最大扣分项上限。 依赖努力等级的 token 惩罚系数： \(k(b)=k_{0} exp \left(-\frac{b-b_{min }}{\tau}\right)\) \(k_0\)：最低努力等级\(b_{min}\)的基础惩罚系数；\(\tau\)控制惩罚衰减速度。

动机推导：给定固定问题x，\(p_x(\ell)\)代表生成\(\ell\)个推理 token 后解决该题的概率。在未触发上限\(C_{max}\)的区间，定义模型偏好的推理长度\(\ell_{x}^{*}(b)\)，为最大化收益的最优 token 数量： \(\ell_{x}^{*}(b) \in arg max _{\ell \geq 0}\left[p_{x}(\ell)-k(b) \frac{\ell}{L_{norm }}\right]\)

取内部最优解，一阶条件：额外 token 带来的求解概率边际收益等于惩罚带来的损失： \(p_{x}'(\ell_{x}^{*}(b))=\frac{k(b)}{L_{norm }}\)

我们做局部假设：边际收益随推理 token 增加近似指数衰减： \(p_{x}'(\ell) \approx a_{x} exp \left(-\frac{\ell}{s_{x}}\right)\) \(a_x>0\)为实例依赖缩放系数；\(s_x\)控制边际收益衰减速率。

将\(k(b)\)与边际收益公式代入一阶条件，化简得到： \(\ell_{x}^{*}(b) \approx C_{x}-s_{x} log k_{0}+\frac{s_{x}}{\tau}\left(b-b_{min }\right)\) 其中\(C_{x}=s_{x} log (a_{x} L_{norm })\)，与努力等级b无关。

当\(b_2>b_1\)，不同努力等级对应的最优推理长度差： \(\ell_{x}^{*}\left(b_{2}\right)-\ell_{x}^{*}\left(b_{1}\right) \approx \frac{s_{x}}{\tau}\left(b_{2}-b_{min }\right)\)

因此这套指数惩罚调度，在局部模型下，请求努力等级与偏好推理长度呈现简单的一阶仿射线性趋势。

• \(k_0\)：全局控制缩短推理的压力；
• \(\tau\)：控制推理长度对努力等级的敏感度。

注意：该推导只是奖励层面的局部近似，不等于实测平均长度必须严格线性、逐点单调。真实观测会存在偏差：推理努力指令会直接改变推理策略；生成过程具备随机性；子组归一化会改变优化目标。一旦达到\(C_{max}\)惩罚上限，边际 token 惩罚直接归零。

参考文献 略