相关阅读

1. Hermes Agent让智能体落地的极简实践

2. DeepseekV4预热：mHC 大幅提高预训练模型稳定性

3. DeepseekV4预热Engram代码解析：静态Memory与动态计算分离

4. 深度解锁 Deepseek R1：技术报告精读与应用落地实操

5. DeepSeek-R1拒绝采样的底层逻辑:从数学公式到工程实现的全流程解析

6. DeepSeek-V3技术报告解读-超详细

7. AI从业者必知！DeepSeek再度推出高效推理框架 FlashMLA，牛在哪？

8. Deepseek-V3长上下文能力扩展：Multi-Token Prediction (MTP)

9. 经典回顾Deepseek多头潜在注意力(MLA)

10. DeepSeek启示：llm为什么从Next-Token到Multi-Tokens

11. DeepSeek-OCR 2探索统一全模态编码的可能性

12. 致敬2025：从DeepSeek V3到Mistral 3 Large现代LLM架构设计解析

DeepSeek-V4核心优化简述

DeepSeek-V4是面向百万Token长上下文的效率革命型MoE大模型，用「混合压缩注意力+流形超连接+Muon优化器」三重架构创新，把100万Token上下文的推理FLOPs/KV缓存压到前代1/10以下，同时DeepSeek-V4-Pro-Max登顶开源大模型SOTA，在知识、推理、长上下文、智能体任务全面逼近闭源前沿，是「长上下文能力+推理效率+模型性能」三者兼得的里程碑工作。

图2｜DeepSeek-V4系列整体架构。注意力层采用混合压缩稀疏注意力（CSA）与高压缩注意力（HCA），前馈层使用DeepSeekMoE结构，并通过mHC增强传统残差连接。

1. 模型基础概览

系列包含两款MoE稀疏模型，原生支持100万Token上下文：

1. 1. DeepSeek-V4-Pro
• • 总参数：1.6T；激活参数：49B（每token）
• • 层数：61；隐层维度：7168
2. 2. DeepSeek-V4-Flash
• • 总参数：284B；激活参数：13B（每token）
• • 层数：43；隐层维度：4096
3. 3. 效率绝杀（1M Token上下文）
• • Pro：推理FLOPs = V3.2的27%；KV缓存 = V3.2的10%
• • Flash：推理FLOPs = V3.2的10%；KV缓存 = V3.2的7%
4. 4. 预训练数据：≥32T高质量多领域Token（数学、代码、长文档、多语言）

2. 核心架构创新（继承V3，新增三大突破）

保留DeepSeek-V3的DeepSeekMoE、多Token预测MTP，新增三个决定性架构改进：

2.1. 流形约束超连接 mHC（解决深层训练不稳定）

参考：DeepseekV4预热：mHC 大幅提高预训练模型稳定性

• • 替代传统残差连接，核心是把残差映射约束到「双随机矩阵流形」
• • 保证信号传播非扩张、数值稳定，解决深层Transformer梯度爆炸/消失
• • 技术细节：动态参数化+Sinkhorn-Knopp迭代（20次）约束矩阵，输入/输出映射Sigmoid非负约束，扩展因子n_hc=4
• • overhead：仅增加6.7%的流水线耗时，性价比拉满

2.2. 混合注意力 CSA + HCA（破解长上下文二次复杂度瓶颈）

这是百万Token效率的核心，用「压缩+稀疏」替代原生注意力O(n²)复杂度：

• Figure3 CSA架构。它将键值缓存条目数量压缩至1，随后采用DeepSeek稀疏注意力机制实现进一步加速。此外，将一小部分滑动窗口键值缓存条目与筛选后的压缩键值缓存条目相结合，以增强局部细粒度依赖关系。

  2.3. 混合注意力

  
  
• • CSA（压缩稀疏注意力）
1. 1. 每4个Token压缩KV缓存 → 序列长度缩至1/4
2. 2. 叠加DeepSeek稀疏注意力DSA → 仅关注Top-K压缩KV
3. 3. 补滑动窗口注意力，保留局部细粒度依赖
• • HCA（重度压缩注意力）
1. 1. 每128个Token重度压缩KV → 序列长度缩至1/128
2. 2. 无稀疏、保留密集注意力，极致压缩
• • 混合策略：模型层CSA/HCA交替使用，兼顾效率与效果
• • 额外优化：Query/KV RMSNorm、部分RoPE位置编码、注意力Sink、混合精度KV缓存（BF16/FP8）、索引器FP4计算
• 

  Figure4 | HCA的核心架构。其压缩程度更高，其中共享部分的键值条目

2.3. Muon优化器（更快收敛+更稳训练）

• • 替换大部分模块的AdamW，仅嵌入层、预测头、Norm层保留AdamW
• • 核心：混合牛顿-舒尔茨迭代正交化，分两阶段系数快速收敛+稳定奇异值
• • 适配MoE：结合ZeRO混合策略，BF16梯度通信减半，无QK-Clip仍稳定

3. 工程基础设施

3.1. 专家并行细粒度通信-计算重叠

• • 自研MegaMoE核，将专家分波调度，通信完全隐藏在计算下
• • 性能：推理提速1.5~1.73×，RL Rollout场景最高1.96×，支持NVIDIA/华为昇腾

3.2. TileLang DSL内核开发

• • 替换数百个细粒度算子，Host Codegen将CPU调度开销压至<1μs
• • Z3 SMT求解器做整数分析，保证数值可复现、批不变

3.3. 批不变+确定性内核

• • 解决注意力反向、MoE反向、矩阵乘的非确定性问题
• • 训练/推理/后训练全链路比特级一致，调试/部署零偏差

3.4. FP4量化感知训练（QAT）

• • 量化对象：MoE专家权重 + CSA索引器QK路径
• • 无损FP4→FP8反量化，推理内存减半、Top-K选择提速2×，KV召回率99.7%

3.5. 训练/推理框架优化

• • 训练：Muon ZeRO混合、mHC内存优化、两阶段上下文并行、张量级激活Checkpoint
• • 推理：异构KV缓存+磁盘缓存，共享前缀复用，避免重复Prefill

4. 训练方案（预训练+后训练，全链路关键）

4.1. 预训练

• • 数据：过滤自动生成内容，强化长文档、代码、数学、多语言
• • 配置：序列长度从4K逐步扩至1M，稠密注意力预热→稀疏注意力切入
• • 训练稳定神器：
1. 1. 预期路由：解耦特征网络与路由网络更新，杜绝Loss Spike
2. 2. SwiGLU：限制激活数值范围，消除异常值；参考:LLM肢解计划:SwiGLU MLP解析与实践

4.2. 后训练（核心创新：替换RL为 策略蒸馏OPD）

• • 两阶段范式：
1. 1. 领域专家训练：数学/代码/智能体等分领域SFT+GRPO强化学习
2. 2. 多教师策略蒸馏：全词表KL散度，合并所有专家能力
• • 推理力度三档：Non-think（快速）/High（推理）/Max（极限推理）
• • 工程优化：
1. 1. 生成式奖励模型GRM：替代标量奖励，少标注、高鲁棒
2. 2. XML工具调用+|DSML|标记：降低工具调用错误
3. 3. 交错思考：全对话保留推理轨迹，长智能体任务更连贯
4. 4. Quick Instruction：特殊Token并行辅助任务，降首Token延迟

5. 性能结果

5.1. 基座模型

• • Flash-Base：参数更少，全面超越DeepSeek-V3.2-Base
• • Pro-Base：DeepSeek基座最强，知识/推理/代码/长上下文全维度领先

5.2. 后训练模型（Pro-Max = 开源SOTA）

• • 知识：SimpleQA超开源模型20个百分点，逼近Gemini-3.1-Pro
• • 推理：Codeforces人类排名23位，数学/代码匹敌GPT-5.4
• • 长上下文：1M Token下MRCR/CorpusQA超越Gemini-3.1-Pro
• • 智能体：SWE/TerminalBench对标闭源，MCPAtlas/Toolathlon泛化性极强
• • 实用任务：中文写作胜率62.7%（vs Gemini）、职场任务胜率63%、代码智能体通过率67%（接近Claude Opus）

6. 局限与未来方向

6.1. 局限

• • 架构过于复杂，依赖大量工程Trick
• • 训练稳定性方法（预期路由/SwiGLU钳位）理论原理未明确
• • 复杂指令跟随、格式美学仍有提升空间

6.2. 未来

• • 精简架构，保留核心效率+性能
• • 基础研究训练稳定性原理
• • 更极致的模型稀疏化、低延迟长上下文部署
• • 多模态能力、数据合成优化

DeepSeek-V4的核心价值不是「更大的模型」，而是把「百万Token长上下文」从「实验室玩具」变成「工业级可用」——用稀疏MoE+混合压缩注意力把成本压到可落地，同时用mHC+Muon保证训练稳定，再用策略蒸馏把能力拉到开源顶线。