DeepSeek-V4 摒弃单纯位置编码外推及外挂 RAG 等伪长文本方案，依托CSA+HCA 混合压缩注意力、长序列优化 MoE 底座、原生长文本预训练、KV Cache 工程优化四大核心能力，实现百万级上下文的原生支持、低成本部署与商业化落地。
一、基础参数与性能优势
模型规格：提供 V4-Pro 与 V4-Flash 两个版本。
上下文能力：全系原生支持 1,048,576 Token 超长上下文窗口，无需额外扩窗微调。
推理性能：在 1M 序列场景下，V4-Pro 的 FLOPs 仅为 V3.2 的 27%，KV Cache 占用降至 10%；V4-Flash 的 FLOPs 低至 10%，KV Cache 仅占 7%，显著降低超长序列推理成本。
二、核心架构：CSA+HCA 混合分层注意力
V4 舍弃 V3 的 MLA 架构，采用CSA/HCA 交替堆叠配合局部稠密窗口的混合注意力机制，兼顾局部细节精度与超长全局建模能力，有效解决传统架构算力爆炸难题。
2.1 CSA 压缩稀疏注意力
针对中长序列平衡精度与效率，核心流程如下：
分块压缩：以 4:1 比例聚合远端 KV 为摘要单元，结合位置加权与块重叠机制，避免边界语义丢失。
轻量粗筛：利用低秩索引模块以极低开销完成全局相关性打分，过滤无效信息。
Top-K 稀疏计算：Pro 版 K=1024、Flash 版 K=512，仅高相关 KV 参与注意力计算，大幅削减冗余算力。
局部稠密兜底：保留最近 128 Token 的全量稠密计算，保障对话、代码等局部细节无损。
2.2 HCA 重度压缩注意力
采用 128:1 极致压缩策略，专注超长序列全局逻辑与长距离依赖建模，与 CSA 形成互补：
CSA：轻度压缩加稀疏筛选，主打细粒度事实检索与局部精准匹配。
HCA：重度压缩加全局稠密计算，主打长文本框架梳理与全局语义统一。
2.3 交替堆叠设计
Transformer 层交错排布 CSA 与 HCA 模块，分别负责局部细节校验与全局语义连贯，解决单一注意力机制“稀疏失全局、稠密高成本”的固有缺陷。
技术界定：GSWA、锚点 Token 等为民间二次解读，V4 官方核心架构确认为 CSA+HCA 混合压缩注意力体系。
三、底座架构：长序列训练稳定性优化
3.1 mHC 流形约束超连接
替代传统残差连接，通过矩阵流形约束平滑梯度传递，杜绝超长序列深层训练中的梯度爆炸或消失问题，保障 1M 序列训练稳定收敛。
3.2 长序列适配 MoE 架构
延续 MoE+MTP 机制并优化长序列路由逻辑，单次推理仅激活少量专家，支持 FP4 量化感知训练，实现上下文扩容而算力非线增长，支撑超长序列低成本推理。
3.3 Muon 优化器
核心训练弃用 AdamW，转而采用 Muon 优化器，显著提升长序列训练的收敛速度与参数更新稳定性。
四、预训练管线：原生超长文本能力固化
仅靠架构优化无法保证长文本效果，V4 通过专属预训练从权重层面固化 1M 序列理解能力：
渐进式长度训练：由短至长逐步扩容，覆盖 32K 至 100K+ 超长样本，保障训练收敛。
长文本专项语料：引入海量长文档、完整代码库及超长对话数据，专项学习长距离语义依赖。
优化 RoPE 编码：迭代频率衰减策略，原生支持 1M 序列外推，无需 SFT 扩窗微调。
行业差异：多数模型 1M 上下文仅为位置编码外推，缺乏真实长样本训练，易出现遗忘或召回失效；V4 具备原生超长文本建模能力。
五、推理工程：KV Cache 显存极致降本
1M 上下文的核心瓶颈在于 KV 显存占用，V4 通过多层工程优化大幅降低成本：
源头压缩：依托 CSA/HCA 分级压缩，无需存储全量原始 Token KV 特征。
低精度量化：采用 FP8/FP4 KV 缓存搭配量化训练，在精度无损前提下大幅压缩显存。
智能缓存调度：实施分页 KV、前缀复用及冷热数据分层，将冷数据溢出至内存或磁盘，释放显存。
量化对比：同等 1M 推理下，V3.2 显存占用高达 84GB，而 V4-Pro 仅需 9.6GB，支持单卡部署。
六、1M Token 全链路推理工作流
文本分词后生成 Embedding 序列表征；
分级注意力计算：近场 128 Token 稠密计算、中长序列 CSA 稀疏检索、超远距离 HCA 全局建模；
mHC 稳定层间信号，MoE 路由激活专家完成特征变换；
增量生成 Token，动态维护压缩 KV 缓存，保障连续推理效率。
七、主流长上下文方案横向对比
传统稠密 Transformer：平方级复杂度，64K 以上成本爆炸，无法适配超长序列。
单滑动窗口注意力：算力低，但丢失长距离依赖，无全局建模能力。
DeepSeek-V3：优化 KV 结构，但长序列显存开销持续上涨，无法落地 1M 场景。
DeepSeek-V4：兼顾细节精度、推理成本与长文本效果，实现超长上下文最优平衡。
拓展研究方向：CSA 数学推导、1M 本地部署硬件方案、主流长文本模型对比、超长序列“大海捞针”检索原理。