DeepSeek-V4.1-Flash 采用 W4A8 量化,基于单机 8 卡昇腾 910B4 硬件,搭载 MRV2 推理栈(基线为上一版 MRV)。在并发服务、长上下文 Prefill 及 Agent 工具调用三类负载下,整体吞吐提升 19%。增益主要源于 CANN 侧算子实现、KV 缓存管理、MoE 路由与卡间通信调度的联合优化。
测试环境概览
项目 |
配置 |
|---|---|
模型 |
DeepSeek-V4.1-Flash,552B 总参数 MoE;CED 非对称编解码;最大上下文 1M;原生图文多模态 |
量化 |
W4A8(权重 4bit、激活 8bit) |
硬件 |
单机 8 卡昇腾 910B4 |
推理栈 |
MRV2;基线为上一版 MRV |
负载 |
多用户并发、长上下文 Prefill、Agent 多轮工具调用 |
结果 |
同机、同量化、同负载下整体吞吐 +19% |
分场景优化表现
场景 |
瓶颈 |
优化落点 |
表现 |
|---|---|---|---|
并发 |
高并发下 MoE 路由与卡间通信开销放大,批调度碎片化,NPU 利用率下滑 |
专家路由、AllReduce、连续批调度 |
NPU 利用率抬升,TTFT 小幅改善,吞吐不随并发升高而快速塌陷 |
长上下文 |
长 Prefill 的 KV 写入与 HBM 带宽压力,单 token 开销随长度上升 |
跨层 KV 复用、受限窗口回放、缓存预取 |
长 Prefill 不再是瓶颈,长文档检索与长代码理解的单 token 开销下降 |
Agent |
多轮工具调用反复读写与淘汰 KV 缓存,缓存碎片与重复计算 |
缓存回收、复用与预取 |
工具循环任务端到端完成速度提升最明显,是 19% 的主要来源 |
三类负载的瓶颈互不相同,收益不可简单相加。并发侧改善的是调度与通信,长上下文侧是 KV 的结构性开销,Agent 侧是缓存的反复读写。其中 Agent 工具调用对缓存复用最敏感,贡献了本次提升的最大份额。
模型侧支撑条件
维度 |
设计 |
推理影响 |
|---|---|---|
参数激活 |
总参 552B;Prefill 激活约 8B,Decode 激活约 16B |
单 token 计算量显著低于同规模稠密模型 |
KV 缓存 |
CSA2 + SWA + FP4 KV |
HBM 上 KV 占用降至 V4-Flash 的 1/4 |
持久化缓存 |
SSD 侧缓存 |
持久化开销降至 1/8 |
上下文与模态 |
1M 上下文,原生图文多模态 |
支撑长文档、多轮会话与图文混合输入 |
稀疏激活压低了单 token 计算量,KV 压缩把长会话的显存与带宽成本降下来,这两点是长上下文与 Agent 负载能跑到该水平的物理前提,也决定了推理栈在缓存管理上还有多少优化空间。
口径与边界说明
对比口径:19% 为 MRV2 对 MRV 的栈内对比,同机、同量化、同负载,不与 CUDA、vLLM 等其它推理栈横比。
精度:权重 4bit、激活 FP8,在 Agent、代码、长文本基准上回落较小,长尾任务仍需按业务验收。
硬件上限:单机 8 卡受卡间带宽与 HBM 容量限制,存在并发甜点区,超出后单流速度会下降。
数据性质:来自社区与推理栈适配实测,非 DeepSeek 官方发布,对外引用应同时标注环境与负载构造方式。

