大数跨境

DeepSeek-V4.1-Flash W4A8 昇腾 910B4 单机 8 卡推理性能测试

DeepSeek-V4.1-Flash W4A8 昇腾 910B4 单机 8 卡推理性能测试 AI智能创作写作
2026-11-11
5
导读:DeepSeek-V4.1-Flash,W4A8 量化,单机 8 卡昇腾 910B4,推理栈 MRV2,基线为

DeepSeek-V4.1-Flash 采用 W4A8 量化,基于单机 8 卡昇腾 910B4 硬件,搭载 MRV2 推理栈(基线为上一版 MRV)。在并发服务、长上下文 Prefill 及 Agent 工具调用三类负载下,整体吞吐提升 19%。增益主要源于 CANN 侧算子实现、KV 缓存管理、MoE 路由与卡间通信调度的联合优化。

测试环境概览

项目

配置

模型

DeepSeek-V4.1-Flash,552B 总参数 MoE;CED 非对称编解码;最大上下文 1M;原生图文多模态

量化

W4A8(权重 4bit、激活 8bit)

硬件

单机 8 卡昇腾 910B4

推理栈

MRV2;基线为上一版 MRV

负载

多用户并发、长上下文 Prefill、Agent 多轮工具调用

结果

同机、同量化、同负载下整体吞吐 +19%

分场景优化表现

场景

瓶颈

优化落点

表现

并发

高并发下 MoE 路由与卡间通信开销放大,批调度碎片化,NPU 利用率下滑

专家路由、AllReduce、连续批调度

NPU 利用率抬升,TTFT 小幅改善,吞吐不随并发升高而快速塌陷

长上下文

长 Prefill 的 KV 写入与 HBM 带宽压力,单 token 开销随长度上升

跨层 KV 复用、受限窗口回放、缓存预取

长 Prefill 不再是瓶颈,长文档检索与长代码理解的单 token 开销下降

Agent

多轮工具调用反复读写与淘汰 KV 缓存,缓存碎片与重复计算

缓存回收、复用与预取

工具循环任务端到端完成速度提升最明显,是 19% 的主要来源

三类负载的瓶颈互不相同,收益不可简单相加。并发侧改善的是调度与通信,长上下文侧是 KV 的结构性开销,Agent 侧是缓存的反复读写。其中 Agent 工具调用对缓存复用最敏感,贡献了本次提升的最大份额。

模型侧支撑条件

维度

设计

推理影响

参数激活

总参 552B;Prefill 激活约 8B,Decode 激活约 16B

单 token 计算量显著低于同规模稠密模型

KV 缓存

CSA2 + SWA + FP4 KV

HBM 上 KV 占用降至 V4-Flash 的 1/4

持久化缓存

SSD 侧缓存

持久化开销降至 1/8

上下文与模态

1M 上下文,原生图文多模态

支撑长文档、多轮会话与图文混合输入

稀疏激活压低了单 token 计算量,KV 压缩把长会话的显存与带宽成本降下来,这两点是长上下文与 Agent 负载能跑到该水平的物理前提,也决定了推理栈在缓存管理上还有多少优化空间。

口径与边界说明

对比口径:19% 为 MRV2 对 MRV 的栈内对比,同机、同量化、同负载,不与 CUDA、vLLM 等其它推理栈横比。

精度:权重 4bit、激活 FP8,在 Agent、代码、长文本基准上回落较小,长尾任务仍需按业务验收。

硬件上限:单机 8 卡受卡间带宽与 HBM 容量限制,存在并发甜点区,超出后单流速度会下降。

数据性质:来自社区与推理栈适配实测,非 DeepSeek 官方发布,对外引用应同时标注环境与负载构造方式。

【声明】内容源于网络
0
0
AI智能创作写作
1234
内容 553
粉丝 1
AI智能创作写作 1234
总阅读51.3k
粉丝1
内容553