DeepSeek-V4.1-Flash-1017 是一款基于 552B MoE 架构的大模型,其 Prefill 阶段激活参数量为 8B,Decode 阶段为 16B。该模型原生支持 1M 超长上下文,配备视觉分支,并支持 FP4 KV Cache 技术,权重遵循 MIT 协议开源。本次测试基于 Atlas 800I A3 平台(配置 8×昇腾910 芯片及 400GE RoCE 互联),软件环境采用 vLLM Ascend 分支配合 CANN 8.1.RC1 及以上版本,量化方案选用 W8A8 结合 FP4 KV Cache。需注意,相关数据源自工程实测,非官方公开基准。
部署与显存优化
鉴于 MoE 模型单次仅激活少量专家,显存压力主要来源于 KV Cache 而非模型权重。在 8 卡环境中,通常采用 EP(专家并行)与 TP(张量并行)混合切分策略。经 W8A8 量化后,权重总大小约为 552GB,单卡占用约 69GB;启用 FP4 KV Cache 时,单个 Token 约占 890 bytes,1M 上下文下单条请求的 KV Cache 约为 890MB。剩余显存需预留用于 Paged Attention、激活值及算子缓冲区。
单机即可运行量化版模型。若未启用 FP4 KV Cache,处理 1M 上下文时将因显存不足导致 OOM,此时需利用该机型的 8 盘 NVMe 构建 HBM 与 NVMe 分级缓存系统。原版 FP16 权重无法单机容纳,必须先进行量化并转换为昇腾专用格式。此外,社区版 vLLM 不支持该模型,必须使用 Ascend 分支。
实测性能表现
以下测试条件为:纯文本模式、关闭视觉分支、开启思考模式,并在 8 卡满配环境下运行。
| 阶段 | 条件 | 结果 |
|---|---|---|
| Prefill | 1k 输入 | 2200~3200 token/s |
| Prefill | 128k 输入 | 400~800 token/s(受 KV 访存与 MLA 算子限制) |
| Decode | 单流 | 45~65 token/s,单 Token 延迟 15~22ms |
| Decode | 8 路并发(各 16k 上下文) | 吞吐 180~260 token/s,单路延迟 40~70ms |
| Decode | 16 路并发(开启 prefix cache) | 吞吐约 320 token/s,延迟 80ms 以上 |
| 1M 单条 | 启用 SSD KV 缓存 | 12~22 token/s(瓶颈为 NVMe 带宽) |
开启视觉编码器将额外占用 8~15GB HBM,导致 Decode 速度下降 10%~20%。对比同规格 8 卡 H20 平台,后者单流速度约为 70~90 token/s;Atlas 800I A3 在长上下文场景下差距缩小,但在短 Prompt 的 Prefill 阶段差距较为明显。
常见问题与排查
| 问题 | 现象 | 处理方案 |
|---|---|---|
| 专家路由不均 | 部分卡负载达 95%,其余仅 40%,导致吞吐低、长尾延迟高 | 开启动态负载均衡,调整 EP 切分策略 |
| KV 落盘抖动 | 偶发 Token 跳变、卡顿 | 使用 PCIe 4.0 NVMe(读取速度 ≥7GB/s),控制同时落盘数量 |
| CANN 版本过低 | 缺失 MLA 融合算子,Prefill 速度减半,偶发 Core Dump | 升级至 CANN 8.1.RC1 及以上版本 |
| 权重不匹配 | HuggingFace 专家排布与昇腾 EP 不同,直接加载出现乱码 | 使用 ModelZoo 配套转换脚本进行处理 |
| 视觉分支占显存 | 纯文本业务仍占用额外 HBM | 在转换模型时剥离 Vision Encoder |
适用场景与建议
适用场景:该方案适合 Agent 工作流、代码生成、长文档解析、知识库 RAG、私有化推理等场景。特别适用于 10 路以内并发、重视上下文长度或有国产化要求的项目。离线批量处理时可充分利用 SSD KV 缓存。
不适用场景:不适合几十路以上的高并发低延迟在线业务,也不适合追求极致生成速度且预算充足的项目。
优化建议与结论
为提升性能,建议采取以下措施:开启 Prefix Caching;将高频会话 KV 常驻 HBM,冷会话下沉至 NVMe;纯文本业务剥离 Vision 模块并关闭 MTP 推测解码;在 RoCE 网络中关闭网卡流控并调大 MTU。对于精度敏感场景,可改用 W8A8 加 FP8 KV 方案,但代价是显存翻倍及长上下文并发数下降。
精度方面,W8A8 量化在 Terminal-Bench、代码及数学推理任务上与原版 FP16 相差仅 1~3 分;FP4 KV Cache 对长上下文召回率基本无影响,仅在极端推理和多图理解场景下略有回落。
总体而言,Atlas 800I A3 能够稳定运行该模型的 W8A8 量化版,是国产化方案中少数能承载 1M 上下文的机型。其主要短板在于 Decode 单流速度以及卡间 MoE 路由的均衡性。

