大数跨境

DeepSeek-V4.1-Flash 在 Vera Rubin NVL72 上的推理实测

DeepSeek-V4.1-Flash 在 Vera Rubin NVL72 上的推理实测 AI智能创作写作
2026-11-16
0
导读:Vera Rubin NVL72 整机柜运行 vLLM + P/D 分离 + Wide-EP,负载为 Semi

Vera Rubin NVL72 整机柜在运行 vLLM + P/D 分离 + Wide-EP 架构,负载为 SemiAnalysis AgentX 的 Agent 场景下表现卓越。在固定用户侧 P90 生成速度为 387 tokens/s 时,其单 GPU 吞吐量达到 1.7M tokens/s;而在相同口径下,GB300 NVL72 的单 GPU 吞吐量为 954K tokens/s。

关键性能指标对比

指标

Vera Rubin NVL72

GB300 NVL72(对比)

用户侧 P90 生成速度

387 tokens/s

约 196 tokens/s

单 GPU 吞吐

1.7M tokens/s

约 954K tokens/s

整机柜峰值吞吐

2.52M tokens/s per GPU

—

单用户最低延迟路径(P90)

1810 tokens/s

—

需特别说明的是,58 倍的性能差距是在同样的 387 tokens/s 用户速度约束下比较吞吐得出的结论,并非单卡算力的直接倍数。这一显著差异主要源于内存子系统优化、FP4 张量核技术、机架级 KV 池以及调度策略的叠加效应。

模型基础

测试采用的 DeepSeek-V4.1-Flash 是一个 552B MoE 模型,采用 Causal-Encoder-Decoder 非对称结构。其中 prefill 阶段激活参数量为 8B,decode 阶段激活参数量为 16B。相比前代产品,其 KV Cache 压缩效果明显,更加适合 Agent 长会话推理场景。

性能提升来源

双内存域架构

SM 优先访问本地内存域,尽可能将 MoE、残差流与注意力张量保留在本地域,从而减少跨域开销。实测显示,DEP prefill 性能提升 28%,DEP decode 性能提升 25%。

SM107 FP4 张量核

采用 K64 / K128 块缩放 MMA 技术,配合 FP4 权重打包,使得单指令算力翻倍。这一改进显著提升了 MQA 与 MoE GEMM 的计算速度。

机架级 NVLink 统一域

72 张显卡通过 NVLink 共享,支持跨 tray TP8,all-reduce 通信开销极低。KV Cache 与 Engram n-gram 表进入机架级共享池(Mooncake),使得会话不再绑定于单卡,命中率稳定保持在 96.5%–97%。同时,Dynamo 根据负载进行路由,有效减少了排队失衡现象。

专用低延迟 TP decode 路径

通过算子融合以及通信与计算重叠技术,在单请求场景下显著降低了 TTFT(首 token 延迟)与 TPOT(每 token 输出时间)。

与 GB300 的深度对比

GB300 在使用同一套架构栈针对 AgentX场景测试中,录得 P90 为 196 tokens/s、单卡吞吐 954K tokens/s。Rubin 的核心优势在于:在将用户侧速度提升至 387 tokens/s 的同时,其吞吐量仍达到 GB300 的 58 倍。这证实了性能飞跃是内存子系统、FP4 张量核与机架级 KV 池共同作用的结果,而非单纯的算力堆叠。

【声明】内容源于网络
0
0
AI智能创作写作
1234
内容 554
粉丝 1
AI智能创作写作 1234
总阅读51.4k
粉丝1
内容554