最近，微软 Azure AI Foundry 团队公布了一项重磅技术落地成果：他们成功在 NVIDIA Blackwell 架构上，实现了对 DeepSeek-V3.2 模型的超高性能单节点推理。实测数据显示，在贴近真实的业务场景中，新架构不仅将单用户的端到端生成延迟降低了高达 2.5 倍，更在保持一致的服务延迟基准下，将单块 GPU 可承载的并发用户数量惊人地提升了 16 倍。
解锁Blackwell性能
此次性能飞跃的底层物理基础，依托于 NVIDIA GB200 NVL72 机架级解决方案。该系统满配提供 72 块 NVIDIA Blackwell GPU 和 36 块 NVIDIA Grace CPU。具体到单块 GPU 层面，其不仅配备了 186 GB 的高带宽 HBM3e 内存（较上一代 H200 提升了 32%），更搭载了全新设计的第二代 Transformer 引擎。
在密集计算场景下，GB200 每块 GPU 能够输出高达 10 PFLOPS 的 NVFP4 算力，这直接达到了上一代 H200（提供 2 PFLOPS 密集 FP8 算力）的 5 倍。显存容量与底层算力的双重扩容，为大体量混合专家（MoE）模型的部署扫清了硬件障碍。
NVFP4 极低精度量化与 TensorRT-LLM
空前的硬件算力需要前沿的软件算法来释放，其中最关键的破局点便是 NVIDIA Blackwell 架构原生引入的创新 4 位浮点格式——NVFP4。通过采用非 2 的幂次方缩放因子对量化块进行编码，NVFP4 在维持模型高精度的同时，极大地压缩了内存占用。
微软官方透露，对于 DeepSeek-V3.2 而言，NVIDIA 的 NVFP4 量化技术将模型权重体积从原始 FP8 格式的 690 GB 锐减至 415 GB，内存占用足足减少了 1.7 倍。这种极度优化的数据格式，能被 Blackwell 的张量核心（Tensor Core）原生支持并高效吞吐。
更重要的是，极限压缩并未牺牲模型的“智商”。NVIDIA 发布的全面质量基准测试结果显示，量化后的权重在逻辑推理、复杂代码生成以及科学问答等一系列行业标准测试中，其表现几乎与原始 FP8 模型完全一致，充分验证了 NVFP4 在生产推理环境中的高可用性。
与此同时，底层运行时的优化也功不可没。TensorRT-LLM 是一款专为大语言模型推理优化而打造的开源计算库。它针对 NVIDIA GPU 提供了全方位的高性能优化方案，涵盖低精度推理部署、动态批处理（In-flight batching）、定制化注意力算子等众多核心技术。正是 TensorRT-LLM 对稀疏注意力机制与超大上下文窗口的底层深度优化，使得 DeepSeek-V3.2 最终跨越了性能瓶颈。
DeepSeek-V3.2 性能基准测试
为了验证上述技术组合的实际威力，测试团队进行了严格的基准测试。
评测结果
在端到端的延迟表现上，新架构展现出了压倒性优势。在单并发请求（并发数为 1）的场景下，配备 NVFP4 的 GB200 节点将中值延迟控制在了 5801 毫秒；作为对比，H200 节点完成同等任务的中值延迟高达 14716 毫秒，整体速度提升了 2.5 倍。此外，在所有并发梯度的测试中，NVFP4 + GB200 的组合均表现出了最高的吞吐量与最低的延迟。
而在决定商业化成本的核心指标——“单卡并发承载力”上，结果更为震撼。测试团队设定了 15000 毫秒的严格端到端延迟上限，在此目标下，基于 NVFP4 的 GB200 单节点能够同时稳定服务 8 个并发用户，吞吐量达到了 H200 节点（仅能服务 1 个用户）的 8 倍。进一步折算到 GPU 物理维度：此次测试的 GB200 节点内包含 4 块 GPU，而 H200 节点内包含 8 块 GPU。所以，在同等业务体验下，Blackwell 架构使得单块 GPU 的用户服务效能飙升了 16 倍。
测试服务器配置
行业启示
过去几年，行业的聚光灯大多打在训练侧的规模扩张上；而如今，随着推理成本成为大模型商业化落地的核心约束，竞争逻辑正在发生转变。在未来的 AI 基础设施竞赛中，谁能在不明显损失模型质量的前提下，把庞大的参数压缩到极小的显存空间里，并在更少的 GPU 上承载指数级增长的用户请求，谁就真正掌握了可持续、高盈利的商业服务模式。
原文：
https://techcommunity.microsoft.com/blog/azure-ai-foundry-blog/unlocking-high-performance-inference-for-deepseek-with-nvfp4-on-nvidia-blackwell/4497936
基于 B300 的 InfiniBand XDR 全栈网络架构解读 —— 算力通胀时代的网络重构
NVIDIA Blackwell 第五代 Tensor Core 的指令流与微架构分析
谷歌TPU v7，性能硬刚Blackwell，Anthropic狂买100万颗