来源：SemiAnalysis《Vera Rubin NVL72 vs GB200 NVL72: Inference TCO & Architecture Analysis》（2026年7月23日）
英伟达下一代机架级架构 Vera Rubin NVL72 的早期数据终于浮出水面。SemiAnalysis 最新报告给出了一组亮眼数字：运行 DeepSeek R1 时，Rubin 相比 GB200 NVL72 实现了每兆瓦 5.4 倍、每美元 5 倍的推理性能提升。但在这份报告里，SemiAnalysis 一如既往地扮演了“挤水分”的角色——他们逐条拆解了 CoreWeave 公布的基准测试，告诉我们哪些数字是真的，哪些需要打个问号。
一、headline 数字背后的三个“小心机”
CoreWeave 公布的数据称，在约 150 tok/s/用户的交互速度下，VR NVL72 的每兆瓦 token 吞吐量是 GB200 NVL72 的 10 倍。听起来惊人，但 SemiAnalysis 指出了三个关键细节：
第一，对比基线是 2025 年的 GB200。 那时候的 GB200 还在早期爬坡阶段，软件栈尚未成熟。拿 Rubin 对比一年前的旧软件栈，就像让新车和还没磨合好的旧车比加速。如果用 2026 年 7 月最新的 GB200/GB300 数据对比，Rubin 的领先优势会明显收窄——在 100 tok/s/用户时约为 2 倍，200 tok/s/用户时约 4 倍。
第二，测试模型是 DeepSeek R1 671B，已经不算主流。 SemiAnalysis 吐槽说，更合理的测试对象应该是 GLM5.2、Kimi K2.5、Qwen3.5 这类现代模型。而且讽刺的是，用 R1 测试理论上对 Blackwell 更有利——Rubin 真正的优势在于超大 HBM 容量和带宽，更适合 Fable 5、Gemini Pro、Kimi K3、Qwen3.8 这样的多万亿参数模型。
第三，测试只用了单轮 8k 输入/1k 输出。 Rubin 的大容量 HBM 在多轮长上下文场景（比如 Agentic Coding）中优势更大，但简单单轮测试完全体现不出来。
即便如此，有一点是实打实的：在 350 tok/s/用户的极高交互速度下，GB200 和 GB300 直接“趴窝”无法服务，只有 Rubin 还能输出——它能提供 Blackwell 给不了的“极速模式”。
二、架构层面的硬核升级
Rubin（SM_107）被 SemiAnalysis 定位为“Blackwell 加强版”，但细节升级相当有料：
三、最有意思的创新：3 比特 LUT 张量核心
这是 Rubin 最独特的新特性。LUT B 模式下，权重不再直接存储数值，而是存 3 比特索引，指向一个含 8 个 E4M3 数值的查找表，Tensor Core 在 MMA 内部直接“查表解压”，无需单独的反量化步骤。
关键在于：这个查找表不必遵循均匀网格，量化算法可以把码字集中在权重密集区域，实现非均匀量化，理论上每比特精度更高。最终存储 footprint 为 3.125 比特/权重。
报告用 Kimi K3 2.8T 模型举例：MXFP4（约 4.5 比特/权重）需要约 14.9 TB 存储，而 Rubin LUT 格式只需约 10.9 TB，节省近 4 TB——288GB HBM4 的 Rubin 封装，NVFP4 需要 6 个封装装下权重，新格式只要 4 个。低 batch 解码受限于权重带宽，每个权重字节数更少，解码吞吐直接提升。
四、软件生态：这次不用“从零重写”
Hopper 到 Blackwell 的迁移曾让工程师们痛苦不堪——WGMMA kernel 完全不兼容，全部重写。而 Rubin 可以直接复用 Blackwell SM100 家族的 kernel（DeepGEMM、FlashMLA、CUTLASS 等），上市时间优势明显。CUDA 13.4 已发布首个公开 Rubin 软件栈，PyTorch、vLLM、OpenAI Triton 的上游支持也已合并或进行中。
但注意：Feynman（SM_140）将是全新架构家族，Rubin 到 Feynman 的 kernel 迁移将重演 Hopper 到 Blackwell 的阵痛，还将引入类似 AMD MI300X 的 3D 堆叠和稀疏感知数据搬运。
五、TCO 账算得过来吗？
Rubin 单 GPU 小时 TCO 为 3.57 美元，高于 GB200 的 1.84 美元和 GB300 的 2.36 美元（自有运营场景）。但算到每百万输出 token 的成本上，Rubin 在所有交互速度下都更便宜：对 2026 年 7 月的 GB200 低速度时便宜 1.5 倍，200-250 tok/s/用户时约 3 倍，300 tok/s/用户时对 GB300 达到 5 倍。整机功耗约 185kW（Max-Q 配置，TDP 1800W），并支持 45°C 冷却液无冷水机组的数据中心设计。
顺带一提，报告还披露了 AMD MI355X 的一个尴尬 bug：SGLang 上 MoRI EP 解码路径在低并发时会静默输出 NaN，gsm8k 直接归零——目前的公开性能数字无效。
结语
SemiAnalysis 的总体判断是：Rubin 的领先是真实的，但没有营销数字那么夸张；而且由于 Rubin 才刚进入早期爬坡，随着软件成熟，差距还会继续拉大——这正是 Blackwell 在 InferenceX 基准中走过的老路。英伟达已承诺在 2026 年 Q3 向 InferenceX 提交可验证数据，谷歌 TPUv7 和 AMD MI455X 也在路上。届时，我们才能得到一份真正客观的跨平台对决。
交流请扫码：
