很多企业砸重金上GB300 NVL72整柜，满心期待拉满大模型训练性能。 结果上线后发现：GPU经常空转，算力跑不满。
问题往往不在GPU本身，而是搞混了两套网络。 柜内NVLink再猛，也救不了拉胯的跨柜集群网络。
分清两张网
柜内NVLink ≠ 跨柜集群网络
GB300 NVL72机柜内部：72张B300 GPU+36颗Grace CPU，靠第五代NVLink芯片，形成一个130TB/s带宽的封闭通信域。
✅ NVLink（Scale‑Up）：机柜内部能力
● 把一柜子72张卡，虚拟成“一台超大机器”，只服务柜内卡与卡通信，不占用对外网口，出了机柜直接失效。
● 做大模型训练、多机推理，必然要多机柜并联。
● 多柜之间的数据互通，靠的是机柜对外的800G网络（Scale‑Out）。
NVLink管“一柜之内跑得快”；800G管“多柜协同一起跑”。采购集群网络，看的是后者。
很多选型翻车：柜内NVLink拉满，跨柜出口带宽不足，昂贵算力直接闲置。
800G不是顶配
是B300整柜的入门底线
GB300 NVL72每个节点标配 ConnectX‑8 SuperNIC，每GPU配800G对外带宽，整柜对外总带宽接近30Tb/s。
不管是NVL72整机柜，还是HGX B300、DGX B300，800G ConnectX‑8已经是出厂基线。
❗采购避坑：不要再把800G当成加价选配！ “每GPU 800G”应当作为项目硬性验收标准。
同样800G
IB和以太网到底该怎么选？
两者物理层都是800G光模块，纸面带宽一致，但战场完全不一样。
InfiniBand（Quantum‑X800）
✅优势：原生无损网络，SHARP网内计算，小消息亚微秒低延迟。千卡以上紧耦合大模型训练，尾部延迟表现碾压，适合前沿基础训练。
⚠️短板：单厂商生态，需要专职网络工程师，运维成本高。
以太网Spectrum‑X
✅优势：搭配BlueField‑3/ConnectX‑8，RoCEv2优化后，大集合通信性能可达IB NDR的80%+。开放多厂商，现有以太网团队可以直接复用技术栈，上线快，TCO更低。
⚠️坑点：普通RoCEv2调优极其麻烦，高负载容易丢包掉速；只有搭配BlueField‑3才能拿到硬件级优化，老网卡ConnectX‑7跑不出满血AI性能。
实操建议：不要迷信参数，最终性能以NCCL实测结果为准。
GB300 集群网络
采购 4 条实操准则
1、匹配业务规模与耦合程度
千卡级别、强同步的紧耦合前沿训练任务，InfiniBand 的尾部延迟、SHARP 网内计算优势更明显；多租户环境、中等规模微调、推理业务，Spectrum‑X 以太网的资源隔离、弹性扩展能力更适配业务。
2、客观评估自身运维团队能力
InfiniBand 有专属运维体系，排障、人员招聘都存在门槛。如果团队本身深耕以太网体系，Spectrum‑X 可以复用现有工具链，项目上线周期大幅缩短。
3、决策看三年 TCO，不要只对比单端口报价
以太网方案在硬件物料、长期运维成本更友好，集群规模越大，成本差距越明显；InfiniBand 是以更高综合投入换取极限训练性能。采购评估，一定要测算三年总体拥有成本，不要被单端口低价误导。
4、留意机型绑定与硬件代际兼容
GB300 NVL72 原生同时兼容两套 Fabric 架构；HGX B300 交换设备、网卡需要用户自主选配。项目实施前务必确认 BlueField‑3 端点硬件要求、DOCA 版本锁定，避免混用不同世代 SuperNIC 网卡，拉低整柜吞吐上限。
▶ 高频 FAQ
柜内 NVLink 速度这么高，还需要投入跨柜网络吗？
需要。NVLink 通信范围仅限于单机柜内部 72 卡。一旦任务跨机柜、跨节点，或是对接并行文件系统、前端业务服务，全部依赖 800G 外部 Fabric。柜内带宽再强，跨柜出口形成瓶颈，机柜内的 GPU 算力就会大量闲置。
H200 对比 B300，网络与显存核心代差在哪里？
H200 基于 Hopper 架构，单卡 HBM3e 显存 141GB，机间通信采用 ConnectX‑7 400Gb/s，最大仅支持 8 卡 NVLink，不存在整柜统一互联域。
B300 Blackwell Ultra，单卡 HBM3e 显存 288GB，机间升级 ConnectX‑8 800Gb/s，支持完整 72 卡柜内 NVLink 域。 显存容量、机间网络带宽直接翻倍，当业务被显存制约时，这两项指标的优先级甚至高于算力峰值。
算力硬件选型，不能只盯着 GPU 算力纸面参数。柜内互联、集群网络、存储、供电散热共同决定整套集群最终产出。
