AI集群冲向10万卡，数据中心网络按三层重做- 大数跨境

半导体产业报告

2026-09-06

导读：AI服务器把GPU越堆越多，网络开始决定算力能不能跑满。

随着 AI 服务器 GPU 密度的激增，网络架构已成为决定算力释放效率的关键瓶颈。2026 年，全球 AI 基础设施投入预计突破 6300 亿美元，集群规模从数千卡迈向十万卡级。网络建设已从单纯的线缆与交换机采购，演变为涵盖机柜内、机柜间及园区间的系统性工程：Scale-up 旨在将单机柜或多机柜加速器整合为单一逻辑大机；Scale-out 负责构建万卡级训练集群；Scale-across 则致力于实现跨数据中心的统一计算调度。

01| 训练与推理重塑网络流量模型

训练场景对网络极限性能提出严苛要求。万亿参数模型部署于十万卡集群时，Tensor Parallelism 引发的 AllReduce 通信量单日可达 PB 级。当前诸多部署中的模型浮点运算利用率（MFU）仍停滞在 35%-40%，网络开销、软件效率及掉队节点共同侵蚀了宝贵的 GPU 算力。例如，Meta 在训练 Llama 3 的 54 天内遭遇 400 多次中断；阿里测试的 107 个任务中，43 个受困于通信延迟。

推理场景则面临截然不同的压力。推理需按用户请求连续生成 Token，AllGather 的任何延迟都会直接增加用户等待时间。随着 Reasoning 模型将更多计算移至推理阶段，输出长度可达输入的 10 至 100 倍，导致流量呈现突发性与非对称性。Prefill（处理提示词）与 Decode（生成 Token）阶段分离后，KV Cache 需在不同 XPU 池间频繁迁移。以 Vera Rubin 路线中的 Groq LPX 机架为例，其集成 256 颗 LPU 与 128GB SRAM，提供 40PB/s 内存带宽，此类硬件架构将网络瓶颈推向了对低时延、确定性以及百 Tbps 级 KV Cache 传输能力的极致追求。

02| 机柜内与机柜间架构分化演进

机柜内互联由 NVLink 主导节奏。GB200 NVL72 将 72 张 Blackwell GPU 整合为单一域，总带宽达 130TB/s；Vera Rubin 一代的 NVLink 6 将单卡带宽推至 3.6TB/s，NVL72 总带宽升至 260TB/s。未来，Kyber rack 将支持 NVL72、NVL144 及 NVL576 等多种规模；Feynman 路线更规划了 NVL1152，通过 8 个 Kyber 机柜将 1152 张 GPU 纳入同一 NVLink 域。

开放生态路线同步跟进。UALink 1.0 于 2025 年 4 月发布，联盟成员涵盖 AMD、AWS、谷歌、Meta、微软、英特尔及 HPE 等，硬件预计于 2026 年末至 2027 年量产。基于以太网的 Scale-up 方案正沿 ESUN/SUE-T 路径发展，CXL 继续承担内存池化与一致性扩展任务。多接口并存局面下，服务器厂商需在带宽、延迟、生态锁定与多供应商替换性之间重新权衡布线策略。

机柜间网络重心已发生转移。截至 2025 年中，以太网在新增 AI Fabric 部署中占比超越 InfiniBand，主要得益于成本优势、生态成熟度及多厂商供给能力。InfiniBand 虽仍适用于微秒级低时延紧耦合集群，但在十万卡规模下，其端口溢价将转化为数亿美元的资本开支。xAI Colossus 采用 Spectrum-X Ethernet 连接 10 万张 H100，实现了零丢包与 95% 数据吞吐率，证明以太网凭借 RoCEv2、拥塞控制、路径喷洒及自适应路由技术，已具备胜任训练后端的能力。

交换芯片亦迎来迭代。102.4Tbps 档位首次形成四强竞争格局：博通 Tomahawk 6 已出货，思科 G300 计划于 2026 年下半年交付，英伟达 Spectrum-6 进入生产阶段，Marvell 下一代 Teralynx 于 2026 年上半年采样。买方虽获得议价空间，但软件适配与供应链验证仍需耗费大量工程周期。

03| 光互联推动功耗压力回归架构设计

带宽持续攀升，铜缆受限于传输距离。随着 800G 与 1.6T 技术普及，224G/lane 速率使得铜连接更多局限于机箱、背板及相邻机柜，链路调理、布线密度与散热问题推高了成本。光互联正从远距离 DCI 向交换芯片及封装附近延伸。

光模块形态呈现分层趋势：DSP Pluggable 依托成熟供应链坚守前面板市场；LPO 通过移除重定时器降低功耗；NPO 将光模块移近交换 ASIC；CPO 将光引擎贴合芯片封装；XPO 定义 12.8Tbps 液冷可插拔模块，相当于将 1.6T OSFP 带宽放大 8 倍，目标实现每 Rack Unit 204.8Tbps 的吞吐量。

电力约束正迫使网络跨越单园区限制。预计 2027 年前后 XPU 功耗将突破 4kW，美国数据中心用电占比到 2030 年或升至 8%-12%。当单园区电力容量饱和，400G、800ZR/ZR+ 及更多 DCI 链路将成为连接多园区训练、推理及容灾体系的关键纽带。

04| 可靠性机制从排障转向自愈

在十万卡集群中，故障频发已成常态。单次停顿即意味着昂贵 GPU 算力的浪费，训练任务无法依赖人工排查与整体重启恢复。新型网络可观测性需覆盖三层维度：应用层的 NCCL/RCCL 集合通信耗时、Fabric 层的流量拥塞与路径质量、基础设施层的光模块、线缆、NIC、ECC 及供电健康状态。

Meta 将 NCCLX 集成至集体通信库以精准定位故障，将诊断时间从小时级压缩至分钟级。TorchFT 使训练能够跨越 GPU、NIC 及网络分区故障持续运行；Clockwork TorchPass 结合路径切换与 GPU 迁移，宣称可减少 95% 的训练进度浪费。验证环节也大幅前移：NCCLX 利用 3000 台服务器模拟 9.6 万张 GPU 通信，先在 CPU 环境中测试延迟、丢包及掉队节点，再将算法部署至生产集群。

结语 | AI 网络按机架与园区重构

AI 网络的挑战已从单一端口速度扩展至流量调度、每比特功耗、故障隔离及多园区协同。训练需求对称带宽，推理渴求低时延 KV Cache 迁移，Scale-up 需突破生态锁定，Scale-out 要压低十万卡成本，Scale-across 则需应对电力约束。未来一年，NVL1152、Helios、Spectrum-6 CPO、UALink、ESUN 及 UEC 等硬件将陆续进入验证窗口。谁能有效减少 GPU 等待时间并降低网络能耗，谁将在下一轮 AI 基础设施竞争中掌握核心话语权。

【声明】内容源于网络

半导体产业报告

1234

内容 598

粉丝 1

半导体产业报告 1234

总阅读32.1k

粉丝1

内容598