本公众号部分分享的资料来自网络收集和整理，所有文字和图片版权归属于原作者所有，且仅代表作者个人观点，与本公众号无关，文章仅供读者学习交流使用，并请自行核实相关内容，如文章内容涉及侵权，请联系后台管理员删除。
来源：ZebrAl
智算之脊 / AI网络拓扑架构的演进 博弈与未来
全文约4800+字 预计阅读时长13min
引言：网络即算力
当大模型参数规模突破万亿、训练集群从万卡向十万卡级别演进，AI计算对网络的需求已从“高带宽”升级为极致低时延、无阻塞高性能、高稳定性与高性价比等核心指标。网络已不再是传统的数据传输管道，而是升级为“智算之脊”，直接决定算力释放的效率。
Meta在训练Llama 3过程中，使用16,384张NVIDIA H100 GPU集群，在54天的全天无间断训练期间出现了419次意外故障，平均每3小时就有1次。xAI已搭建超过10万GPU的算力集群。在这样的规模下，网络拓扑架构的设计已从“锦上添花”变为“生死攸关”。
本文将深入剖析AI网络拓扑架构的核心问题：从传统三层Clos到多平面胖树（MPFT）的演进逻辑，从Scale-Up到Scale-Out的双轨并行，从InfiniBand到以太网的协议博弈，以及光互联、可重构网络等前沿方向。这是一场关于如何将网络打造为算力倍增器的系统性技术探讨。
AI通信变化：为什么传统网络撑不起大模型
从“南北向”到“东西向”的流量革命
传统数据中心网络的经典三层架构——核心层（Core）、汇聚层（Aggregation）、接入层（TOR）——主要承载的是南北向数据流量。而AI集群的兴起催生了全新的“东西向后端”层级，该层级以高带宽、低延迟为核心需求，专门支撑GPU间密集的数据交互。
这一转变并非渐进式的量变，而是根本性的质变。大模型训练，尤其是MoE（混合专家）架构，具有极强的全网全互联（All-to-All）特征：每个专家需与所有其他专家进行高频数据交换。这种通信模式对网络拓扑提出了前所未有的挑战。
传统三层Clos的三大死穴
传统数据中心网络多采用三层Clos（Core-Spine-Leaf）架构，虽能扩展至数万节点，但在AI场景下暴露了三大核心矛盾：
第一，时延瓶颈。 三层架构跨Pod通信需经过“Leaf→Spine→Core→Spine→Leaf”共5跳转发，时延较高。而MoE架构存在大量All-to-All小消息交互，不同卡间高频通信对网络时延提出极致要求。在分布式训练中，计算与通信很难完全掩盖，通信时延直接决定了并行计算的规模上限。
第二，负载均衡复杂度高。 三层架构需同时解决Leaf-Spine、Spine-Core两级负载均衡问题，ECMP哈希冲突现象突出，易引发链路拥塞、带宽利用率不均。负载均衡不合理进一步降低网络有效吞吐，导致通信时间无法被计算时间掩盖，最终造成端到端推理或训练性能劣化。
第三，建设成本高。 三层架构需部署大量高端Core交换机，约半数Spine端口需接入Core交换机以实现规模扩展，导致端口利用率偏低。同时，Spine-Core之间需部署大量光互连模块，若跨楼栋部署，还需采用支持2km传输距离的FR光模块，网络建设成本居高不下。
十万卡时代的“不可能三角”
当集群从万卡向十万卡级别演进，传统架构面临的已不仅是性能问题，更是经济性问题。高性能、低成本、可扩展——这三者在传统三层架构中形成了一个难以调和的“不可能三角”。业界亟需一种既能降低时延、简化负载均衡，又能大幅控制成本的新型组网架构。
MPFT的崛起：多平面胖树如何重构AI网络
一个架构的诞生
2025年，DeepSeek在论文中正式提出多平面胖树组网（MPFT, Multi-Plane Fat-Tree），以两层架构实现三层规模，迅速成为业界主流技术路线。头部OTT厂商已逐步推动大规模智智算集群向多平面组网演进，并充分论证了该架构在性能、成本与扩展性上的全面优势。
MPFT的核心思想并不复杂：将原本垂直堆叠的三层结构“拍扁”为多个并行的平面，每个平面内部采用两层胖树拓扑，平面之间通过上层互联实现全局连通。这一看似简单的拓扑变换，却在时延、成本和负载均衡三个维度上带来了质的飞跃。
三层vs多平面：一组数据看懂差距
以128K 400G接入的XPU集群为例，三层组网与4平面组网均能支持128K集群规模，但两者差异显著：
时延：三层架构跨Pod通信需5跳转发；MPFT将跨平面通信压缩至3跳，平面内通信仅需2跳。
成本：三层架构需部署大量高端Core交换机，端口利用率偏低；MPFT消除了Core层，大幅减少了高端交换机和光模块的部署数量。
负载均衡：三层架构需解决两级负载均衡；MPFT仅需处理单级负载均衡，ECMP哈希冲突概率大幅降低。
轨道优化：让每一根光纤都物尽其用
MPFT的工程落地离不开“轨道优化”（Rail Optimization）这一关键技术。当前智算集群内采用的组网是“轨道优化”或“多轨道网络架构”，连接方式与一般云计算场景差别巨大。
以适用性最高的Fat-Tree CLOS组网架构为例——这也是各大智算公有云的首选方法，具有非阻塞的All-to-All连接——Leaf/TOR交换机被称为轨道交换机（Rail Switches），它们与所有集群单元内的GPU节点都建立了直接连接。
轨道优化的设计逻辑来自于对集合通信库（如NVIDIA NCCL）通信特征的深度适配。NCCL自2.12版本起引入了PXN功能，利用节点内GPU之间的NVSwitch连接，首先将数据移动到与目的地位于同一轨道上的GPU上，然后将其发送到目的地而无需跨轨道传输。
轨道优化拓扑正是适应这一通信特征，将不同服务器上位于相同位置的NIC连接到同一台交换机上。由于每个服务器有多张连接计算平面的网卡，整个计算网络被从物理上划分为多个独立并行的轨道。由此，智算业务产生的并行通信需求可以用多个轨道并行地传输，其中大部分流量都聚合在轨道内（只经过一跳），只有小部分流量才会跨轨道（经过两跳），大幅减轻了大规模集合网络通信压力。
轨道优化聚合了同一对NIC之间传递的消息，得以最大限度地提高有效消息速率和网络带宽。反观NCCL 2.12之前，同样的端到端通信需要经过三跳交换机，可能导致链路争用并被其他流量拖慢。
Scale-Up与Scale-Out：AI集群扩展的双引擎
两种扩展，两种哲学
AI集群的扩展架构可划分为两个正交的维度：横向扩展（Scale-Out）与纵向扩展（Scale-Up）。
横向扩展（Scale-Out） 依赖Clos层级、叶脊（Leaf-Spine）、网状（Mesh）等灵活的网络拓扑，通过增加节点数量实现规模扩张。MPFT、胖树等均属于这一范畴。Scale-Out解决的是“如何将更多GPU连在一起”的问题。
纵向扩展（Scale-Up） 则聚焦硬件直连性能，以GPU、CPU与内存间的链路优化为核心，通过提升单域带宽满足AI计算对数据传输的极致需求。NVLink、UALink等属于这一范畴。Scale-Up解决的是“如何让一组GPU更快地通信”的问题。
Scale-Up的技术底座
支撑Scale-Up的核心互联技术已形成多厂商布局：
NVIDIA NVLink及增强版NVLink Fusion是GPU间高速直连的主流方案。
Celestial AI的Photonic Fabric引入光子技术，突破传统电信号带宽瓶颈。
Broadcom的SUE在以太网架构下构建纵向扩展框架。
UALink联盟推出的UAL成为加速器专用的高速互联标准。
工程落地的残酷现实
Scale-Up的拓扑设计需围绕“GPU数量-链路数-交换机基数”三者的平衡展开。然而，工程落地中的挑战远超理论设计。
以数据中心L10/L11层级的基础配置为例，36个GPU需分配288条总链路（即每GPU 8条链路）。当GPU数量提升至144个时，总链路需求激增至10,368条。机械层面，机架的高度、深度、重量及功耗限制直接约束链路密度。信号完整性是另一大瓶颈：212G PAM4信号在12英寸PCB上的损耗达15.24dB，2米27 AWG铜缆损耗达17.75dB。
光纤虽损耗极低，但可插拔光模块的成本与可靠性却难以平衡——以288 GPU集群为例，需4,608个OSFP模块，总成本高达1,800万美元，且平均无故障时间仅9天，远低于无源铜缆的500万小时。
InfiniBand vs 以太网：Scale-Out的路线之争
性能王者的壁垒
目前Scale-Out主流的InfiniBand架构，由NVIDIA旗下Mellanox主导，拥有原生的RDMA（远程直接内存访问）协议。其数据传输不需要如传统TCP/IP协议那样经过CPU参与，因此可达到极低延迟（<2μs）。此外，InfiniBand还拥有在链接层的基于信用的流量控制机制，确认接收方有可用空间才传输数据，确保零丢包风险。
然而，InfiniBand的代价同样显著：生态系相对封闭，采购、运维成本较高，硬件成本约为以太网交换机的3倍。
以太网的绝地反击
2025年6月，超以太网联盟（UEC）发布UEC 1.0，通过重构网络层级，实现媲美InfiniBand的极致效能。这一事件标志着以太网在AI Scale-Out领域发起总攻。
以太网的优势在于开放生态与显著的成本优势。RoCE（RDMA over Converged Ethernet）正是在标准以太网基础上构建的RDMA扩展。然而，RoCEv2在异构混合训练场景中存在负载均衡与拥塞控制缺陷。
第三条道路
业界正在探索超越二选一的第三条道路。联想提出的RNL技术，通过多维感知、路径负载均衡优化与增量流量迁移，有效解决了AI训练与推理场景中RoCE网络负载均衡的长期难题。其核心创新在于融合AI业务通信带宽与时延评估算法，结合多维链路拥塞评估机制，实现对AI负载的精准调度与网络路径的智能编排。
更重要的是，RNL基于通用RoCE交换机实现AI网络优化，无需绑定专用硬件，显著降低了部署成本。
下一代网络拓扑：从静态到可重构
Cube：扁平化的极致
清华大学NASP实验室在发表于SIGCOMM 2025的论文中提出了一种新型超平面组网架构ZCube。其核心设计是：每台GPU服务器配置多个多端口网卡，不同的网卡端口连接不同层的交换机，跨层交换机之间全连接。
智谱落地ZCube架构后，以完全扁平化的GPU互联方式，通过“单轨+多轨”混合接入的扁平化拓扑设计，确保全网任意两张GPU有且仅有一条存在唯一最优路径，从而在架构层面实现了网络流量的理想负载均衡。这一创新被SIGCOMM 2025评价为“显著改变整个行业对网络的认知方式”。
实际效果同样惊人：在不新增或更换任何GPU、服务器，且软件栈与业务代码零改动的前提下，成功将集群推理吞吐提升了15%以上，TTFT P99尾时延降低了40.6%。所需的交换机与光模块硬件成本较传统方案节省了33%——在万卡规模下，仅网络硬件一项即可节省投资约2.1亿至6.4亿元。
OCS与可重构网络
传统数据中心依赖静态的、电交换的网络架构。而光电路交换机（OCS）使能的网络正在改变这一格局——OCS可以在故障时增强弹性，并实现动态拓扑重构。
MixNet系统在分布式MoE训练中解锁了拓扑运行时重构能力。通过OCS实现区域可重构的高带宽域，在保持快速适应性的同时实现了可扩展性。ACTINA框架则为评估大规模AI系统中的可重构网络提供了定量方法，指导OCS和链路技术的选型。
光电融合：从趋势到现实
光交换技术凭借超大带宽、超低延迟、低功耗，正与电交换形成互补的“光电协同”架构，成为新一代智算中心网络的重要方向。多家机构联合发布的《智算中心光电协同交换网络全栈技术白皮书》系统梳理了光电协同网络的发展背景、协议栈优化路径和资源调度策略。
在光互联的另一条路径上，共封装光学（CPO）技术正在加速落地。2025年3月，NVIDIA率先为其InfiniBand和以太网交换机推出200G/通道的CPO产品。NVIDIA指出，相对于传统云数据中心，AI工厂消耗的光学功率约为前者的17倍，这主要是因为GPU集群需要数十个光收发器与其他GPU通信。CPO技术将光模块与交换芯片共封装，能大幅降低成本和功耗。IDC预测，2025—2026年将是CPO试点部署的关键窗口。
未来趋势：协议开放化、硬件光电化、范式自治化
协议开放化
中国信息通信研究院的研究表明，未来发展趋势将面向协议开放化、硬件光电化与范式自治化的协同创新，通过跨层设计突破单维度优化局限，为超大规模AI集群提供高性能、低能耗的互联支撑。
超以太网联盟UEC 1.0的发布只是开始。随着开放协议的持续演进，以太网在AI领域的市场份额预计将持续扩大。但InfiniBand凭借其成熟的网络堆栈与高效的拓扑优化，仍将在超大规模AI训练中占据重要地位。
硬件光电化
从CPO到OCS，从硅光子到全光网络，硬件的光电化是不可逆转的趋势。这不仅仅是技术路线的选择，更是物理极限的倒逼——当电信号的传输速率逼近材料物理极限时，光将成为唯一的出路。
范式自治化
AI与网络的深度融合正在催生新的范式——网络不再是被动的传输管道，而是具备自治能力的智能系统。从AI驱动的拓扑设计到网络智能体的自主决策，范式自治化正在重新定义网络的设计、部署和运维方式。
中国工程院院士邬贺铨指出，全球IP流量2025年月均1.1ZB至1.3ZB，预计2030年将达到5.5ZB至7ZB，年增速60%至90%，其中AI智能体流量占总流量60%。“超大带宽、低时延、高算力需求倒逼互联网架构全面转型。”
结语：网络即算力，架构即战略
OpenAI联合NVIDIA、AMD、Intel、Microsoft、Broadcom等五大巨头发布了MRC协议，并已部署于其最大规模超算集群。几乎在同一时期，智谱落地ZCube。两大领先模型厂商同时动作，共同印证了网络已成为超大规模AI基础设施竞争的新战场。
如果把智算网络类比为交通网络，组网架构相当于道路系统，网络协议相当于交通调度系统。任何交通调度系统都是建立在设计与规划好的道路系统之上的。对于一个设计欠佳的道路系统，再好的交通调度系统也会遇到重重困难。同理，任何智算网络协议，也只有在设计良好的智算集群组网架构上，才能达到更好的效果。
从三层Clos到多平面胖树，从InfiniBand到以太网，从静态拓扑到可重构网络——每一次架构演进背后，都是对算力释放效率的极致追求。在这场AI基础设施的竞赛中，网络已不再是配角。它是智算之脊，是算力的倍增器，是决定万亿参数模型能否高效训练的关键命脉。
网络即算力，架构即战略。 这或许是AI时代数据中心网络最简洁、最深刻的注脚。