使用32端口交换机时，胖树网络从千级端点扩到万级，网络直径会从2跳升至4跳；到十万级则升至6跳。
AI和HPC集群建设往往分阶段进行。在节点、机柜和计算任务逐批接入的过程中，网络架构既需预留扩容空间，又要保障数据传输的低延迟与高稳定性。坎塔布里亚大学提出的多路径随机叶脊网络（MRLS），通过随机连接两层交换机并采用受限多路径路由来处理拥塞。该方案在1.6万和10万端点的周期精确仿真中，与胖树（Fat-Tree）和蜻蜓（Dragonfly）网络进行了对比。需注意，以下讨论基于模拟结果，尚未涉及已部署的生产环境。
01 规模扩张下，胖树架构的层级困境
胖树拓扑结构层级分明，路径规整，便于布线规划和路由管理。然而，当原有层级容量饱和后，即使仅增加少量端点，也可能迫使网络增加新的交换机层级。这将导致原本两跳可达的路径被拉长，网络直径随之增加。
图1｜胖树扩容时常需新增交换层，网络直径也会随之增加。
以32端口交换机为例：约千个端点可使用两层胖树，直径为2；扩展至万级端点需改为三层，直径增至4；达到十万级端点则需四层结构，直径进一步升至6。对于分期建设的集群而言，扩容不仅关乎能否接入新机柜，更涉及是否需要停机改造以及路径延迟的增加。
图2｜在32端口示例中，胖树从千级扩到十万级端点时，网络直径由2跳增至6跳。
02 随机连接：在扩展性与运维复杂度间寻求平衡
随机网络提供了另一种思路：打破整齐的层级限制，让交换机之间随机连线。Jellyfish等随机正则图具备良好的可扩展性和高链路利用率，但其路径查找、机柜布局及线缆铺设难度较大。相比之下，随机Folded Clos保留了较规整的路由和布局，却牺牲了部分可扩展性。
图3｜Jellyfish保留效率和扩展性，随机Folded Clos保留路由和布局，二者各缺一块。
MRLS旨在融合上述优势。它维持叶交换机和脊交换机的两层结构，但将叶脊间的连接改为随机模式。新增机柜时，只需将新叶交换机接入现有脊交换机网络，无需为下一层胖树预留整套结构，从而实现了平滑扩容。
图4｜MRLS保留两层叶脊结构，把叶脊链路改为随机连接，并把扩容作为设计目标。
研究引入“Costlinks”概念，即链路总数除以服务器总数，用于衡量相同链路预算下的吞吐性能和任务完成时间。增加链路可缩短平均路径，但会提高成本；MRLS并未消除这一权衡，而是赋予网络在不同链路预算下灵活调整的能力。
图5｜MRLS用每台服务器对应的链路数衡量成本，并在平均路径长度与链路投入之间取舍。
03 偏振路由：可控的多路径拥塞避免机制
随机连接为每对端点提供了多条路径。当发生拥塞时，数据包可经非最短路径绕行繁忙端口。但若任由数据包随意绕行，跳数将失去上限，且需要复杂的控制逻辑。为此，MRLS采用偏振路由（Polarized Routing），将路径方向约束在距离规则内。该机制设定路径长度上界为网络直径的2倍，同时保留最短和非最短路径选项。
图6｜作者为MRLS设置了2D的路径上界，同时允许最短与非最短路径并存。
每个数据包携带两项距离信息：距源端剩余距离和距目的端剩余距离。路由器将可选方向分为最短、扩张、收缩和回退四类。最短方向始终可用；扩张和收缩方向仅在满足特定距离条件时开放；回退方向被禁止。这种机制确保数据包能临时绕开拥塞，同时避免在网络中反复折返。
图7｜扩张和收缩路径受距离条件约束，回退路径被禁止，绕路仍保留方向。
该路由规则需落地至交换机硬件。实现步骤包括：分别查询到源端和目的端的最短路由表，为每个端口打上2比特路径标签，并结合端口占用情况和惩罚项选择下一跳。这并非将随机网络变为无需管理的网络，而是将管理逻辑嵌入路由器的每次选路过程中。
图8｜硬件需要同时识别最短路由、端口路径类型与端口占用，才能在多条路径中选择下一跳。
04 仿真性能分析：通信模式决定拓扑优势
测试基于CAMINOS网络模拟器，采用周期精确模拟，覆盖1.6万和10万端点场景，测试流量包括均匀流量、交换机置换流量、全互连交换（All2All）和全规约（Allreduce）等MPI集合通信。该设置主要用于比较拓扑和路由差异，未完全模拟真实机房中的线缆、故障及部署成本。
图9｜测试采用周期精确模拟，在16k和100k端点下比较随机流量与MPI集合通信。
在10万端点、链路成本为3的对比中，MRLS在均匀流量下的吞吐量接近胖树，而在交换机置换流量下更接近满带宽。这表明，随着流量模式变化，拓扑结构的差异显现：规整的胖树未必能均匀分配所有类型的端点流量。
图10｜100k端点仿真中，MRLS在交换机置换流量下的吞吐高于同成本胖树。
集合通信的结果更具条件性。在10万端点下，MRLS在All2All通信中的完成周期低于胖树；但在Allreduce操作中，并未表现出同等优势。这说明随机多路径对通信性能的改善程度，取决于任务是偏向全互连交换还是依赖规约操作。
图11｜100k端点仿真中，MRLS缩短了All2All完成时间，但Allreduce未显示同样优势。
在1.6万端点的对比中，MRLS在交换机置换流量下的吞吐量约为0.60，高于Dragonfly和Dragonfly+基线；在All2All和Allreduce集合通信中，其完成周期也低于两种对照拓扑。由此可见，集群规模、链路预算和通信模式均会影响结论，单一吞吐量指标无法全面反映网络性能。
图12｜16k端点仿真中，MRLS在交换机置换流量下的吞吐高于图中的Dragonfly基线。
图13｜16k端点仿真中，MRLS在All2All与Allreduce的完成周期低于图中的Dragonfly基线。
结语：扩容能力需与路由能力统筹考量
面对十万级集群的持续扩张，网络设计必须统筹解决三个核心问题：新机柜的可接入性、数据包的拥塞规避能力以及链路预算的可承受性。MRLS将这些要素整合于同一方案中，提供了一条经模拟验证的技术路线，而非现成的生产答案。未来仍需关注真实部署中的布线复杂性、故障处理机制及运维成本，评估这些因素是否会抵消随机连接所节省的层级优势。
