基于DeepSeek开源的DeepEP与Kimi开源的MoonEP,华南理工大学陆璐老师与华为技术团队面向昇腾千卡超节点(Atlas 950 SuperPoD)开展高吞吐通信实践。本次实践围绕超节点高吞吐通信开展协同优化,依托UB互联能力与SHMEM组件,通过减少重复传输、归并与传输并行、优化通信调度等手段实现性能提升。
针对千卡超节点架构下MoE大规模专家并行场景,持续压榨 Dispatch与Combine算子的性能极限:
基于DeepSeek DeepEP的实践:
基于Kimi MoonEP的训练负载均衡实践:
Dispatch:节点级去重,减少跨节点(单节点含8个npu)重复传输。同一份输入可能被多个专家选中。在Ascend 950高吞吐方案中,如果这些专家位于同一远端节点,跨节点先发送一份主副本,再在节点内分发,减少重复流量。面对多个发送方,按组组织任务,结合并行通道与批量提交,减少零散发送,让数据传输持续推进。
Combine:通过双缓冲,实现Reduce与通信回传重叠。专家计算完成后,先对同一输入对应的多份结果进行局部归并,再按数据块回传。两个输出缓冲区交替使用,让上一批结果回传的同时,下一批继续进行Reduce(归并),减少归并与回传之间的等待。
SHMEM:聚合提交,减少下发开销;错峰发送,缓解拥堵。将多个传输任务聚合后统一下发,减少逐条下发的开销;不同设备错开发送时机、轮换目标,减少向同一接收端集中发送造成的拥堵。
DeepEP:
https://github.com/lueelu/DeepEP
MoonEP:
https://gitcode.com/Ascend/MoonEP/tree/dev_server_dedup


