一线故事 | 三个不相信：他们在零下20度建起万卡集群

零下二十度的坚守：三个不相信

2024 年 11 月，内蒙古和林格尔项目现场寒风刺骨。办公区墙上，一面党旗旁悬挂着三幅标语：“不相信有完成不了的任务”、“不相信有战胜不了的敌人”、“不相信有解决不了的困难”。这成为团队此后四个月的精神支柱。

项目初期，气温骤降至零下二十度，室内冷如冰窖。即便身穿保暖服，工程师们仍手脚僵硬，呼出的白气在设备上凝结成霜。面对极端环境，团队毫无怨言，展现出极强的凝聚力。

机房内的挑战更为严峻。GPU 服务器散热系统启动后，冷热通道温差高达数十度：冷通道寒气逼人，热通道温度近四十度。工程师需频繁切换厚重羽绒服与短袖，体力消耗极大。此外，数千台服务器风扇轰鸣，噪声堪比飞机引擎，作业人员不得不佩戴工业耳罩，仅靠手势交流。

万卡集群攻坚：毫厘之间的较量

作为承载大模型训练需求的万卡级 GPU 集群项目，其算力规模在国内极为罕见，技术压力巨大。其中，布线工程是最艰难的关卡。

极致精准的布线工程

串联万卡涉及近 7 万只光模块、4 万余条光缆，任何端口或光路的细微差错都将导致整体失败。最终形成的布线表装订后厚达一本，工程师深知“一个端口接错，全盘皆输”。

零损耗的网络要求

紧随其后的是光模块检测。灰尘、弯折、损耗等微小问题均可能导致丢包，而客户的核心要求仅有二字：无损。团队在高压下严防死守，确保网络性能达标。

实干铸就新路：从理论到实践

在项目最艰难时刻，团队负责人重温“三个不相信”精神，激励全员奋战。四个月内无人请假，即便带病也坚持轮休后即刻返岗。最终，项目顺利通过终验。团队成员坦言，最好的奖赏不过是“好好睡一觉”。

短暂休整后，这支队伍立即奔赴新战场：四个机房、三千张卡、三家厂商组网调试，再次从零起步。回顾这段经历，大家深刻体会到：“只有动手干，才能闯出新路子。”无论是组网架构、光模块参数还是线缆规划，纸面理论终究需经实地验证。唯有亲历零下二十度的机房，亲手插拔光纤、打通链路，才能真正理解“无损网络”与“万卡集群”的内涵。

标语依旧高悬，人员虽有更替，但“三个不相信”的精神将在一线代代相传。