大数跨境

卡堆到 42 个万卡集群了,0.1% 的丢包让我把报告读了两遍

卡堆到 42 个万卡集群了,0.1% 的丢包让我把报告读了两遍 AI观隅-智录
2026-11-17
0
导读:【1】0.1% 那个数,我第一遍没读懂11 月 15 日北京,第八届中国超级算力大会(ChinaSC2026)

【1】0.1% 那个数,我第一遍没读懂

11 月 15 日北京,第八届中国超级算力大会(ChinaSC2026)暨中国智能计算产业联盟理事会年会,主题"智算力 大模型 新经济",议题里有 AI 推理算力布局、算电协同、AI 智慧社区。会上发布《万卡级智算集群网络技术发展与国产化研究报告》,说是首份聚焦万卡级智算集群网络技术发展的研究报告。我没去现场,是第二天把报告里几页打印出来摊在桌上,拿本子一行行抄,桌角还压着早上没喝完的半杯水。

抄到 MoE 大规模并行训练那行停住了。报告原文写,仅 0.1% 丢包就使 GPU 利用率下降 13%;丢包率到 1%,GPU 有效计算时间已不足 5%;在 1.6 万卡以上集群,网络拥塞造成的浪费周期达 35–42%。第一遍没读懂,0.1% 听着像可以忽略的零头,怎么就吃掉一成三。我又倒回去读了一遍,才反应过来这说的是上万张卡一起干活时的账,不是单台机器掉了几个包。

这个数我不敢全信到照单全收,毕竟是报告里的测算,我没条件自己复现;但它把我的注意力从卡上挪开了,这一点倒挺确定。页边我先写了个问号,后面几页大概得回答它。

【2】42 个集群摆在那儿,卡多不等于算力多

报告里另一组数我抄得慢:截至 2025 年底,全国已建成 42 个万卡级智算集群;"万卡级"逐渐成为下一代 AI 基础设施的起始配置;2026 年 7 月,国内首个全链路国产化的十万卡级 AI 超级集群"曙光8000(登峰)"在郑州落地投运。报告的说法是,"算力竞争"的内涵发生根本变化,从单纯算力进入整体效率阶段,国产化进入深水区,超大规模智算集群的建设能力与运营水平,成为衡量一个国家人工智能核心竞争力的重要标尺。

同日还发布了连续 25 年的"中国高性能计算机性能 TOP100 排行榜",国家超算深圳中心"灵晟"第一,今年 6 月德国汉堡 ISC2026 全球超算 TOP500 也登了顶;中科曙光获评"2026 中国算力领军企业",自研 scaleFabric 高速网络入选"2026 中国算力应用典型案例"。这些名头我照着记,没去硬换算成什么高低。

倒是有一句我写在页边:卡堆到 42 个万卡集群,稀奇的已经不是卡数了。上证报、中国经济网 11/10 那篇讲算力网建设须"协同发力",我翻过没太往心里去,这回跟 0.1% 那行摆一起才对上。把 35–42% 挪到这组数旁边看,也有点讲得通——上万张卡要一起干活,先得让它们把话说明白。卡多不等于算力多,这句我落笔时留了余地,没敢写死,毕竟 42 个是截至 2025 年底的存量,后面还在加。

【3】十万卡集群,光链路就 10W+ 条

报告里算过一笔故障账,我抄的时候手顿了一下:曙光8000 十万卡集群高速链路数量 10W+,按单条链路每小时故障概率估算,整个集群每小时约出现 2.7 次链路传输错误;需要毫秒级链路故障切换,而且恢复时间不随集群规模增长而增长。前面那个 0.1%、35–42% 忽然有了着落——不是网络偶尔抖一下,是它一直在抖,只是机器少的时候没人留意。

曙光8000(登峰)的工程细节也在同一份材料里:约 30 亿颗元器件、1600 公里互连线缆,覆盖 FP64 至 INT8 全精度算力,把高精度科学计算与低精度 AI 训练融为同一系统;投入运营以来日均处理作业超 15 万个,支撑 300 余个重点应用深度优化,覆盖 30 多个科研与产业领域,里面列了多个国产大模型万卡级训练、高通量推理,以及气象预测、分子动力模拟、数字孪生脑等 AI4S 场景。30 亿颗这个数我没去硬换算,记下来就完了。

我把"10W+""2.7 次"和"15 万个作业"抄在同一行,没并到一处算。这么大一套东西,坏不坏、多久修好,好像比峰值算力更常被人问起——至少那天我是先翻到这一页的。

【4】高速互联不是"网卡加交换机"

中科曙光高速网络互联产品部总工程师万伟在会上讲的那组参数,我抄了大半页:端口密度 80×400G,交换容量 64Tb,端到端时延控制在 0.9 微秒以内,链路故障恢复毫秒级,组网综合成本较传统方案降低约 30%;配套 FabricView 管理平台可集中纳管百万量级设备、端口与光模块,把故障定位与恢复从人工驱动转向智能驱动,故障修复时间从小时级压缩到分钟级。0.9 微秒我读了两遍才敢往下抄,怕少看个小数点。

万伟有句话我更在意:高速互联不是"网卡+交换机",至少横跨 Scale-Up(超节点内紧耦合)与 Scale-Out(超节点间组网)与跨域协同;设计必须进入系统架构层面,统筹供电、散热、高速信号可靠性、布线成本、可维护性。大会同期,中国智能计算产业联盟联合中科曙光等发起"词元经济产业联合实验室",开展技术测评与标准建设。

顺着这条线,11 月 16 日中国经济网《人工智能创新生态"聚光成炬"》里那几处就不难读:芜湖市大数据公司已建成全国首个"五算合一"省级算力统筹调度平台,打通算力供给和场景应用全链条;今年 9 月落地的华为云芜湖 3D 数据中心是全球首创 3D 立体架构 AI 数据中心,单栋楼宇可支撑十万卡级 AI 超节点集群,采用"分层解耦、立体堆叠",电力、制冷、IT 三套系统独立迭代升级,为的是化解 AI 芯片快速迭代带来基础设施反复改造的痛点。

同一篇里还写着,中国电信安徽智算中心规划部署 16000 个中高密度机架、可容纳 30 万台服务器、首期智算规模 100P,合肥—芜湖双向高速算力专线接入了那个省级调度平台。鹏城实验室主任、北京大学博雅讲席教授高文说,我国算力网建设仍面临算力供给、超宽带网络、跨域调度、算电协同、数据安全等多重挑战,分算力汇聚、任务调度、协同计算三阶段推进,目标是让算力像电力一样跨地域按需调用。

【5】11 月这一串,钱好像在换地方

11/6 中国移动宣布 2027 年计划算力投资超 1000 亿元,董事长陈忠岳说"算力是中国移动投资的最大增量",在建成多个万卡集群基础上正布局多个超大规模计算集群,未来两年智算能力连续翻番;中国移动还把"词元"确立为继语音、短信、流量之后的第四代核心经营计量单位。11/2 大华股份公告,子公司浙江华启智慧中标"中国移动 2026 年至 2027 年新一代人工智能超节点设备集中采购项目",金额约 26.3 亿元,是中国移动 AI 超节点采购史上规模最大的一次招标,参与投标的五家厂商全部指向国产算力生态。

这几条日子挨着,可口径不是一个:42 个是截至 2025 年底的存量,1000 亿是 2027 年的计划,26.3 亿是 11/2 的一纸中标公告,我没把它们并成一个数,各记各的。真要算总账,我算了一下又觉得没必要,隔着年份和口径,硬加出来的数自己都不信。

报告原文和会上材料里另列了几把尺子:液冷渗透率从 2024 年的 8% 提升至 2026 年的 35%;构建和运营一个万卡级别智算中心成本至少 20 亿元以上;EpochAI 追踪数据显示,全球顶尖 AI 集群算力性能每 9 个月翻一番,采购成本和电力成本每 12 个月翻一番。翻倍这种账,落到我这两天看的那几个集群上,一时半会儿对不上。

上证报、中国经济网 11/10 那篇里还给了一组成本结构:数据中心基建期大致是土建:机电:IT 设备 = 1:5:30,进入运营期后电费占运营总成本五到六成;算力中心建设仅需 4–5 个月,而配套变电站审批需一年半,"算力等电"时有发生——这行我只记了一句,没往下展开。11/5 国家能源局公示"人工智能+"能源试点项目清单,93 个项目纳入跟踪管理,我也只抄了个数。

【6】本子上记了三条,是给自己下次看材料用的

头一条我写的是:别只数卡、别只盯峰值算力,看有效产出与线性加速比。中国移动智算中心(呼和浩特)节点部署约 2 万张 AI 加速卡,通过万卡高速互联与软硬全链路监控把集群线性加速比提升到 90% 以上,模型训练最长无中断时长达 22 天,底层异构集群由九天人工智能平台纳管,这几句是内蒙古网信办材料里的。2 万张卡不算最多,可 90% 和 22 天摆在那儿,比卡数耐看。

另起一行,我记了网络与运维那本账:0.1% 丢包掉 13% 利用率、1% 丢包时有效计算时间不足 5%、1.6 万卡以上浪费 35–42% 周期、十万卡集群每小时约 2.7 次链路错误。这几个数我后来是连着看的,单拎一个都不太说明问题,放一起才知道瓶颈挪到哪儿了。

还有一条,写的是钱从买硬件挪到哪了:2027 年超 1000 亿、26.3 亿超节点集采、电费占运营五六成,加上"词元"被立成继语音、短信、流量之后的第四代计量单位,卖的好像正从硬件变成算力服务与 Token。写到这儿我在页边补了一句:卡多不等于算力多,这回没留余地。前半本子记的都是卡,后半本子记的都是卡与卡之间怎么说话,我自己翻着也觉得有点意外。

那天收摊前我把几页材料按顺序夹好,没写什么收尾的话。你翻一份集群材料,最先找的是卡数,还是组网和运维那几笔账?想接着聊的,回复关键词「组网」。


【声明】内容源于网络
0
0
AI观隅-智录
一个新AI时代人员的观点见闻摘录
内容 21
粉丝 0
AI观隅-智录 一个新AI时代人员的观点见闻摘录
总阅读648
粉丝0
内容21