大数跨境

你的 GPU,真的在工作吗?

你的 GPU,真的在工作吗? 中国电信人工智能研究院
2026-09-15
2
导读:让 GPU 别偷懒



大型 AI 智算集群里

有个普遍却常被忽视的情况


GPU 被占用

并不等于它在全力工作


在传统资源管理系统中

只要一张 GPU 被某个任务申请

它就被视为“已占用”

但实际大量时间处于空闲状态


因此,成千上万张 GPU

就这样零散的十分钟、半小时

空闲窗口不断叠加

形成了一座规模可观

却一直被闲置的虚拟算力池


为了将这些闲置算力充分利用起来,中国电信集团 CTO、首席科学家、中国电信人工智能研究院(TeleAI)院长李学龙教授带领团队,创新研发了一套“算力流动”技术,把计算任务和数据通过集群高速网络快速搬运到正处于空闲窗口的 GPU 上,让任务主动向算力,而不是让算力空等任务从而突破 GPU 静态绑定的限制


原本零散、无法单独承接大任务的碎片算力,被网络编织成一个可以统一感知、统一调度的整体,随时随地都能被高效""出来投入使用。




在传统 GPU 管理系统中只要一张 GPU 分配某个任务它就被视为已占用算力流动技术从“资源是否被分配”升级到“资源是否真正参与计算”通过秒级频率采集 GPU 利用率和任务状态,精准识别空闲时间窗口。


当占用了资源的任务经过保护期后仍持续低利用,这部分资源就会被纳入虚拟算力池,以供新的弹性任务使用。



这些资源的归属关系并不会改变:新的弹性任务可以暂时使用它们,一旦原任务重新需要计算,弹性任务便让出资源,GPU 重新回到原来的业务。


于是,一张 GPU 在一天之中可以同时承担两种角色:它首先服务自己的核心业务,同时利用原本被浪费的时间,为其他弹性业务提供计算能力。


算力服务器没有凭空增加,但有效算力增加了



单张 GPU 的短暂空闲看似微不足道,但当集群规模达到数百、数千张 GPU 时,各个任务的空闲时段交错出现,几乎任意时刻,都存在可调用的空闲算力。


在这种规模效应下,TeleAI 构建了一个弹性、动态变化的虚拟算力池。



算力流动技术持续跟踪这些时间窗口的变化,为弹性任务动态分配合适的资源和时间窗口,并通过支持弹性任务迁移,让资源的动态变化对弹性任务的影响降到最低。


算力流动不再以整张 GPU 作为调度最小单元,而是创新地把调度粒度进化为:一张 GPU × 一段可利用的时间窗口。


更进一步,传统 GPU 管理系统,弹性任务资源被回收后会被中止,导致业务中断甚至数据丢失;而算力流动技术通过弹性任务迁移和碎片整理,让弹性任务持续追逐动态出现的 GPU 时间窗口,将大量不可直接使用的碎片算力组织成稳定、可消费的虚拟算力池,最大程度保证弹性任务的业务连续性。 


在一个由 13 台服务器组成的小规模集群实测验证中:仅仅一周,就挖掘出超 1600 卡时的新增弹性算力。这些算力全部来源于过去被浪费的时间碎片,无需添置硬件,拥有极低的成本。



虚拟算力池所提供的算力有一个天然特点:


成本低廉,但资源随时可能被收回。


它不适用于长周期不间断模型训练,却非常适配可中断、可恢复的计算工作:算法调试、批量数据处理、模型效果评测,以及当下快速增长的 Token 生产业务。


借助算力流动,Token 生产任务可以跑在一个个碎片化 GPU 时间窗口之上。曾经毫无产出的空闲时间,转化为实打实的 AI 产能。



不止局限单一集群。当算力流动能力跨越多地数据中心,不同地域、不同集群的碎片算力能够汇聚一体。


弹性任务跟随空闲算力走,计算任务优先流向电价更低、绿电更充沛的节点。算力就此跳出静态硬件资源的定位,转变为可感知、可调度、精细化运营的新型生产资料。





获取算力

并非只有

采购更多 GPU

这一条路径


算力流动技术

给出全新解题思路


不新增一张 GPU

盘活集群内部

海量闲置的碎片算力


保障原有

训练、开发、在线业务

不受干扰

同时唤醒沉睡算力

承接数据处理、Token 生产等

离线弹性任务


让每一张 GPU

创造更大价值




图片


【声明】内容源于网络
0
0
中国电信人工智能研究院
中国电信人工智能研究院(TeleAI)面向国家战略需求和人工智能发展趋势,结合中国电信在算力、数据、场景及通信等多方面的优势,围绕重点方向开展基础研究、技术攻关和应用落地,旨在打造人工智能研发与产业转化标杆性平台,构建人工智能人才高地。
内容 105
粉丝 0
中国电信人工智能研究院 中国电信人工智能研究院(TeleAI)面向国家战略需求和人工智能发展趋势,结合中国电信在算力、数据、场景及通信等多方面的优势,围绕重点方向开展基础研究、技术攻关和应用落地,旨在打造人工智能研发与产业转化标杆性平台,构建人工智能人才高地。
总阅读2.2k
粉丝0
内容105