近日，第三届算力网络与数字经济论坛暨2024年“算力浦江”总结大会在上海召开。本次会议上，跨域异构算力网络实验验证成果发布。在上海市通信管理局和上海市数据局的大力支持下，由中国信通院工业互联网与物联网研究所、泰尔英福、同济大学、上海人工智能实验室、上海新型互联网交换中心牵头，联合上海联通、有孚、沐曦、天数智芯、无问芯穹、华为等多家单位，开展了跨域异构算力网络下的人工智能模型分布式训练实验验证工作。该实验旨在探索有效利用跨地域、架构异构的算力资源的方法，构建聚合零散算力资源的人工智能软件基础设施框架，以提高算力资源可用性和利用率，降低算力资源闲置水平，为实现数据要素跨域流动提供技术支撑。

针对跨域算力资源的联合训练问题，本实验基于通信拓扑感知、资源感知、计算与通信并行的方法，提高算力资源与跨域通信资源的利用率，加速模型训练。此外，本实验基于差异化流水线分割、网状流水线调度、异构流水线非均匀并行等方式构建了负载均衡的模型训练流水线并行方法，进一步提高了异构算力与网络资源场景下的模型训练吞吐率，跨域异构混训效率可达90%。

针对异构芯片的通信闭源不兼容问题，本实验基于现有的底层通信协议，构建统一的通信适配层，利用直接内存访问与CPU辅助中转等方式实现跨生产厂家的智算芯片通信。基于此，本实验实现了异构算力芯片的点对点以及集合通信。本实验完成了跨硬件架构、跨生产厂家的大模型联合训练，打破了传统训练模式下局限于同一厂商的技术栈与解决方案的模型训练常规模式，为统筹利用算力资源提供了更多可能，异构混训效率可达97.5%。

本次实验成果的成功发布是算力基础设施研究领域的重要进展，也标志着跨域异构算力网络应用场景的进一步拓宽。下一步，中国信通院将立足国家东数西算重大战略需求，激活并挖掘潜在的算力资源，为多种类数据要素的跨地域流通持续注入动能。中国信通院将与各合作单位一道，进一步推进多场景下的跨域异构模型分布式训练相关研究，完成相应框架与平台搭建，提升算力资源的利用效率和协同能力，助力构建更加开放、共享、高效的人工智能技术生态体系。同时，中国信通院将持续关注前沿技术的演进方向，深化大规模预训练模型、云计算协同等领域的探索，推动技术成果在产业中的落地应用。未来，中国信通院将携手产业链上下游各方，打造具有国际竞争力的算力基础设施解决方案，为数字经济高质量发展提供坚实支撑，为全球人工智能技术发展贡献中国智慧和力量。

联系人：张素，17621686367

关于“中国信息通信研究院”

中国信息通信研究院是工业和信息化部直属科研事业单位，作为“国家高端专业智库 产业创新发展平台”，中国信通院的科研布局从信息通信业向赋能千行百业拓展，演进形成大通信、大数字化、大安全和新型工业化“三大一新”的研究体系，同步构建了产业全生命周期服务能力，在行业发展的重大战略、规划、政策、标准和检测认证等方面发挥了有力支撑作用。中国信通院是国内信息通信技术领域唯一打通战略与政策、新技术研究、标准研制、试验验证到产业推进的全链条创新平台。

中国信通院积极推动数据技术产业落地，围绕数据基础设施、数据流通关键技术、公共数据开发利用、企业数据可信流通等布局数据要素市场建设，支撑国家战略规划与政策编制，积极开展领域内专题研究，紧密围绕数据核心技术，构建标准化体系，联合产业各方成立行业组织，推动数据行业交流共享。