大数跨境
0
0

华为:星河 AI 网络白皮书

华为:星河 AI 网络白皮书 云深知网络
2023-09-21
2
导读:以太网技术将成为 AI 大模型训练网络技术的必然选择

前言

(略)

本白皮书旨在深入分析 AI 大模型训练对网络的新需求,探索网络技术发展新方向,为构建面向 AI 大模型的高性能训练网络提供参考。我们将从大模型训练的发展历程和业务需求角度出发,分析网络与其应用之间的差距,并探索如何通过技术创新优化网络,以便更好地服务于大模型训练。

摘抄

通过对 AI 系统成本的分析,得出计算部分占比超过 70%,网络占比仅有 8%,然而看似在成本上不起眼的网络,却在 AI训练的端到端时间中,占据重要地位。注释:天将降大任于网工也,必先苦其心志,劳其筋骨,饿其体肤,空乏其身)

展望

本白皮书从 AI业务的发展趋势,网络架构和关键技术创新三个方面,开展了相关研究,旨在展示星河 AI 网络在业界人工智能产业的技术领导力和影响力。AI 模型从万千小模型走向了百模千态的大模型时代,通过深入分析大模型训练对网络的新需求,探索如何通过网络架构和技术创新,使 AI 大模型训练训得快、训得稳,总结网络技术发展新方向,为构建面向 AI 大模型的高性能训练网络提供参考,以期抛砖引玉,更盼得到更多同行的参与和讨论。

随着大型模型训练网络的发展,我们可以预见以太网技术将成为 AI 大模型训练网络技术的必然选择,未来的研究将集中在探索更加高效、智能、灵活、安全和可解释的模型训练技术和方法,以实现更加广泛和深入的应用场景,推动人工智能技术的发展和进步。

总的来说,未来 AI 大模型训练网络的发展离不开合作和共赢。我们期盼与众多合作伙伴一起,推动技术的发展和应用场景的拓展,实现人工智能技术的可持续发展和社会的共同繁荣。

本白皮书的版权归华为和中国信息通信研究院云计算与大数据研究所所有,并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的,应注明来源。

对 星河AI网络白皮书 感兴趣的同学点赞和在看,在公众号后台回复“tooyum102”可以获取Preview地址。

AI 网络案例集

一、形而上:

ChatGPT 火爆背后的网络胖树架构

面向 AI 大模型的智算中心网络演进白皮书

天下苦 IB 久矣,全新超以太网联盟 UEC 横空出世

最新网络架构研究可将大型语言模型训练网络成本降低 75% !

二:海外篇

谷歌:谷歌OCS光交换大功告成

Meta:什么档次,RoCEv2还满足不了你的 AI 训练需求?

特斯拉:股价突涨,Dojo超级计算机自带网络黑科技!

三:国内篇

阿里:灵骏智算

百度:可能是全网更好的智算中心网络架构设计白皮书

腾讯:星脉高性能计算网络为AI大模型构筑网络底座

中国移动:中国移动发布全调度以太网技术架构白皮书

英伟达投资网络交换芯片公司Enfabrica

通用服务器已死,AI 当立,决战网络,天下大吉!

受伤的总是我?英特尔特供中国版 AI 芯片减少 RDMA 网络接口

【声明】内容源于网络
0
0
云深知网络
“可能是中国最好的OPEN网络公众号” “嗯,必须是的”
内容 1315
粉丝 0
云深知网络 “可能是中国最好的OPEN网络公众号” “嗯,必须是的”
总阅读928
粉丝0
内容1.3k