大数跨境
0
0

面向 AI 大模型的智算中心网络演进白皮书(附下载)!

面向 AI 大模型的智算中心网络演进白皮书(附下载)! 云深知网络
2023-05-10
4
导读:ChatGPT 火爆背后的网络故事

AI 网络系列:

ChatGPT 火爆背后的网络故事(1)- 胖树架构
ChatGPT 火爆背后的网络故事(2)- 网络芯片
ChatGPT 火爆背后的网络故事(3)- 谷歌案例
ChatGPT 火爆背后的网络故事(4)- 光交换机

ChatGPT 火爆背后的网络故事(5)- 中国思路

ChatGPT 火爆背后的网络故事(6)- 演化路径


中移动发布全调度
以太网技术架构白皮书
新型智算中心网络展示中国思路


目标明确

也需要脚踏实地

中移动继续发布大模型

智算中心网络演进白皮书


前言

人工智能是数字经济的核心驱动力,AI 大模型是人工智能的新引擎。AI 大模型指通过在海量数据上进行预训练,能够适应多种下游任务的模型,具有强大的泛化能力、自监督学习功能和精度突破性能。其已经在自然语言处理、计算机视觉、气象预报等多个领域取得了令人瞩目的成果。大模型的发展是大势所趋,未来将会助推数字经济,为智能化升级带来新范式。

近年来,随着 ChatGPT 等生成式人工智能(AIGC)的突飞猛进,全球范围内的经济价值预计将达到数万亿美元。尤其在中国市场,生成式 AI 的应用规模有望在 2025 年突破 2000亿元。这一巨大的潜力不仅吸引着业内领军企业竞相推出万亿、10 万亿参数量级别的大模型,而且对底层 GPU 支撑规模提出了更高的要求,达到了万卡级别。 然而,如何满足如此庞大规模的训练任务,对网络的规模、性能、可靠性和稳定性等方面提出了前所未有的挑战。

以 GPT3.5 为例,其训练过程依赖于微软专门建设的 AI 超算系统,由 1 万个 V100 GPU 组成的高性能网络集群,总计算力消耗约为 3640 PF-days。在这种情况下,寻求提供极致高性能网络已成为人工智能领域的重要研究方向之一。

本白皮书将从 AI 业务发展的历程出发,深入研究大模型对网络能力的需求,分析当前网络与业务需求的差距,并探索网络技术发展趋势以弥补这一差距。我们希望,通过本白皮书的研究和分析,为未来面向 AI 大模型的智能计算中心网络发展提供有益的参考和启示。

本白皮书由中国移动研究院牵头编制,联合编制单位:华为技术有限公司、锐捷网络股份有限公司、思博伦通信科技(北京有限公司)、中兴通信股份有限公司、上海云脉芯联科技有限公司、星云智联科技有限公司、中科驭数(北京)科技有限公司、博通公司、是德科技(中国)有限公司、北京大禹智芯科技有限公司本白皮书的版权归中国移动研究院所有,并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的,应注明来源。


对 面向 AI 大模型的智算中心网络演进白皮书 感兴趣的同学点赞和在看,在公众号后台回复“tooyum63”可以获取下载地址。


相关阅读:

P4教程 P4应用

P4可编程网络论文集

P4可编程SDN交换机

Tofino1 | Tifino 2 |Tofino 3

支持TSN标准的DCSG解耦路由器

基于可编程交换机的网络仿真平台

【声明】内容源于网络
0
0
云深知网络
“可能是中国最好的OPEN网络公众号” “嗯,必须是的”
内容 1315
粉丝 0
云深知网络 “可能是中国最好的OPEN网络公众号” “嗯,必须是的”
总阅读1.1k
粉丝0
内容1.3k