大数跨境

每天耗电50万度:我们会养不起AI模型吗?

每天耗电50万度:我们会养不起AI模型吗? 有锂数
2024-05-14
0
导读:点击上方「蓝字」关注我们AI模型...涉及大量的矩阵运算和并行计算。这些计算不仅需要大量的处理器核心,还需要

点击上方「蓝字」关注我们


AI模型...涉及大量的矩阵运算和并行计算。这些计算不仅需要大量的处理器核心,还需要高速的内存和存储系统支持,从而产生了巨大的能耗


新一代电老虎

AI模型的使用已经进入的普通人的工作,学习和生活。以OPEN AI为例,截至2023年12月,ChatGPT拥有约1.8亿用户。


而其每天需要处理的请求数量庞大,数据显示,ChatGPT每天响应的请求在1.95亿到2亿次之间。国际能源署(IEA)报告中指出,ChatGPT响应一个请求平均耗电2.9瓦时。据此计算,ChatGPT每天的耗电量超过50万度电力,相当于1.7万个美国家庭平均一天的用电量。


在模型投入正式使用前,其模型训练也耗费了大量的电力。


OpenAI曾发布报告指出,自2012年以来AI训练应用的电力需求每3到4个月就会翻一倍。以OpenAI的GPT-3为例,这个拥有1750亿参数的模型,其单次训练的耗电量高达1287兆瓦时。这相当于什么概念?简单来说,这足够让美国121个家庭整整一年不用为电费发愁。而根据未经OpenAI证实的信息和分析,GPT-4的参数量可能达到1.8万亿个参数。这个数字远远超过了GPT-3的1750亿参数。这意味着其训练所需求的电量有大幅度的增长。


这个还不是尽头。行业分析,对于GPT-5,虽然目前没有官方的具体参数量信息。但是根据GPT系列模型参数量的增长趋势,外界猜测GPT-5的参数量可能会达到10万亿级别或更高。



大模型能耗之殇

AI模型,特别是深度学习模型,涉及大量的矩阵运算和并行计算。这些计算不仅需要大量的处理器核心,还需要高速的内存和存储系统支持,从而产生了巨大的能耗。


参数数量的增加直接导致模型的计算需求增加。每个参数在训练过程中都需要参与大量的数学运算,如矩阵乘法和激活函数的计算,这些运算都需要算力和电力来支持。大型模型通常需要使用多个GPU或TPU等硬件加速器来并行处理大量的计算任务。参数数量的增加会导致这些硬件资源的占用时间延长,从而增加耗电量。


除了耗电,由于算力设备的冷却需求,AI消耗的水资源数量也惊人。


谷歌环境报告显示,2022年谷歌的用水量达到了56亿加仑水(约212亿升水),相当于8500个奥运会规格的游泳池,这些水被用来为该公司的数据中心散热。


随着AI技术的不断进步,数据中心在全球能源消耗中的比重将持续增长。


OpenAI的CEO萨姆·奥特曼(Sam Altman)认为,算力是发展大模型的最珍贵资源,并强调了提升算力的重要性。微软计划投资1000亿美元与OpenAI合作开发一个特别的数据中心项目,其中包括一个被称为“星际之门”(Stargate)的AI超级计算机。Meta公布了其24,576 GPU数据中心规模集群的两次迭代的详细信息,这对驱动下一代人工智能模型至关重要。


据华泰证券研报预测,到2030年,中国与美国的数据中心总用电量将分别达到0.65万亿千瓦时至0.95万亿千瓦时、1.2万亿千瓦时至1.7万亿千瓦时,是2022年的3.5倍和6倍以上。预计到2030年,全球数据中心的用电量将超过世界上人口最多的国家印度的用电量。



模型优化瘦身

显然我们在享受AI带来的便利高效之时,它背后的能耗是不容忽视。考虑到整个能源体系还不能马上转型到100%绿色可再生,控制AI的“电力胃口”势在必行。


为了让AI更高效、更环保,科学家们开始研究如何给AI模型“瘦身”。算法和模型优化是降低AI模型能耗的重要方法之一,主要通过减少模型的计算复杂度和提高运行效率来实现。


权重剪枝:“节食”计划。权重是AI模型中用来处理数据的参数。权重剪枝就像是AI的“节食”计划,通过去除一些不那么重要的权重,减少模型的“体重”,使其更加轻盈高效。


量化:“减肥”手术。量化是另一种“减肥”手术,它将模型中的参数从高精度的浮点数转换为低精度的整数。这就像是把AI的“思考”过程从复杂的数学计算简化为更直接的整数运算,从而提高运算速度并减少能耗。


模型压缩:“压缩包”。模型压缩则是将AI模型“打包”成一个更小的版本,就像压缩文件一样。这可以通过去除冗余信息、使用更简单的模型结构等方式实现。


通过算法和模型优化,可以让AI变得更加高效和环保。



硬件迭代提升

硬件是AI模型运行的物理基础,它们的性能直接决定了AI应用的效率。


硬件的性能在很大程度上取决于其制程技术。随着制程技术从微米级进化到纳米级,晶体管的尺寸不断缩小,可以在同样大小的芯片上集成更多的晶体管。这意味着更高的计算密度和更低的功耗,从而大幅提升了AI硬件的计算效率。


台积电(TSMC)、三星和英特尔在先进制程领域展开激烈竞争。这些公司已经将芯片制程推进到5nm、4nm,并且开始进入3nm时代AI训练尤其是深度学习训练涉及大量的矩阵运算,GPU的并行处理能力可以大幅加速这一过程。


针对AI任务的特点,如大量的矩阵运算和并行处理需求,专用加速器被设计来优化这些操作。例如,谷歌的张量处理单元(TPU)就是专门为加速深度学习算法而设计的硬件,它通过高效的矩阵运算大幅提升了AI模型训练和推理的速度。



“东数西算“


为降低电力和水资源消耗,很多企业在尝试采用各种方法为数据中心散热。例如,微软曾尝试部署海下数据中心,Meta数据中心选址北极圈附近,阿里云千岛湖数据中心使用深层湖水制冷等。


 “东数西算”工程通过将数据中心,特别是能耗较高的大型和超大型数据中心,从电力资源紧张的东部地区迁移到能源丰富的西部地区,以实现资源的优化配置和区域发展的均衡。西部地区能源资源丰富,特别是可再生能源(如水电、光伏,风电)潜力巨大。由于地理位置,西部一些省份气候比东部南部地区要气温低不少,而且能有水利资源,适合数据中心建立和运行。





点个在看 你最好看


【声明】内容源于网络
0
0
有锂数
专注于新能源观察,深入挖掘领域内的各种最新发展趋势。此外还拥有强大的数据分析能力,提供全面的新能源市场数据和产业分析报告
内容 70
粉丝 0
有锂数 专注于新能源观察,深入挖掘领域内的各种最新发展趋势。此外还拥有强大的数据分析能力,提供全面的新能源市场数据和产业分析报告
总阅读11
粉丝0
内容70