点击蓝字关注我们
对雨生的文章感兴趣吗？
可以入群了解
在AI技术快速发展的背景下，组织机构正被迫重新思考工作负载的部署方式。随着AI需求激增和能源成本上涨，将工作负载简单地推入公共云可能不再是最佳解决方案。
主要观点：
1. AI能源消耗激增：
- 训练和部署先进AI模型的巨大计算需求导致能源消耗激增。
- IDC预测，到2028年，AI基础设施支出将超过1000亿美元。
- 有报告警告，仅在未来两年内，AI驱动的数据中心能源需求可能增长160%。
2. 公共云成本挑战：
- Canalys首席分析师Alastair Edwards指出，随着AI用例的扩展，在公共云中部署可能会从成本角度变得不可持续。
- 组织正在寻找替代方案，如托管服务和专业化的（GaaS）GPU as a Services 即服务提供商。
3. GPU vs CPU能源效率：
- GPU在AI工作负载方面比传统CPU更高效，但总体能源消耗仍然巨大。
- 加速服务器预计到2028年将占市场总支出的56%。
4. 替代方案的兴起：
- 一些公司正转向托管和专业化的托管提供商，而不是典型的公共云运营商。
- 新兴的GPU即服务模式，如Coreweave和Foundry等公司提供的服务。
5. 地区差异：
- 美国在全球AI基础设施支出中占据主导地位，占2024年上半年总支出的近一半。
- 预计未来五年亚太地区将以20%的年复合增长率增长最快。
6. 能源可持续性concerns：
- IDC强调，对AI基础设施能源消耗的日益关注将成为数据中心寻求优化架构和最小化能源使用的一个因素。
- 98%的投资者对能源可用性表示担忧。
结论：
GPU驱动的AI云时代带来了前所未有的计算能力，但同时也面临着巨大的能源消耗和成本挑战。
CIO们正面临一个难题：训练和部署先进AI模型的巨大计算需求导致能源消耗激增，而同时能源成本也在上涨。
在最近柏林举行的Canalys论坛EMEA上，首席分析师Alastair Edwards表示，每家公司都在努力弄清楚他们需要部署什么模型或IT架构，以最好地利用AI承诺的业务转型。
公共云供应商将自己定位为训练AI工作负载的首选目的地，他们确实拥有基础设施资源，据估计，今年用于AI capable服务器的资本支出增加了约30%。
但据Edwards说，当一个组织开始超越训练，开始将这些模型投入使用——对它们进行微调和推理时，就会出现如何以及在哪里以可扩展的方式部署它们的问题。
但云的替代方案是什么？企业已经将工作负载迁移到云端大约十年了，原因之一是管理复杂基础设施的麻烦，许多企业因此缩小了自己的数据中心规模。
Edwards说："如今几乎没有组织想要建立自己的本地数据中心。
根据Canalys的观点，这意味着一些公司现在正转向托管和专业化的托管提供商，而不是你典型的公共云运营商。
Edwards解释说："我们看到新的商业模式正在出现，一些公司投资了GPU容量，现在正在开发GPU即服务模型来帮助客户访问这些资源。
这样的GPU即服务运营商包括Coreweave和Foundry，甚至Rackspace（还记得他们吗？）也宣布了一个GPU即服务产品。
鉴于仅微软最近就宣布计划筹集1000亿美元投资数据中心，
IDC表示，2024年上半年，部署在云和共享环境中的AI系统占整个AI服务器支出的65%，因为超大规模云服务提供商、云服务提供商和数字服务提供商都在扩展他们的能力。相比之下，企业在采用本地AI设备方面基本上落后了。
这与分析公司Omdia告诉我们的情况相符：AI训练的服务器需求主要由相对少数的超大规模云服务提供商驱动，服务器支出正在迅速增长，因为AI需要塞满昂贵GPU加速器的高性能系统。
据IDC称，毫不意外，美国在全球AI基础设施方面处于领先地位，2024年上半年占总支出的近一半。
然而，在未来五年内，IDC预计亚太地区将以20%的年复合增长率增长最快，其次是美国。预计到2028年，加速服务器将占市场总支出的56%。
IDC预计，随着超大规模云服务提供商、云服务提供商、私营公司和世界各地的政府越来越重视AI，AI的采用将继续以"显著的速度"增长，但地平线上有一朵乌云（无意双关）。
该公司全球企业基础设施追踪器副总裁Lidice Fernandez表示："对AI基础设施能源消耗日益增长的担忧将成为数据中心寻求优化架构和最小化能源使用的一个因素。"
最近的报告包括警告，AI驱动的数据中心能源需求可能仅在未来两年内就增长160%，速度快于公用事业提供商增加额外发电能力的速度。
这可能会抑制数据中心扩张计划，但目前似乎并未抑制投资者的热情，尽管一项调查发现98%的投资者对能源可用性表示担忧。或者也许AI泡沫会破裂，在这种情况下，我们都可以停止担心它的能源消耗和向数据中心投入数十亿美元来支持它。
