大数跨境

AI不“吃独食”,服务器冷却技术需求增长

AI不“吃独食”,服务器冷却技术需求增长 Chinait在前沿看世界
2024-02-01
1

光宝科技押注于热、耗电芯片的液体解决方案。
人工智能市场并不是唯一升温的市场。为尖端技术提供动力的芯片和服务器也是如此,推动了对更高效冷却解决方案的需求。
随着能源消耗成为提高计算性能最紧迫的瓶颈之一,中国台湾光宝科技公司是几家加紧努力开发人工智能数据中心液体冷却解决方案的零部件制造商之一。
光宝云基础设施平台和解决方案副总裁 Simon Ong 告诉记者,“人工智能数据中心有很多热量需要解决”,而传统的空气冷却解决方案能力不够。“需要更先进的冷却技术来解决系统产生的热量,这是不可阻挡的。”
人工智能数据中心运行在英伟达或AMD等强大的图形处理器芯片上。这些芯片可以处理并行计算操作,这是启用生成式人工智能应用程序(例如 OpenAIChatGPT 和谷歌的 Bard)所必需的。
但它们的功率需求正在急剧上升,从英伟达 A100 芯片的 400 瓦增加到 H100 芯片的 700 瓦。下一代 B100 每个芯片将消耗 1,000 瓦电力,是运行 240 瓦 MacBook Air 八小时所需电力的四倍多。
光宝科技在其 Coolite 液体冷却系统上投入了大量资金,该系统旨在解决人工智能数据中心产生的热量。对用于训练人工智能模型的 Nvidia H100 图形处理单元 (GPU) 的爆炸性需求帮助人们关注电源和散热解决方案行业,这些行业以前被视为供应链的外围领域。
随着芯片功耗的飙升,产生的热量成为关键瓶颈。温度直接影响芯片性能,因此需要比以前更复杂的冷却解决方案。业内专家表示,传统风冷主要采用风扇和管道,无法解决AI服务器发热问题。
此外,随着科技行业竞相实现净零排放,冷却技术对于数据中心运营商保持低电力使用效率(或 PUE,衡量数据中心能源效率的指标)至关重要。
新兴的冷却技术包括液体冷却和浸入式技术,液体冷却涉及服务器周围流动的水系统以降低温度,浸入式技术将整个服务器机架浸入非导电液体中。
建兴科技是苹果、惠普和戴尔的供应商,也是数据中心基础设施电源和散热解决方案的重要参与者,正在寻求巩固其在液体冷却解决方案领域的地位。
其他在这一领域加大力度的公司包括电源和散热解决方案领域的另一家主要参与者台达电子 (Delta Electronics) 以及热控制提供商 Cooler Master Technology 和 Auras Technology。甚至像英特尔这样的芯片制造商和技嘉科技、英业达和纬颖科技等服务器系统集成商也在投入资源来开发创新的冷却技术。
光宝科技表示,传统的冷却方法无法应对人工智能的挑战。该公司表示,它使用不同的散热解决方案对两组芯片进行了基准测试。Ong表示:“我们发现采用风冷方式的芯片只能达到其性能的60%,并且会存在一定的过热问题,而液冷解决方案可以继续将计算性能提升至最优化。”
他补充说:“如果芯片太热,它们将永远无法像在可接受的环境下那样高效、强大地运行。”
Ong表示,数据中心运营商可以通过扩大服务器机架中散热片的尺寸,用传统方法来降低温度,“但是你想要在如此有限的空间内让服务器机架装满散热片还是装满芯片?当然,我们想要更多的计算能力。”
在未来的人工智能计算中,“新的液体冷却技术将是一个非常重要的解决方案,而不是目前使用空气散热的主流热解决方案,后者更便宜,但冷却表面的速度要慢得多,”他说。
市场情报与咨询研究所行业顾问Chris Wei表示,人工智能服务器比传统服务器配备了更多的中央处理器和GPU,其更高的能耗正在推动升级现有组件和技术,例如冷却和电源补给品。
“人工智能服务器的功耗突破了 300 瓦风冷技术的限制,刺激了对更复杂、更高效的冷却技术(如水冷或液冷)的需求,” Chris Wei表示,到2023年,AI服务器的产值已超过全球服务器市场总量的50%,他补充说,MIC预测AI服务器的渗透率将从去年占整个行业的12.4%上升到2027年的20.9%。


来源:半导体产业纵横

版权申明:凡本公众号内容注明【原创】的,内容版权归本作者所有,未标注【原创】的图片与文字内容均转载自网络,版权归原创者所有,图片和文字如有侵权烦请告知我们,我们会立即删除。谢谢!


【声明】内容源于网络
0
0
Chinait在前沿看世界
1234
内容 1011
粉丝 0
Chinait在前沿看世界 1234
总阅读62
粉丝0
内容1.0k