在本周的Cloud Next大会上,谷歌展示了其最新一代TPU AI加速芯片。
这款名为Ironwood的新芯片是谷歌第七代TPU,也是首款针对推理(即运行AI模型)优化的芯片。Ironwood计划于今年晚些时候面向Google Cloud客户推出,将提供两种配置:256芯片集群和9,216芯片集群。
“Ironwood是我们迄今为止最强大、功能最强且能效最高的TPU,”谷歌云副总裁Amin Vahdat在提供给TechCrunch的博客文章中写道。“它是专为大规模支持思考型推理AI模型而设计的。”
Ironwood的发布正值AI加速器领域竞争加剧之际。Nvidia可能占据领先地位,但包括Amazon和Microsoft在内的科技巨头也在推动各自的内部解决方案。Amazon拥有其Trainium、Inferentia和Graviton处理器,可通过AWS获得;而Microsoft则为其Maia 100 AI芯片提供Azure实例。
根据谷歌的内部基准测试,Ironwood在峰值状态下可提供4,614 TFLOPs的计算能力。每块芯片配备192GB专用RAM,带宽接近7.4 Tbps。
Ironwood配备了增强的专用核心SparseCore,用于处理“高级排序”和“推荐”工作负载中常见的数据类型(例如,建议您可能喜欢的服装的算法)。谷歌表示,该TPU的架构旨在最大限度地减少芯片上的数据移动和延迟,从而节省电力。
Vahdat补充称,谷歌计划在未来将Ironwood与其AI超级计算机(Google Cloud中的模块化计算集群)集成。
“在推理时代,Ironwood代表了一项独特的突破,”Vahdat表示,“它具备更强的计算能力、更大的内存容量……网络技术的进步以及更高的可靠性。”
太平洋时间上午10:45更新:本文早期版本错误地将微软的Cobalt 100称为AI芯片。事实上,Cobalt 100是一款通用芯片;而微软的Maia 100才是AI芯片。我们已更正该引用。

