随着生成式AI需求激增，其训练与运行高度依赖GPU，导致芯片严重短缺。据报道，英伟达顶级芯片已售罄至2024年；台积电CEO更悲观预测，包括英伟达及其竞争对手在内的GPU短缺或将延续至2025年。
为降低对GPU的依赖，具备实力的科技巨头正研发定制芯片，并向客户提供专用于AI模型创建、迭代及产品化的解决方案。亚马逊在年度AWS re:Invent大会上便发布了新款模型训练与推理芯片。
Trainium2：性能提升4倍，能效翻倍
首款芯片AWS Trainium2相比2020年12月发布的第一代产品，性能提升高达4倍，能效提高2倍。该芯片将以16个为一组在AWS EC Trn2实例中提供，并可通过EC2 UltraCluster扩展至多达10万个芯片。
据亚马逊介绍，10万个Trainium芯片可提供65 exaflops算力（单芯片约650 teraflops）。即便按保守估算单芯片200 teraflops计算，其性能也远超谷歌2017年左右的定制AI训练芯片。
由10万个Trainium芯片组成的集群，可在数周内完成3000亿参数大语言模型的训练（此前需数月），这大约是OpenAI GPT-3（GPT-4前身）参数量的1.75倍。
AWS计算和网络副总裁David Brown表示：“硅技术是AWS创新的关键领域。随着生成式AI兴趣激增，Trainium2将助力客户以更低成本、更高能效更快训练机器学习模型。”目前，Trainium2实例预计将于明年向AWS客户提供。
Graviton4：第四代Arm架构推理芯片
第二款芯片是基于Arm架构的Graviton4，专为推理设计。作为Graviton家族第四代产品，它区别于另一款推理芯片Inferentia。
相比上一代Graviton3（不含Graviton3E），Graviton4计算性能提升30%，核心数增加50%，内存带宽提高75%。此外，Graviton4所有物理硬件接口均已“加密”，能更好地保护高加密需求客户的AI训练负载与数据安全。
Brown强调：“Graviton4是我们五年内推出的第四代产品，也是迄今最强大、能效最高的芯片。通过聚焦客户实际工作负载进行设计，我们提供了最先进的云基础设施。”
Graviton4将在Amazon EC2 R8g实例中提供，目前该实例已开放预览，计划于未来几个月正式推出。
