在今天的 re:Invent 大会上，亚马逊 AWS 云部门宣布推出 SageMaker HyperPod。这是一项专为训练和微调大型语言模型（LLM）打造的新服务，目前已正式全面可用。
亚马逊长期将 SageMaker 作为机器学习战略的核心支柱；随着生成式 AI 兴起，其转而依靠该服务帮助用户更轻松地训练和微调 LLM，这并不令人意外。
AWS SageMaker 总经理 Ankur Mehrotra 表示：“SageMaker HyperPod 使您能够创建针对分布式训练优化的、包含加速实例的分布式集群。它为您提供工具，以高效地将模型和数据分布到集群中，从而加快训练过程。”
他指出，HyperPod 允许用户频繁保存检查点（checkpoint），无需从头开始即可暂停、分析和优化训练过程。该服务还包含多项故障保护机制，当某个 GPU 宕机时，整个训练过程不会随之失败。
Mehrotra 解释道：“对于只关心训练模型的团队来说，这就像是一种零接触体验，集群在某种意义上成为自愈式集群。总体而言，这些功能可帮助将基础模型的训练速度提高多达 40%，考虑到成本和市场上市时间，这是一个巨大的差异化优势。”
用户可选择使用亚马逊自研 Trainium（及最新 Trainium 2）芯片或基于 Nvidia 的 GPU 实例（包括 H100 处理器）进行训练。该公司承诺，HyperPod 可将训练速度提升高达 40%。
AWS 此前已通过 SageMaker 积累了构建 LLM 的相关经验，例如 Falcon 180B 模型就是在由数千个 A100 GPU 组成的集群上训练的。Mehrotra 指出，AWS 从此次扩展 SageMaker 的经验中汲取教训，从而打造出 HyperPod。
Perplexity AI 联合创始人兼首席执行官 Aravind Srinivas 透露，其公司在私有测试阶段获得了早期访问权限。他表示，团队最初对使用 AWS 训练和微调模型持怀疑态度。
“我们以前从未与 AWS 合作过，”他说，“存在一种误解——并非事实——即 AWS 缺乏用于大型模型训练的出色基础设施。由于没有时间尽职调查，我们曾信以为真。”不过，该团队后来与 AWS 取得联系，工程师邀请他们免费试用。他还提到，从 AWS 获得支持非常容易，且能为 Perplexity 提供足够的 GPU 资源。此外，团队此前已熟悉在 AWS 上进行推理操作，这也提供了帮助。
Srinivas 强调，AWS HyperPod 团队重点致力于加速连接 Nvidia 显卡的互连网络。“他们优化了原语——Nvidia 的各种原语——这些原语允许您在不同节点之间通信梯度和参数，”他解释道。
