关键要点
- 亚马逊每一代定制硅芯片的诞生，均源于客户对更优工作负载的需求。
- 亚马逊基于真实工作负载（含自身及客户数据）设计芯片，而非依赖基准测试。
- 硬件通过云端交付，客户只需启动实例即可享受性能红利。
亚马逊现已设计用于网络、通用计算和人工智能的芯片。但公司最初并非以芯片设计为起点。正如彼得·德桑蒂斯在9月16日AI基础设施峰会上所言，每一步演进皆旨在解决AWS客户面临的实际问题。
“构建硬件与复杂系统时，深入理解工作负载是巨大优势。”亚马逊基础AI模型和定制芯片高级副总裁DeSantis在与SemiAnalysis创始人Dylan Patel的炉边对话中表示。
Annapurna Labs内部芯片
催生Nitro系统的客户需求
德桑蒂斯在亚马逊任职28年，参与了20年前EC2推出以来的AWS建设。他表示，早期构想源于认识到计算资源获取对初创企业和大型企业均构成限制。
尽管多数工作负载在早期EC2上运行良好，但部分客户持续要求裸金属性能。这指向一个实质问题：虚拟化工作负载共享芯片缓存和I/O总线等资源，而现有系统无法完美实现资源共享。团队得出结论：服务所有工作负载必须在硬件层面创新。
成果便是将虚拟化栈移至专用硬件的Nitro系统。此举促成了亚马逊与Annapurna Labs的合作，并确立了共同信念：云计算将改变专用硬件触达用户的方式。DeSantis表示：“无需自建服务器和供应链，客户启动实例即可使用。”
为何基于真实工作负载而非基准测试设计Graviton
2016年左右，随着摩尔定律增速放缓，亚马逊转向自研通用处理器。团队拥有独特资源：多年运行自有Web服务和数据库的数据，以及帮助客户优化应用积累的经验。
“这些工作负载及其配置文件才是优化芯片和系统的正确依据，而非微基准测试。”DeSantis指出。
AWS Graviton5芯片
该方法孕育了如今的Graviton系列。DeSantis指出，AWS上绝大多数工作负载因此运行更快且更具成本效益。团队还专注于数据库和芯片设计软件等关键负载。随着规模扩大，基础设施成本降低，节省的成本已转化为更低价格回馈客户。
客户如何塑造AI芯片路线图
同一原则指导着亚马逊AI芯片发展。首款产品Inferentia适配2018—2021年的AI负载；大语言模型的出现带来了新需求。DeSantis表示，通过与领先AI客户紧密合作并加强内部研究，团队得以洞察当前及未来负载需求，从而塑造了Trainium2和Trainium3，并为Trainium4奠定基础。
亚马逊还为客户提供更多针对自身负载优化的方式。Trainium硬件启用分析器可从生产负载中收集细粒度遥测数据且不造成干扰；Neuron工具链则赋予开发人员访问芯片完整指令集的权限。
针对工作负载瓶颈进行设计
DeSantis表示，AI工作负载从多方面对系统施压。“有的受功耗限制，有的受内存带宽限制，还有的受内存容量限制。这是我们多年来见过最有趣的硬件设计挑战之一。”
以内存为例，带宽即芯片在内存与处理器间移动数据的速度，往往决定模型响应速度。Patel将其视为当今AI领域最大瓶颈。DeSantis表示，亚马逊在Trainium内存架构上投入大量资源，兼顾整体带宽与每美元带宽效率。这体现了团队遵循的两大核心原则：绝对性能和性价比。对客户而言，这直接体现为令牌吞吐量（token throughput），即模型生成内容的量级与成本。
随着推理需求增长，这一点愈发重要。DeSantis预计，大部分AI算力将用于推理任务，无论是面向终端用户服务还是生成强化学习rollout数据。“推理将成为一项庞大的工作负载。”
他预计硬件将持续适应这一趋势，同时支持大规模训练。DeSantis表示：“我认为不会为每种负载配备专用芯片，但会看到更多适配特定负载的芯片。”