在亚马逊首席执行官安迪·贾西宣布 AWS 与 OpenAI 达成具有开创性的 500 亿美元投资协议后，亚马逊邀请我自费（大部分情况下）参观了该协议核心所在的芯片开发实验室。
行业专家正密切关注在该设施中创建的亚马逊 Trainium 芯片，因其对降低 AI 推理成本及可能削弱英伟达近乎垄断地位的影响。
出于好奇，我同意前往参观。当天的导游是实验室主任克里斯托弗·金（下图右）、工程总监马克·卡罗尔（下图左），以及安排此次访问的团队公关人员多隆·阿隆森（故事后半部分与我合影）。
自这家 AI 实验室成立初期以来，AWS 一直是 Anthropic 的主要云平台——这一关系足够稳固，以至于在 Anthropic 后来将微软也作为云合作伙伴加入，以及亚马逊与 OpenAI 日益紧密的合作关系中得以延续。
与 OpenAI 的这笔交易使 AWS 成为该模型制造商新 AI 代理构建器 Frontier 的唯一提供商，如果代理像硅谷认为的那样变得非常重要，这可能会成为 OpenAI 业务的重要组成部分。我们将看看这种独家性是否如宣布的那样保持不变。《金融时报》本周报道称，微软可能认为 OpenAI 与亚马逊的交易违反了其与 OpenAI 自身的协议，即雷德蒙德获得所有 OpenAI 模型和技术的访问权。
是什么让 AWS 对 OpenAI 如此有吸引力？作为这笔交易的一部分，这家云巨头已同意向 OpenAI 提供 2 吉瓦的 Trainium 计算能力。这是一个巨大的承诺，因为 Anthropic 和亚马逊自己的 Bedrock 服务已经在以超过亚马逊生产速度的速度消耗 Trainium 芯片。
该公司表示，目前所有三代 Trainium 芯片的部署数量已达 140 万枚，Anthropic 的 Claude 运行在部署的 100 多万枚 Trainium2 芯片上。
值得注意的是，虽然 Trainium 最初旨在实现更快、更便宜模型训练（这是几年前更大的优先事项），但现在它也经过调整并用于推理。推理——即实际运行 AI 模型以生成响应的过程——目前是整个行业最大的性能瓶颈。
一个典型的例子是：Trainium2 处理了亚马逊 Bedrock 服务上的大部分推理流量，该服务支持亚马逊众多企业客户构建 AI 应用程序，并允许这些应用程序使用多种模型。
“我们的客户群扩张速度与我们能够提供的容量一样快，”金说。他补充道，“Bedrock 有一天可能会变得像 EC2 一样庞大，”此处指的是 AWS 庞大的计算云服务。
Trainium 与 Nvidia
除了提供替代英伟达积压且难以获取的 GPU 的方案外，亚马逊表示，其新型 Trn3 Ultra Servers 上运行的新芯片在性能相当的情况下，运行成本比使用传统云服务器低多达 50%。
除了 12 月发布的 Trainium3 之外，这个 AWS 团队还构建了新的 Neuron 交换机，卡罗尔表示这种组合具有变革性。
“这给了我们巨大的优势，”卡罗尔说。交换机允许每个 Trainium3 芯片以网状配置与其他所有芯片通信，从而降低延迟。他说，“这就是为什么 Trainium3 打破各种记录的原因，”特别是在“每瓦价格”方面。
当每天涉及数万亿个 token 时，这样的改进会累积起来。
事实上，亚马逊的芯片团队在 2024 年受到苹果公司的赞扬。在这个神秘公司罕见的开放时刻，苹果 AI 总监公开描述了如何使用该团队的另一款芯片——Graviton，这是一种低功耗、基于 ARM 的服务器 CPU，也是该团队设计的第一款突破性芯片。苹果公司还赞扬了专为推理设计的 Inferentia 芯片，并对当时刚推出的 Trainium 给予了肯定。
这些芯片代表了经典的亚马逊策略：看到人们想要购买什么，然后构建一个在价格上与之竞争的内部替代品。
长期以来，芯片转换的障碍在于切换成本。为英伟达芯片编写的应用程序必须重新架构才能与其他芯片兼容——这是一个耗时的过程，阻碍了开发者的迁移意愿。
但 AWS 芯片团队自豪地告诉我，Trainium 现在支持 PyTorch，这是一种流行的用于构建 AI 模型的开源框架。其中包括许多托管在 Hugging Face 上的模型，Hugging Face 是一个庞大的库，开发者可以在其中分享开源模型。
Carroll 告诉我，这一过渡“基本上只需要一行代码的更改，然后重新编译，最后在 Trainium 上运行。”换句话说，亚马逊正试图在尽可能多的地方削弱英伟达的市场主导地位。
AWS 本月还宣布与 Cerebras Systems 建立合作伙伴关系，将该公司的推理芯片集成到运行 Trainium 的服务器上，亚马逊承诺这将带来超强大、低延迟的 AI 性能。
但亚马逊的野心不止于芯片本身。它还设计了承载这些芯片的服务器。除了网络组件外，该团队还设计了“Nitro”，这是一种软硬结合的技术，提供虚拟化功能（允许同一台服务器上独立运行多个软件实例）、最新一代液冷技术，以及承载这些设备的服务器滑轨（见下图）。所有这些举措都是为了控制成本和性能。
全天候进行“上线”工作
当这家云巨头于 2015 年 1 月以约 3.5 亿美元收购以色列芯片设计公司 Annapurna Labs 时，亚马逊的定制芯片设计部门应运而生。因此，这支团队至今已在为 AWS 设计芯片方面积累了超过 10 年的经验。该部门保留了其 Annapurna 的根源和名称——其标志在办公室里随处可见。
这个芯片实验室位于奥斯汀高档“The Domain”区一栋拥有闪亮镀铬窗户的建筑内，这是一个步行可达的区域，遍布商店和餐厅，有时被称为奥斯汀的硅谷。
办公室呈现出典型的科技企业文化氛围：隔间里的办公桌、休息区和会议室。但在大楼高层的一角隐藏着真正的实验室，可以俯瞰城市全景。
这个摆满货架的实验室大约相当于两个大型会议室的大小，由于设备风扇的运转声，这里是一个嘈杂的工业空间。它看起来像是高中手工课与好莱坞高端实验室场景的结合体，只不过工程师们穿着牛仔裤，而不是白大褂。
需要注意的是，这里并非芯片的制造地，因此无需穿着白色防化服。Trainium3 是一款最先进的 3 纳米芯片，由台积电（TSMC）生产，后者堪称 3 纳米制造领域的领导者，其他芯片则由 Marvell 生产。
但这里是“上线”（bring-up）奇迹发生的地方。
King 解释说：“硅片上线是指你第一次拿到芯片，这就像一场盛大的通宵派对。你会像参加锁房活动一样待在这里。”经过 18 个月的工作，芯片首次被激活以验证其是否按设计正常工作。团队甚至拍摄了部分 Trainium3 上线的过程并上传到了 YouTube。
剧透一下：整个过程绝非一帆风顺。
对于 Trainium3，原型芯片最初采用风冷散热，与之前的版本类似。目前的芯片现已采用液冷散热，这在节能方面具有优势，也是一项相当了不起的工程壮举。
在上线过程中，芯片与风冷散热器连接处的尺寸出现偏差，导致芯片无法激活。
King 说，团队毫不气馁，“立刻拿来磨光机，开始打磨金属”。为了不让噪音破坏上线期间披萨派对的欢乐氛围，他们悄悄溜到一间会议室里进行打磨工作。
King 表示，彻夜不眠地解决问题“正是硅片上线的核心所在”。
实验室甚至设有焊接站，硬件实验室工程师兼资深焊工 Isaac Guevara 通过显微镜演示如何焊接微小的集成电路组件。这项工作难度极高，以至于高级主管 Carroll 公开承认自己做不到，引得 Guevara 和房间里其他工程师哄堂大笑。
实验室还配备了定制工具和商用工具，用于测试和分析芯片问题。以下是信号工程师 Arvind Srinivasan 演示实验室如何测试芯片上的每个微小组件：
服务器托盘是实验室的主角
但实验室的主角是一整排展示团队设计的每一代“服务器托盘”（sleds）的展区。
sleds 是容纳 Trainium AI 芯片、Graviton CPU 芯片以及配套主板和组件的托盘。将它们与同样由该团队定制设计的网络组件一起堆叠在机架上，就构成了 Anthropic Claude 成功背后的核心系统。
以下是去年 12 月在 AWS re:invent 大会上展示的 sled：
经 Anthropic 和 OpenAI 验证
我原以为导游会在参观过程中大肆宣扬与 OpenAI 的合作。但他们并没有。
这种谨慎可能与前述可能笼罩在该交易之上的潜在法律模糊性有关。但我感受到的情况是，这些一线工程师（目前正设计下一代 Trainium4）还没有太多机会与 OpenAI 合作。他们日常工作至今主要专注于满足 Anthropic 和 Amazon 的需求。
目前，最大批量的 Trainium2 芯片部署在 Project Rainier——全球最大的 AI 计算集群之一——该集群于 2025 年底上线，拥有 50 万颗芯片。它由 Anthropic 使用。
但在主办公室有一面墙上的显示器展示了一段关于 OpenAI 将如何使用 Trainium 的引言。自豪感依然存在，尽管很含蓄。
除了这个实验室外，该团队还拥有自己的私有数据中心，用于质量和测试目的。开车短途即可到达，它不运行客户工作负载，因此托管在共址设施中，而非 AWS 数据中心。
安保非常严格：进入大楼以及访问亚马逊内部区域都有严格的协议。
数据中心的冷却系统噪音巨大，必须佩戴耳塞，空气中弥漫着加热金属的刺鼻气味。对于普通人来说，这里并不是一个令人愉快的逗留场所。
在这个数据中心里，一排排服务器中装满了集成所有 Amazon 最新定制芯片的 sled：Graviton CPU、液冷 Trainium3、Amazon Nitro，都在愉快地进行计算。工程师表示，液体在封闭系统中循环使用，这也有助于减少环境影响。
当前的 Trn3 UltraServer 看起来是这样的：顶部和底部有多层 sled，中间是 Neuron 交换机。硬件开发工程师 David Martinez-Darrow 正在对其中一个 sled 进行维护：
虽然对该团队的关注一直很高，但近期的审查力度确实大大加强了。
Amazon CEO Andy Jassy 密切关注着这个实验室，像一位自豪的父亲一样公开吹嘘其产品。12 月，他说 Trainium 已经是 AWS 的一个数十亿美元业务并称其为 AWS 技术中让他最兴奋的一部分。他还在宣布与 OpenAI 的协议时对该芯片进行了宣传。
团队也感受到了压力。工程师们将在每次启动事件前后连续工作三到四周，以解决任何问题，从而使芯片能够量产并部署到数据中心。
“尽快证明它确实可行非常重要，”卡罗尔说。“到目前为止，我们做得非常好。”
*披露：亚马逊提供了机票并支付了一晚当地酒店的费用。为了践行其节俭的领导原则，这只是一个飞机后排的中间座位和一个普通的房间。TechCrunch 承担了其他相关的旅行费用，如优步费用和行李托运费。（是的，我为一夜行程托运了行李。我就是这么讲究。）