
Google 11月9日由 Amin Vahdat(AI 与基础设施首席技术官/SVP)在官方博客发布了两款新 TPU:TPU 8tx 和 TPU 8i Max。加上此前发布的 8t 和 8i,第八代 TPU 在一年内凑齐了四款系统——这在 TPU 历史上还是第一次。
四款的分工非常清楚,官方自己就画好了岗位说明书:
简单说:8t 管大规模训练(比上一代训练性能最多提升 2.7 倍),8i 管低延迟推理(推理性价比提升 80%,芯片间通信延迟最多降一半),今天补位的 8tx 管安全,8i Max 管"上下文特别长"和"机架密度特别高的"场景。
另一个信号藏在正文里:Google 提到 TPU 业务已经有近 100 家客户,覆盖前沿实验室、交易公司、零售商和大学,并且——划重点——已经允许客户把 TPU 直接部署到自己的数据中心里。TPU 正在从"Google 云专属"变成"可以抱回家的硬件",这是生态姿态上很大的变化。
TPU 8tx:把"使用中加密"做到硬件层
8tx 的定位是安全与机密推理,目标客户是受监管的企业和政府机构——它们想跑前沿模型或专有模型、跑自主代理,但数据连自己都信不过云服务。
它的硬件组合很有意思:硅片和 8t 同款,主机换成了第五代 AMD EPYC CPU;安全上做到了硬件级机密计算——数据和模型权重在使用中(in-memory)也保持加密隔离。网络用的和实时推理同一套低延迟 Boardfly 网络,结果是相比 8t 延迟最多降低 2 倍,性能损失接近零。另外它支持在单一系统上同时做微调、模型蒸馏和强化学习训练代理,敏感数据不用在集群之间搬来搬去。
TPU 8i Max:两颗 8i 封进一个封装
8i Max 的做法很直接:把两颗 TPU 8i 芯片封进单一封装,计算翻倍、SRAM 翻倍、HBM 带宽翻倍,在相同机架占地里塞进两倍硅片。官方给它的标签是百万 token 级超长上下文窗口 + 每机架最高计算密度——长上下文 agent 和稠密推理是它的目标场景。
软件一波流:开源、agent 化、省内存
这次发布硬件只占一半篇幅,另一半给了软件栈,挑几个实在的:
· TorchTPU 开源:PyTorch 代码和 Hugging Face 模型原生跑在 TPU 上,支持 vLLM、SGLang 等开源推理引擎。Google 还引用了 SemiAnalysis 的 InferenceX 和 AgentX 基准,称原生 vLLM-TorchTPU 栈在 TPU 上做到了最先进的性价比;
· TPU agent suite(预览版):直接插进 Claude Code、Cursor 和 Google Antigravity,用自然语言自动完成 TPU 接入、瓶颈诊断和内核调优;
· TPU Sync(开源):把 HBM、主机 DRAM、共享存储和数据中心网络统一成单一内存层级,KV 传输延迟和首 token 延迟(TTFT)降低超过 90%;
· Agent Compute Engine:毫秒级挂起空闲代理会话、把工作内存移出芯片,专治 agent 待机烧卡;
· GKE 动态切片(GA):靠光路交换(OCS),作业启动最多快 5 倍,故障恢复最多快 4.5 倍。
其中 TorchTPU 值得多说一句。本号 10 月 22 日的《PyTorch 一夜解锁 TPU 和 Trainium,CUDA 不再是唯一答案》专门扒过它的来路:2025 年中 Google 和 Meta 的 PyTorch 团队一起立的项目,第一条原则叫"PyTorch 公民身份"——运行时不带 JAX 依赖、eager 是一等公民,开发者把 .to("cuda") 换成 .to("tpu") 就算迁完。当时的判断是,芯片竞争的胜负手会从"谁的生态锁定深"回到"谁的性价比好"。十八天后,Google 把 TorchTPU 写进第八代 TPU 的发布稿,还引了第三方基准来撑性价比。硬件要卖进别人的机房,前提就是让人不用改代码,这话今天算官方自己认了。
放到五天前那份出货数据里看
这次发布不能孤立看。11月4日,Epoch AI 发布测算:Broadcom 主导的 TPU 出货量从 2026 财年 Q2 到 Q3 翻了一倍,达到接近 200 万块 NVIDIA H100 的等效算力;单季芯片量约 80 万颗,环比增长约 65%。结构上,v7 已占出货绝对大头(性能约为 v6e 的 2.5 倍),而TPU v8i 在 Q3 已进入量产,性能约为 v7 的 2.2 倍。
顺便回答一个更实在的问题:这批已经交付的 v7,现在能干什么?Inferact 放出的一组实测给了个直观答案:把 Kimi K3 的 92 层 MoE 塞进一个 Pallas megakernel,配上 DSpark 推测解码,16 颗 TPU v7 跑到 709 token/s,同配置的 16 张 GB200 是 452 token/s;纸面参数样样略输,实测反超约 57%。换句话说,Q3 那约 80 万颗芯片不是堆在机房等下一代软件来喂,眼下就能扛住最前沿的 agent 推理负载。
再把时间线拉长一点:Anthropic 的 S-1 首版里,算力采购承诺总额还是个 "$____" 的留白;到了 S-1/A,这个数字被填成了8,954 亿美元,芯片版图从 AWS Trainium、Google TPU、NVIDIA 扩列到 AMD MI450,Broadcom 还把部分租赁权益转给了专项融资实体。
这次连 TPU 那一块的具体金额也摊开了。招股书原文里,直接挂钩的有两笔:与博通及其融资方签的五年期设备租赁,租金合计约 1,612 亿美元(不含利息),文件写明这些租赁"提供 TPU 算力容量",2026 年已有部分上线、2027 年起继续放量,且除违约外双方都不可撤销;与谷歌 2026 年 3 月签的云托管协议,到 2033 年 7 月至少花 1,213 亿美元,不管实际用没用,差额都得补。两笔合计约 2,825 亿美元,按 8,954 亿总额算,占近三成(31.5%);其中博通那一笔单独占 18.0%。
口径得说清:谷歌那 1,213 亿是云托管支出,招股书没有按芯片拆开,所以"近三成"更准确的说法是"TPU 供应链上的两家",不是纯 TPU 芯片采购;白纸黑字写明 TPU 的只有博通那 1,612 亿。另外还有一笔 2028–2031 年交付的额外 TPU 算力,预估 1,250 亿–1,500 亿美元,没有固定金额承诺,因此不计入 8,954 亿——算上它,TPU 这条线是 4,000 亿美元量级,整张账单也随之破万亿。
三个信息拼在一起,画面就完整了:需求侧签了签到 2045 年的账单,其中近三成压在 TPU 供应链上;供给侧 Q3 出货翻倍,而产品侧今天把第八代最后的细分场景补齐。Google 选择在 Epoch 数据公布五天后官宣 8i Max——这家向来不爱谈出货量的公司,显然也意识到成绩单该拿出来晒了。
我的几点想法
1. 四款齐发说明 TPU 的产品化思路变了。以前 TPU 是"训练一款、推理一款"的换代节奏,现在是同代之内按场景切分——训练、推理、机密计算、超大上下文。芯片从通用算力变成岗位编制,这是市场大到值得细分、且竞争对手多到必须细分才会发生的事。
2. 8tx 瞄准的是英伟达还没啃下来的市场。机密计算不是新概念,但"硬件级 in-memory 加密 + 接近零性能损失 + 前沿模型可跑"这个组合,目前x86/GPU 方案里还没有对等的。受监管行业(金融、医疗、政府)一直是 AI 落地最慢的角落,8tx 就是冲着这个空当去的。
3. 出货数据比博客更有信息量。单季等效近 200 万块 H100 是什么概念——这已经和英伟达数据中心 GPU 的年出货量级站在同一数量级了。Epoch 的测算是估算值(90% 置信区间),Broadcom 财年口径和日历年口径也有错位,但"翻倍"这个量级判断出错的可能性很小。TPU 已经不是"Google 自用的小众芯片",而是全球算力供给的第二极。
4. 一个悬而未答的问题:谁在给 v8i 的量产下订单?S-1/A 里那 1,612 亿美元的 TPU 设备租赁,写明"2026 年已有部分容量上线",而 Q3 恰是 v8i 进入量产的季度。是巧合,还是这张近三成压在 TPU 上的账单开始兑现?要等 S-1 后续修订版或 Google 云口径的披露才能确认——但时间线确实严丝合缝。
5. 照例泼冷水。博客里的性能数字(2.7 倍、80%、2 倍延迟)都是"up to"口径,实际负载要打折扣;SemiAnalysis 基准是 Google 引用而非独立复现;Epoch 出货量是模型估算,含 Anthropic 收入可能按机架入账的口径问题。三家信息源各有立场,本文只是把三方数字摆在同一张桌子上。
— END —
参考资料:
[1] Amin Vahdat, "Our newest TPUs: 8tx and 8i Max, built for the agentic era", Google Blog, 2026-11-09
https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/
[2] Venkat Somala, Josh You, "Broadcom TPU compute shipments doubled to 2M H100-equivalents", Epoch AI, 2026-11-04
https://epoch.ai/data-insights/tpu-production-doubling
[3] Anthropic PBC S-1(2026-10-26)与 S-1/A(2026-11-02),SEC EDGAR;文中 TPU 金额、期限与"不计入总额"表述均出自 S-1/A 原文第 175–176 页
https://www.sec.gov/Archives/edgar/data/2130357/000162828026068676/anthropicpbc-sx1ax1.htm
[4] Inferact, "700 TPS on Kimi K3 with TPU Megakernels"
https://inferact.ai/news/tpu-megakernels
[5] 本号前作:《PyTorch 一夜解锁 TPU 和 Trainium,CUDA 不再是唯一答案》,2026-10-22
https://mp.weixin.qq.com/s/NajsxEP3vrMSick-9qGZaw
1.20K-40K!深圳扬奇医芯招双目结构光算法工程师
2.AI教父Hinton诺奖演讲首登顶刊!拒绝公式,让全场秒懂「玻尔兹曼机」
3.GitHub没了?CEO辞职,微软接管,开发者天塌了
4.AI颠覆数学研究!菲尔兹奖得主、华裔数学家领衔11篇顶刊论文|陶哲轩转赞
5.AI OS,下一个二十年的超级平台
6.全球首个IMO金牌AI诞生!谷歌Gemini碾碎奥数神话,拿下35分震惊裁判



