谷歌在Cloud Next 26大会上正式发布第八代自研AI芯片TPU 8t（用于大模型训练）和TPU 8i（用于AI推理）。这是TPU问世以来，谷歌首次将训练与推理芯片分开设计，并在集群组网方案上做了重大升级。
TPU 8t重点提升训练效率：采用更均衡的计算单元布局、原生支持FP4精度、并集成TPUDirect RDMA/Storage技术，目标是让训练集群始终保持高吞吐、不“饿卡”。
TPU 8i则聚焦推理性能优化：配备384MB片上SRAM、288GB高带宽内存（HBM）以及定制加速引擎（CAE），显著降低长文本、多智能体协作和混合专家模型（MoE）等复杂场景下的响应延迟。
这些先进芯片依赖先进制程工艺，对晶圆代工能力提出更高要求。存储方面，本次更新强调低延迟访问，但未涉及此前市场关注的DRAM池化技术。
网络连接也有明显升级：
- TPU 8t单卡对外带宽（scale-out）提升至原来的4倍，芯片间带宽（scale-up）翻倍；前端Jupiter网络中光学电路交换（OCS）使用量增加；
- TPU 8i采用专为AI推理优化的Boardfly架构，在第三层实现OCS全连接，额外带动1.25倍的1.6T光模块需求。
随着MoE成为AI智能体时代主流，All-to-all通信需求激增，低延迟网络变得尤为关键。Boardfly这类定制化scale-up方案，不仅提升了光模块与TPU的配比，也缓解了“推理对网络要求更低”的传统认知——尤其在推理卡成本持续下降的背景下。
长期来看，AI专用芯片（ASIC）架构中，网络硬件的投资占比有望持续上升，AI光通信仍是具备超额增长潜力的核心方向。
主要风险包括：TPU芯片量产进度慢于预期；AI模型与应用落地节奏放缓。