10月15日，芯片分析播客 Semi Doped（主播为 Chipstrat 创始人 Austin Lyons）发布了与微软 Azure 硬件系统企业副总裁 Saurabh Dighe 的对话。
这是两人十个月内的第二次长谈：上一次聊的是刚公布的 Maia 200，这一次聊的是刚刚揭晓架构的 Maia 300。
微软在这次发布中给出的数字是：相比 Maia 200，Maia 300在机柜层面提供7倍的 token 吞吐，每瓦性能提升2.5倍；从2027年起，Maia 将以“多吉瓦”的规模部署，成为微软全线产品与服务的基础设施之一。
整场访谈的落点并不在两颗芯片的规格对比，而在一个更底层的判断上：在 agent 时代，AI 推理的瓶颈不是算力，而是数据搬运。
这篇文章分享一下访谈的内容：
一、“我们不是为了造芯片而造芯片”
问：微软为什么要自研芯片？从 Maia 100到 Maia 300，这条路的逻辑是什么？
答：微软的特殊之处在于运行着行星级的基础设施，同时经营 SaaS、PaaS、IaaS 各类业务，因此能直接看到客户需要什么样的基础设施。“我们不是为了造芯片而造芯片，我们是为了做出差异化、给客户交付真正的价值。”
在微软内部，这套逻辑并不只落在 Maia 上：Cobalt 做通用计算，Maia 做 AI，Azure Boost 做网络前端，Azure DPU 做存储与数据处理，此外还有一系列安全芯片。“这在我看来不是一个芯片的故事，而是整个系统如何协同起来交付价值。”
Maia 100诞生在 LLM 之前，目标是把语音、卷积网络这类负载加速好；等到 LLM 成为主线，微软做了 Maia 200，并做了一个明确的押注——推理优先。当时行业都在谈训练，“我们往前看，认为智能的分发至少和训练同等重要，甚至更重要”。Maia 200如今已在生产环境运行，“在我们自己的机队里，性能超过了部分 GPU”。
二、负载的形状变了：从对话到 agent
问：这十个月里，负载发生了什么变化？
答：从以 chat 为主，转向带长任务的 agent。“每个 agent 生成的 token 数量，远超人类能生成的数量。”上下文拉长，KV cache 变得更持久；agent 的循环是“规划、调用工具、读入新文档、跑一次推理”，然后反复迭代。
“我们开始意识到，内存带宽和内存容量必须成为一等公民的设计约束。”同时，还要在给定的功率与资本约束里塞进更高效的算力。
他反复强调一个前提：负载不是铁板一块。“一套方案能通吃吗？不能。我们相信一套方案并不适用于所有场景。”微软会部署异构机队，覆盖那条“前沿效率曲线”上的不同点位；而 Maia 偏向的，是长上下文、内存受限、解码（decode）占比较高的那一段。
三、“推理实际上是数据搬运问题”
问：所以架构设计的出发点是什么？
答：“AI 推理对我来说不只是算力问题，它实际上是一个数据搬运问题。”
过去几年，行业在微架构、工艺节点、更低精度的数据类型上做得很好，把每次浮点运算的能耗压了下来；但“数据搬运的能耗没有跟上，有时是两个数量级的差距”。算力引擎要不断被喂数据，而这一部分能耗长期被低估。
由此有了 Maia 200引入、Maia 300继续强化的“软件定义的数据流架构”。其论点是：推理的访存模式是可预测的。“既然可以提前规划数据搬运，既然我们知道这些数据流动长什么样，就可以把数据钉在正确的位置、正确的时间，把通信和计算重叠起来。”
他还提到一个变化：AI 辅助的 kernel 开发让这件事更可行，“我们不再需要一支庞大的软件队伍去给系统编程，可以让 agent 去优化 kernel”。
落到芯片上，做法包括：片上大量 SRAM 当作 scratchpad，把可编程性和显式的数据搬运指令暴露给编译器；Tensor 单元、Vector 单元与片内全局网络协同；走向更 NUMA 化的结构，把数据放在离算力最近的地方，避免“从芯片另一头把数据拖过来”。
再往外一层，“我们把网络看成数据流架构的延伸”。专用 DMA 与通信协议让跨节点、跨机柜的数据流动沿用同一套范式，而不是“插一个网络把芯片连起来”。
四、Maia 300的账：7倍从哪来
问：能不能先给一个整体画像？
答：一个机柜96颗加速器，是 Maia 200的两倍，整柜功耗167kW；一个超节点（superpod）12,288颗加速器，用一套两级 scale-up 网络连起来。
单颗层面：计算 die 用台积电 N2P，chiplet 架构，仍是一颗全尺寸计算 die；HBM 从6层 HBM3E 升级到8层 HBM4，带宽从7TB/s 提到18TB/s，约2.5倍；机柜级内存带宽是 Maia 200的5倍；算力提升约35%至37%；单颗 SoC 功耗从约750W 升到约950W。
“只增加了200瓦，就必须转化成显著更好的智能产出。我们非常清楚，投进去的每一瓦都要变成结果，不能让任何资源闲置（strand）。”
五、为什么不做两颗计算 die：把“海岸线”延长
问：既然要用八层 HBM4，为什么不干脆上两颗计算 die？
答：一是几何问题。从 HBM3到 HBM4，接口变宽、位宽大致翻倍，而 pin 速率基本不变，需要布线的地方更多；八层堆栈要放在一颗 die 的两侧，空间并不够用。二是能效与成本：更宽的接口能带来更好的“每比特皮焦”与“每瓦带宽”表现。
解法是 chiplet：用一颗内存接口 die 向两侧延伸“海岸线”，每侧挂四个 HBM。“我们仍然是一颗计算 die，因为那是效率最高的做法；在我们看到的负载形状下，两颗计算 die 不是正确的架构选择。”
六、网络：机柜内用铜，机柜间用光
问：scale-up 网络为什么值得下这么重的注？
答：最底层是片上 NIC，Maia 200引入，Maia 300继续增强，“为 scale-up 而生：极高性能、极低延迟”。往上用标准以太网交换机和线缆，“我们相信要守住成本，不去做那些更奇特的实现，而是享受以太网这个行业的规模经济”。
节点拓扑上，相邻几颗 Maia 之间有直连链路——张量并行时，邻居之间的通信量最大，“大约一半的带宽留在节点内，另一半上行到交换机”。第一层交换机覆盖整柜96颗；第二层交换把机柜连成更大的域，可以扩到128个机柜、约1.2万颗加速器。
铜和光的分界很明确：“铜有它的传输距离，机柜内我们留在铜；从机柜内交换机到上一层交换机，开始用光。”明年会看到 scale-up 域里出现更多光互联。
问：近封装光学（NPO）和共封装光学（CPO），微软怎么看？
答：“scale-up 走向光，是所有人最终都会走的路。”但前提是把可靠性、成本和供应链一起带上来。NPO 对服务器设计的改动更平滑、更容易维护；CPO 在极高带宽下能效更好。“行业大概会先从 NPO 起步，摸清怎么制造、怎么保证可维护性，再走向 XPU 侧的 CPO。”
七、能进风冷机房，这件事是设计出来的
问：167kW 的机柜，是不是只能在液冷数据中心部署？
答：Maia 被设计成风冷和液冷两种机房都能进。芯片本身是液冷的，配一个机柜级“热交换单元”：把它放在带风扇的机柜旁，用机房的环境空气给回路里的水降温，再送回机柜。“这样 Maia 系统可以在风冷机房里跑满167kW 的整柜能力。”
原生液冷机房则不需要这个单元，直接接机房水路。“这些决定必须在架构阶段就做，等服务器都建好了再改，就来不及了。”
部署节奏上，Maia 300的产能会跟着内部业务的需求走：先让产品团队在系统上跑“影子流量”验证体验，服务准备好之后再落到目标区域。而真正的规模化部署，是2027年起的多吉瓦。
八、agent 开始写 kernel，“day-zero”不再是难题
问：内部客户迁移到新架构，软件上是不是一个大工程？
答：“完全不是。”优化都发生在 kernel 层，编程栈已经就绪；对内部客户而言，Maia 就是 API 端点，底层架构差异被抽象掉了。
他真正兴奋的是另一件事：把 agent 放进循环里做 kernel 优化。“agent 可以在循环中不断生成新版本的 kernel，回填到 kernel 库里，再通过 LLM 调用暴露出去。day-zero 模型可用性不再是问题。”
九、同一套机器，不同的服务等级
问：不同业务要的延迟和吞吐完全不同，怎么配？
答：同一套系统可以在不同的切分方案与优化点上配置。chat 或推理重的负载是一种压法；像“刚开完 Teams 会议、要一份摘要”这种任务可以批处理，走吞吐路线；而关键的 agent 循环延迟要求极严，就要降低并发与批处理，把资源让给它。
另一层是模型与基础设施的协同设计（model-infra co-design）：把系统的能力提前暴露给模型团队，让他们在模型侧做更好的选择。“这些优化决策，某种程度上可以在运行时做。”
十、落到一句话：每瓦、每美元能产出多少智能
问：从 Azure 的角度，Maia 300最终带来什么？
答：“不是芯片的故事，也不是 Maia 本身的故事，而是构建一套 AI 推理系统，在给定的功率、成本、甚至容量约束下，最大化你能产出的 token 吞吐，也就是智能。”
成本降下来，能力才能扩散。他引用了 Satya Nadella 的说法：当单位交付成本持续下降，生产率和 GDP 统计里应该能看到变化——更多人用得上这些能力，而且更便宜、更可持续。“所以我们讲前沿模型，也是在讲前沿基础设施。”
访谈最后，主持人问何时聊 Maia 400。他的回答是：“很快。”
几点值得记下的观察
第一，这套架构背后有三个可验证的判断：推理优先，数据搬运优先，以机柜和超节点而不是单卡作为设计单位。这三条与业界大方向并不冲突，但微软的取舍更极端——宁可放弃双计算 die 的扩展路径，也要保住单 die 的效率与“海岸线”；宁可沿用标准以太网，也不做私有互联。这些选择是否划算，要等2027年的实际部署来回答。
第二，注意数字的口径。7倍指机柜级 token 吞吐的预期值，基准是 Maia 200，而不是竞品；2.5倍指每瓦性能；18TB/s 与950W 都是单颗口径。整场访谈没有给出与英伟达、谷歌 TPU 的横向对比，也没有披露成本结构。因此这些数字更适合当作“代际跃迁”的证据，而不是竞争结论。
第三，一个容易被忽略的信号：用 agent 写 kernel、追求 day-zero 模型可用性，实际上是在给“软件生态”这道护城河重新定价。自研芯片过去最大的隐性成本，是编译器与算子库背后的人力投入；如果这部分能被 agent 规模化摊薄，定制芯片的经济学就会改变——这也解释了为什么一位硬件负责人会用相当篇幅去谈软件与 agent。
