大数跨境
首页
>
天下苦CUDA久矣，亚马逊、谷歌联手围攻CUDA护城河
>

天下苦CUDA久矣，亚马逊、谷歌联手围攻CUDA护城河

天下苦CUDA久矣，亚马逊、谷歌联手围攻CUDA护城河 至顶AI实验室
2026-10-29
3
导读：亚马逊、谷歌一周内先后出手，想让PyTorch代码几乎不改就离开英伟达。可能跑和跑得好是两回事，就算跑好了，也只是换了一把锁。CUDA的护城河还在，只是往后退了一步

  作者 | ZDTL

来源 | 至顶AI实验室

上周的PyTorch大会，风头最盛的，是亚马逊和谷歌两家云厂商。
10月19日，周一，亚马逊发布了TorchNeuron。第二天，谷歌宣布开源TorchTPU。
两样东西其实是一个用途，让开发者的PyTorch代码，几乎不用改，就能跑在两家的芯片上。
前后脚发布，合作方都是Meta的PyTorch团队，时间都卡在大会上。虽然两家的官方博客从头到尾没提英伟达三个字，可大家都明白，他们针对的是CUDA。
为什么是CUDA。
英伟达在数据中心AI加速芯片上的份额，常年在八成以上。芯片的性能，其他家咬咬牙总能追上来，但CUDA这十几年攒下的家底，追起来就难多了。
之前聊B300的时候我们说过，CUDA真正的护城河，是它背后的几百万开发者的肌肉记忆，拿来就能用的算子库，还有出了问题网上一搜就有答案的那种确定性。
这些东西加在一起，就成了一种锁定。
代码写在CUDA上，工程师学的是CUDA，工具链、推理框架、调优经验，全都在英伟达的卡上。哪天想换，硬件换了，整个团队的工作方式也得跟着推倒重来。
这些年大家吐槽英伟达，说得最多的是贵，是缺货。可贵和缺货，咬咬牙也就过去了，最难受的是想走走不了。
尤其是云厂商，比谁都难受。
亚马逊有Trainium，谷歌有TPU，微软有Maia，芯片都做出来了，客户就是不太愿意用。道理很简单，模型代码迁过去要重写，调试要重来，以前踩过的坑要再踩一遍，谁愿意干。
所以这一次，两家换了个打法。
开发者平时写的是PyTorch，直接去写CUDA的人其实不多。那就干脆不碰CUDA，在PyTorch这一层做文章。按亚马逊的说法，85%的AI研究者和开发者都在用PyTorch，只要PyTorch能在自家芯片上原生跑起来，CUDA这道门，就算绕过去了。
亚马逊的TorchNeuron，最简单的情况下，把设备改成.to('neuron')就能切到Trainium上，Apache 2.0协议开源，支持Trainium2和Trainium3，据说已经有30多家早期客户。谷歌的TorchTPU从四月起就在小范围试用，这次彻底开源，运行时不再依赖JAX，PyTorch的eager模式、torch.compile都能直接用。PyTorch官方的原话是，迁移只需要“微不足道的代码改动”。
听起来，一行代码就能离开英伟达。
真有这么简单？
仔细翻两个软件的文档，其实没那么简单。
谷歌这边，PyTorch官方博客里写得很清楚，分布式任务用TorchTPU默认的通信方案，计算和通信没法重叠，端到端性能比优化过的方案要低30%到40%左右。想要峰值性能，官方建议去用Pallas内核，再配上vLLM、SGLang这些专门适配过TPU的生产级框架。
绕了一大圈，又回到了为特定硬件手写内核、专门调优的老路上。
亚马逊的措辞是“大多数情况下”只需要改配置，至于哪些情况不行，没细说。它自己放出来的一个案例倒挺说明问题，帮一家公司把一个3B的模型搬到Trainium2上，前后改了三处，注意力内核换了写法，优化器的通信方式重新设计，反向传播还要单独编译。
3B，放在今天算是非常小的模型了。
第三方机构The New Stack分析后得出结论，对想多一个选择的开发者来说，这是好消息，但多少有点失望。迁移现有代码确实容易了，可要在一块陌生的芯片上跑出最好的性能，还是不容易。
能跑，和跑得好，是两回事。
这恰好也戳中了英伟达真正的底牌，CUDA这个编程接口，被绕开也就绕开了，可英伟达十几年里为自己的卡写好的那些优化内核，推理框架里一行行调出来的性能，工程师们踩坑换来的经验，没法跟着一行代码一起迁走。
接口统一了以后，比拼的恰恰是这些。
还有一层，讨论的人不多，我反倒觉得更有意思。
就算有一天，TorchNeuron和TorchTPU把性能问题都解决了，企业真的就自由了吗？
亚马逊不卖Trainium，谷歌也不卖TPU，想用，只能去它们的云上租。
亚马逊开放的是软件这一层，至于自研芯片那一层，它是要留着自己出租的。
所以，换个角度看这件事，代码从英伟达那里解放出来，下一站，是亚马逊云或者谷歌云。锁还在，只是换了一把。
英伟达的卡就不一样了，可以买回来放进自家机房，可以在任何一家云上租，甚至可以买一台放在桌上。哪里都能用，这本身就是护城河的一部分。
当然，对已经深度绑在某一家云上的公司来说，这把新锁也许没那么难受，算力账省下来了，被谁锁着都无所谓。所以最先动起来的，大概率是那些本来就住在AWS或者谷歌云上、对成本又特别敏感的公司。
英伟达的另一张牌
英伟达这边，其实也没闲着。
就在亚马逊发布TorchNeuron的同一周，英伟达放出了一批新的开放权重模型。Nemotron 3.5 Super VL，1200亿参数，给企业Agent用；Nemotron 3.5 Bolt，专门为搭载RTX Spark的AI PC和DGX Spark工作站准备，最小的Bolt E4B权重只有4GB。
时间点确实挺巧，云厂商在数据中心里抢开发者，英伟达把战线往外拉，一直拉到了开发者的桌面端。
10月16日，首批RTX Spark笔记本开始发货，6144个CUDA核心，最高128G统一内存，国内外评测基本都拿它和MacBook Pro放在一起比。DGX Spark就更早了，不少开发者桌上已经摆着一台。
这两类机器，我们至顶AI实验室手里都有，按英伟达的说法，它们跑的是一整套CUDA的软件栈，在桌面上调通的东西，搬到数据中心的英伟达集群上，用的还是同一套。
这就是英伟达的能力。
开发者的第一台机器用什么，往往决定了他习惯什么，一个工程师天天在自己桌上用CUDA写代码、调模型、跑小模型，等到上生产环境，第一反应自然还是去找英伟达的卡。
TorchNeuron和TorchTPU想解决的，是代码能不能搬过去；英伟达想做到的，是让你从一开始就懒得搬。
英伟达负责开放模型与软件的副总裁Kari Briski，在发布博客里说了这么一句：任何想在英伟达基础设施上跑Agent的组织，都能找到适合自己那一档的开放模型，不用在能力和可部署性之间二选一。
翻译一下就是，从服务器到工作站再到笔记本，每一档都有硬件，每一档都有模型，从上到下都是CUDA。
云厂商在PyTorch这一层追平接口，英伟达就在接口的上下两头继续加码，下面是从云到端的硬件，上面是模型、算子库和推理框架，一年年往上叠。
所以我个人的判断是，训练这一块，CUDA短期内很难被撼动。可能最先松动的会是推理，尤其是云上那些跑量大、模型相对固定、又对成本很敏感的业务。这类工作一旦调优到位，就能长期省钱，花一次力气迁过去，账是算得过来的。
至于开发者桌上的那台机器，英伟达大概不打算让。
国产芯片，缺的是钥匙
把视线拉回国内，这件事其实更有参考价值。
国产AI芯片这些年碰到的，是同一问题。硬件参数一代比一代好看，发布会一场比一场热闹，开发者就是不太愿意迁，原因和亚马逊、谷歌遇到的一模一样。
所以这次两家云厂商的路数，对国产芯片很有启发。另起炉灶造一个CUDA，十几年都未必追得上；在PyTorch这样的开源框架里把自己做成原生后端，再把主流推理引擎打通，可能是一条更现实的路。
国内其实有人已经在这么干了。
10月20日，跟TorchTPU同一天，DeepSeek开源了自家线上服务用的推理框架DeepInfer，Apache 2.0协议，目前支持英伟达SM100架构的GPU，和华为的昇腾950。一家头部模型公司，把自己看家的推理引擎拿出来开源，支持列表里写上了国产芯片的名字，这个信号分量不轻。
但细看DeepInfer的说明文档，同样的故事又演了一遍。性能曲线只给了英伟达平台的；批次不变推理、确定性采样这些特性，也只标了支持英伟达。华为昇腾上到底跑得怎么样，文档没说，只能等实测。
能跑，和跑得好，在国内一样是两回事。
但国内还有一点不同。
对海外企业来说，这场围攻打到最后，无非是从英伟达的锁换到云厂商的锁，选哪把，看哪家便宜。
国内就没这么轻松了。出口管制一年比一年紧，前阵子我们写过，B300在国内卖到了三倍多的溢价，还得排队。挑哪把锁，对国内公司来说是种奢侈的烦恼，更要紧的是，钥匙得握在自己手里。
这把钥匙，靠芯片参数换不来。得靠一个个开源框架、一个个推理引擎，还有一笔笔敢压上去的真实业务，一点点磨出来。
回到开头的问题，亚马逊和谷歌这一周的动作，能不能打破CUDA的护城河？
我的答案是，护城河还在，只是往后退了一步。
以前换芯片，第一个需要解决的是代码能不能跑，这个问题正在被PyTorch一点点抹平。接下来的，是跑得够不够快、够不够稳，靠的是算子、内核、推理框架这些一点点调出来的东西，英伟达在这上面，已经领先了十几年。
所以，真正值得关注的，是vLLM、SGLang这些主流推理框架里，Trainium、TPU还有昇腾的支持，哪天能做到和英伟达一样成熟；还有，哪家公司敢把每天在赚钱的推理业务整体搬过去，并且公开出来讲。
这两件事发生了，CUDA的护城河才算真正开始变窄。
天下苦CUDA久矣，这一周之后，至少开发者手里多了几把可以试的锁。
至于国产芯片，光有锁还不够，钥匙得是自己的。

END
本文来自至顶AI实验室，一个专注于对AI计算机、工作站及各类AI相关硬件设备，开展基于真实使用场景评测的研究机构。


图片


图片

【声明】内容源于网络
0
0
至顶AI实验室
一个专注于探索生成式AI前沿技术及其应用的实验室。
内容 70
粉丝 0
至顶AI实验室 一个专注于探索生成式AI前沿技术及其应用的实验室。
总阅读1.9k
粉丝0
内容70