大数跨境

你以为AI推理只能买NVIDIA?实际便宜2倍的方案已经出现了

你以为AI推理只能买NVIDIA?实际便宜2倍的方案已经出现了 AI Prompt 实验室
2026-07-05
3
导读:你可能已经习惯了这样的叙事:做AI推理,除了NVIDIA没得选。

你可能已经习惯了这样的叙事:做AI推理,除了NVIDIA没得选。

Blackwell芯片一卡难求,价格炒上天,Token成本下不来所有人都归咎于供给不足。但今天我要告诉你一个被大多数人忽视的信号:

AMD+中国AI模型,正在悄悄吃掉NVIDIA的蛋糕。

发生了什么

就在上周,Wafer AI在AMD MI355X显卡上跑通了智谱AI的GLM-5.2模型,结果令人震惊:

  • 2626 tokens/秒/节点
  • • 达到NVIDIA B200性能的80%
  • • 成本不到B200的一半

这是第一次,有团队在AMD卡上把中国大模型跑出接近旗舰级NVIDIA的表现。更关键的是,他们用的是MXFP4量化(AMD Quark),而非传统的FP8。

你以为这是"性能妥协"?实际恰恰相反

很多人会想:便宜肯定意味着性能打折。

但看数据:

  • • 单流推理达到213 tokens/秒(按Artificial Analysis标准,10K输入+1.5K输出)
  • • 在20K输入、60%缓存命中率的真实工作负载下,吞吐量一点不含糊
  • • GSM8K、GPQA-Diamond等基准测试几乎零损失

这不是在牺牲性能,而是在重新定义"性价比"三个字。

真正的转折点:软件护城河正在崩塌

NVIDIA的核心优势从来不只是硬件,而是CUDA生态的day-0支持——新模型发布当天就能跑起来。

AMD呢?之前经常要等好几周才能适配新模型。

但Wafer的工程师这次只用了两个"微小但关键"的修复:

  1. 1. 修正了sglang对MXFP4量化下MTP头的识别问题
  2. 2. 为ROCm环境添加了深度 speculative decode支持

没有写任何自定义内核。

他们原话是:"SOTA on AMD越来越只是支持问题,而非软件问题。CUDA的护城河正在实时消融。"

这意味着什么

  1. 1. 中小玩家的机会来了:不需要抢Blackwell,不需要给黄仁勋交"显卡税",一样能跑前沿模型
  2. 2. 中国AI的全球化通路:GLM-5.2这次证明了不仅能打,而且能在非NVIDIA生态里打
  3. 3. 推理成本将继续暴跌:当AMD成为第二选择,定价权不在一家手里

写在最后

三年前你说"AMD也能做AI推理",没几个人信。

今天,2626 tokens/秒,不到一半的价格,实测数据就摆在那里。

CUDA护城河裂开的第一道缝,已经看到了。


关注AI前哨,比99%的人先看到AI的下一步。


                 

【声明】内容源于网络
0
0
AI Prompt 实验室
【Prompt实验室】——让AI成为你的效率外挂!🔥 每日更新: ✅ 高效Prompt模板(写作/设计/编程/学习全场景) ✅ AI工具深度测评✅ 行业前沿解读(技术趋势+商业案例+实战技巧)
内容 22
粉丝 0
AI Prompt 实验室 【Prompt实验室】——让AI成为你的效率外挂!🔥 每日更新: ✅ 高效Prompt模板(写作/设计/编程/学习全场景) ✅ AI工具深度测评✅ 行业前沿解读(技术趋势+商业案例+实战技巧)
总阅读57
粉丝0
内容22