推理优化公司 Wafer 最新测试数据显示，开源模型 GLM 5.2 已成功在 AMD MI355X 芯片上高效运行。测试结果显示，单节点吞吐量达 2626 tok/s，单流吞吐量为 213 tok/s。该性能约为英伟达旗舰 B200 的 80%，但硬件成本不足其一半。
这一成果迅速引发业界关注，相关讨论登上 Hacker News 榜单前列。值得注意的是，完成此项突破的 Wafer 团队仅获得 400 万美元种子轮融资。
技术路径：两行代码实现成本减半
Wafer 在其技术博客中详细披露了将 GLM 5.2 部署至 AMD 芯片的全过程，核心策略分为模型量化、引擎选型及底层优化三个步骤。
1. 模型量化与精度保持
团队首先利用 AMD Quark 工具，将模型权重从高精度的 BF16 格式压缩至资源占用更低的 MXFP4 格式。基准测试显示，量化后模型精度损失微乎其微：GSM8K 从 96.5% 降至 95.5%，GPQA-Diamond 从 92.2% 降至 90.3%，而 tau2 指标甚至从 81.9% 提升至 83.4%。
2. 引擎选型与投机解码优化
在 vLLM、ATOM 和 sglang 三大推理引擎中，Wafer 最终选定 sglang，因其在长文本场景下能兼顾输出连贯性与量化效果。针对 sglang ROCm 镜像默认不支持投机解码的问题，团队解决了两个关键阻碍：
- 权重命名冲突：Quark 工具生成的共享专家层前缀与 sglang 实际调用前缀不一致，导致加载崩溃。通过在 sglang 中重新登记该层名称，单流吞吐量提升近 3 倍。
- 编译兼容性问题：深层投机解码配置的融合 Kernel 直接引用了 CUDA 头文件。通过增加一行编译保护代码，成功适配 ROCm 环境。
3. 并行策略与 Kernel 调优
针对 20k 输入负载下的 Prefill 阶段瓶颈，团队将并行策略从 TP8 调整为 TP4×DP2，使节点吞吐量从 1461 tok/s 提升至 1944 tok/s。此外，通过手动指定适用于 GLM 5.2 专家层形状的 Kernel，替代了默认的慢速兜底路径，最终将单节点聚合吞吐量锁定在 2626 tok/s。
实测数据显示，在 20k 输入、1k 输出及 60% 缓存命中率的模拟生产环境中，系统饱和点达每秒 2.4 次请求，首 Token 延迟控制在 2.22 秒以内，成功率 100%。
小团队突围：AI 辅助工程重塑基础设施
Wafer 作为一家仅获 400 万美元种子轮融资（由 Fifty Years 领投，YC、Liquid2 跟投）的小型初创公司，其核心团队仅数十人。其能够快速跟进最新模型适配，主要得益于 AI 辅助工程能力的提升。
此前在适配 Qwen3.5 397B 模型时，Wafer 曾通过编写定制融合 Kernel，将六次显存调用合并为一次，使计算效率提升 1.84 倍，单卡吞吐量登顶 ArtificialAnalysis 榜单。而在本次 GLM 5.2 适配中，团队无需重写 Kernel，仅需在 AMD 官方生态中排查并修复若干兼容性细节即可。
这一转变标志着 AMD 软件生态正从“重复造轮子”向“工具链基本可用”演进。Wafer 这类公司的存在价值，正是填补了芯片巨头官方适配滞后与新模型发布之间的时间窗口。
行业格局：英伟达护城河面临挑战
Wafer 指出，SOTA 性能在 AMD 平台上的实现程度，正越来越取决于官方软件支持的速度。独立测试机构 SemiAnalysis 今年 5 月的数据也佐证了这一趋势：在 GLM-5 模型上，AMD MI355X 凭借软件优化的跟进，每百万 Token 成本降至 0.22 美元，较英伟达 B200 的 0.30 美元降低逾四成。
尽管在单节点部署上 AMD 已展现出成本优势，但在多机分布式部署及跨机专家并行等复杂集群场景下，英伟达仍保有显著的技术壁垒。SemiAnalysis 分析认为，英伟达通过机架级方案可实现近三倍的单卡效率提升，这是当前 AMD 尚未完全攻克的领域。
随着云厂商将此类适配经验复制至更多开源模型，推理服务价格有望进一步下探。这不仅降低了开源模型的应用门槛，也意味着英伟达的竞争优势正从“绝对性能领先”转变为“追赶时间差”的博弈。