新智元报道
【导读】跑分多年，新基准指出 FLOPS 已无法准确衡量智能体性能。英伟达 GB300 登场，能效表现较上代提升 20 倍。
同样一兆瓦电力，英伟达最新的 GB300 NVL72 可支持 61400 个并发智能体，而上一代 H200 仅能支持约 2600 个，两者相差整整 20 倍。
英伟达公布的 AA-AgentPerf 成绩显示：在每秒 20 与 60 个 token 两档服务标准下，GB300 NVL72 每兆瓦的并发智能体数均为 H200 的 20 倍。
这一数据发布之初，外界曾视为常规的性能炫技。但实质变化在于衡量算力的标尺发生了根本性转移。
这把新尺子是由独立评测机构 Artificial Analysis 发布的最新基准：AA-AgentPerf。该机构将其定义为业界首个专为"AI 智能体（AI agent）”设计的推理基准。
其核心指标不再局限于每秒 token 生成量，而是“每兆瓦并发智能体数（Agents per Megawatt）”，即每消耗 1 兆瓦电力，系统能同时维持多少个智能体高效运转。
既然 FLOPS 和 Token 吞吐量已沿用多年，为何急需推出 AA-AgentPerf 新基准？
旧标尺难量智能体新负载
要解答此问，需先厘清智能体运行时的真实负载特征。Artificial Analysis 明确指出，2026 年主流的 AI 负载与传统基准设计时的场景已截然不同：旧基准测试的是定长合成请求，且往往关闭了生产环境中实际启用的优化项。
英伟达对此打了个贴切的比方：普通对话如同百米冲刺，模型接收问题后输出回答即结束；而智能体执行任务更像接力跑。
智能体将目标拆解为数十甚至上百个步骤，涉及读文件、写代码、执行命令、分析结果及决策下一步，环环相扣直至任务完成。在此过程中，大模型调用与工具调用交替进行，上下文不断累积，复杂度呈指数级增长而非简单叠加。
现有推理基准多针对单次调用，测量单请求延迟或单机并发量，并未考虑智能体特有的链式调用、工具等待及上下文膨胀等问题。
长会话中存在的测试盲区尤为关键：相同的前缀内容会重复出现，能否有效缓存以避免重复计算，直接决定算力节省程度。此外，工具返回结果常导致上下文激增，而最终输出可能仅有数百 token，这种忽长忽短的节奏对调度器和显存层级提出严峻挑战。
对于投入真金白银建设数据中心的用户而言，他们更关注系统在单位电力和硬件成本下，究竟能支撑多少有效产出的智能体。这些核心问题，传统基准无法给出答案。
首个专为智能体打造的基准
AA-AgentPerf 摒弃了固定长度的合成提示词，转而回放真实的编程智能体轨迹。这些轨迹源自智能体解决真实代码仓库问题的过程，覆盖 12 种以上编程语言，单段会话最长可达 200 轮，上下文轻松突破 10 万 token。
输入长度介于 5 千至 13 万 token 之间，平均约 2.7 万。撑大长度的并非初始提示词，而是多轮交互中累积的工具输出与对话历史。
在评分机制上，该基准不盲目追求极致并发数，因为过高的并发会导致单个智能体响应迟缓，失去实用价值。AA-AgentPerf 采取反向策略：先锁定服务等级目标（SLO），确保每个智能体的输出速度和首字延迟（TTFT）达标，再测试系统在此约束下能承载的最大并发量。
SLO 标准分为多档，从每秒 20 token 的基础档到每秒 180 token 的高性能档，分别对应市场上真实存在的服务水平。
此外，该基准全面开放了厂商在生产环境中常用的优化技术，如 KV cache 复用、推测解码、预填充与解码分离部署等。关闭这些优化进行测试已无实际意义。
同时，基准严格监控输出质量，防止以牺牲回答质量为代价换取并发数提升。最终，所有进步都汇聚于核心指标：每兆瓦并发智能体数。在能耗即成本的当下，这一指标才是买家最关心的核心价值。
能效领先 20 倍，单卡密度提升 40 倍
在一项代表当前最强水平的混合专家（MoE）模型测试中，GB300 NVL72 每兆瓦可支撑 61400 个并发智能体，平均每块 GPU 承载 57.5 个。相比之下，H200 每兆瓦仅支持约 2600 个，单卡仅为 1.4 个。
数据显示，二者在每兆瓦能效上相差约 20 倍，在单 GPU 服务密度上相差约 40 倍。
这两个数值含金量不同：每兆瓦反映的是能效账，即单位电力能购买的智能体产能；每 GPU 反映的是硬件账，即单卡的服务密度。基于此，企业可直接换算电力预算所能支撑的智能体应用规模。
榜单除英伟达 GB300 外，还包含 AMD MI355X 等竞品，涵盖单卡、整机至整机架的全方位对比。首批测试结果揭示了两条显著规律：
规律 1：机架级系统具备天然成本优势。其能将推理任务充分拆解并分摊至更多显卡，无论在纯算力还是每兆瓦能效上，均大幅超越单节点系统。
规律 2：从 Hopper 架构到 Blackwell 架构的跨越，使系统并发承载能力迈上新台阶，这绝非小幅改进，而是代际飞跃。
从单卡到机架：系统级的胜利
从 H200 到 GB300 的跃升，表面看是单卡性能突破，实则是系统级协同的胜利。关键在于 GB300 NVL72 通过 NVLink 将 72 块 GPU 互联成机架级整体。
对于庞大的混合专家模型，这一架构至关重要：模型可完整展开，将专家模块分配至整片 GPU 并行执行，避免资源挤占。CUDA 核心进一步优化，实现跨专家通信与计算的重叠，将协调开销隐藏于算力之中，而非堆积为时延。
TensorRT-LLM 则在并发会话增长时守住效率底线，例如将输入处理与输出生成拆分优化。简言之，这一成绩是硬件、互联技术与软件栈共同作用的结果。
将 72 块 GPU 焊接成高带宽整体，实现参数、KV cache 及中间结果的快速共享，这才是支撑 6 万个智能体协同运转的坚实底座。
基准测试的边界与局限
需注意的是，基准测试不等同于生产现实，以下几点边界不容忽视：
第一，6 万并发数并非指一台机器同时运行 6 万个独立大模型。这是基于预先录制轨迹的模拟，工具调用也以固定 CPU 耗时模拟，旨在纯粹反映算力差异，与实际生产交付能力不能直接划等号。
第二，基准成绩非生产服务协议。Artificial Analysis 强调，这是一份快速演变的前沿快照，随着软件持续优化，各系统性能仍有上升空间。
第三，AA-AgentPerf 目前仅为单一机构提出的标准。其能否像 MLPerf 一样成为全行业公认的标尺，尚待时间验证。
参考资料：
https://artificialanalysis.ai/articles/aa-agentperf
https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/
编辑：元宇