同一个模型，五个编程 Agent，却诞生了三个不同维度的冠军。
智能体工具集成平台 Composio 近期开展了一组对比测试。测试统一采用 DeepSeek-V4-Pro 正式版模型，分别驱动 Claude Code、Pi、OpenCode、Hermes、DeepSeek Harness 五个编程 Agent，在最大推理强度下各执行 30 个真实多应用集成任务。
测试结果显示：通过率最高的是 Pi，成本最低的是 DeepSeek Harness，而速度最快的则是 Claude Code。
本次测试的 30 道题目涵盖 Gmail、Google Sheets、GitHub、Slack 等平台的真实集成场景，每题限时 900 秒，仅以“通过”或“未通过”作为评判标准。
最终排名方面，Pi 以通过 21 题位居榜首；DeepSeek Harness 通过 20 题位列第二；Claude Code 与 OpenCode 均通过 19 题并列第三；Hermes 通过 18 题垫底。
性能、成本与速度的多维博弈
若仅看通过率，最优与最差之间仅相差 3 题，差距似乎并不显著。然而一旦引入成本维度，格局瞬间改变。
数据显示，DeepSeek Harness 单次成功解决任务的平均成本仅为 0.028 美元，Pi 为 0.031 美元，OpenCode 为 0.032 美元，Hermes 为 0.037 美元。表现最昂贵的 Claude Code 单次成本高达 0.074 美元，是 DeepSeek Harness 的 2.6 倍。
在速度表现上则出现了反直觉的现象：成本最高的 Claude Code 反而效率最高，平均解题耗时仅 181.8 秒；而通过率第一的 Pi 耗时最长，平均需 362.9 秒，约为 Claude Code 的两倍。
深入分析题目难度分布发现：30 道题中，有 15 题所有 Agent 均能通过，7 题全部失败，剩余 8 题的结果完全取决于所选用的 Agent。这意味着接近三成的任务成败，由 Agent 框架（Harness）的能力决定。
有开发者指出，在同一模型下运行相同任务，不同 Agent 的表现差异证明了工具框架对结果的影响权重已与模型本身相当。Harness 正在承担与模型同等重要的工作，却常被忽视。
设计哲学：长提示词与极简主义的交锋
Claude Code 的系统提示词长度接近 10000 tokens，而 Pi 不足 200 tokens。通常情况下，提示词越长，Token 消耗越大且速度越慢。Composio 官方解释称，Claude Code 虽然提示词冗长，但经过了高度优化，明确的指令让模型能精准调用工具，避免了反复试错，从而实现了“用 Token 换时间”。
相比之下，Pi 采取了极端的极简策略，默认仅内置读文件、写文件、编辑和执行命令四个工具。这种设计减少了噪音，提升了模型专注度，但在面对复杂任务时，模型需现场编写 Bash 脚本构建工具，导致了额外的时间成本，即“用时间换 Token"。
Pi：少即是多的极致实践
Pi 的创始人 Mario Zechner 曾是跨平台游戏开发框架 libGDX 的作者。因不满现有 Agent 更新频繁且行为不可预测，他于 2025 年开发了这款极简编程 Agent。
Mario Zechner 认为，经过强化学习的顶级模型已足够智能，过多的系统提示词仅是针对弱模型的补丁，强模型无需依赖。Pi 将扩展功能交由 TypeScript 处理，凭借这一理念，在 Composio 的多轮横评中，无论是搭配 DeepSeek-V4-Flash 还是本次的 DeepSeek-V4-Pro，Pi 的通过率始终位居第一。
DeepSeek Harness：开源新星的通用性
DeepSeek Harness 作为新兴开源项目，短短六天便在 GitHub 获得超过 16.8 万 Star，被誉为"Agent 界的安卓”，主打插件化架构。本次测试使用的是 v0.1 预览版的标准模式，并未针对跑分进行极简优化，却依然拿下了成本最低、通过率第二的佳绩。
值得注意的是，尽管 DeepSeek Harness 搭配自家模型具有协同优势，但其核心亮点在于从设计之初便支持所有模型供应商，展现了强大的通用性与扩展潜力。
结论：Harness 之争才刚刚开始
Composio 此前已进行过两轮类似横评，分别使用 DeepSeek-V4-Flash 评测 8 个 Agent、使用 Kimi K3 评测 6 个 Agent，趋势均与本次一致。
今年 5 月，图兰大学、罗格斯大学和弗吉尼亚理工大学联合发表的论文《别再不披露 Harness 就比较智能体了》也通过控制实验证明：Harness 引起的性能波动显著超过模型本身，甚至可能导致排名逆转。
随着 Agent 生态的发展，框架层面的竞争或许比模型本身的迭代更为关键。Harness 之争，序幕刚刚拉开。