AI编码工具真能提升效率?METR新研究揭示:使用Cursor反而使任务完成时间增加19%
近年来,随着 Cursor 和 GitHub Copilot 等 AI 编码工具的涌现,软件工程师的工作流程正经历深刻变革。这些由 OpenAI、Google DeepMind、Anthropic 及 xAI 模型驱动的工具,承诺通过自动生成代码、修复错误及测试变更来提升生产力,且在各类软件工程基准测试中性能持续攀升。
然而,非营利 AI 研究机构 METR 周四发布的一项随机对照试验,对“AI 编码工具能否显著提升资深开发者生产力”这一命题提出了质疑。
实验设计:真实场景下的严格测试
METR 招募了 16 名经验丰富的开源开发者,在大型真实代码库上完成了 246 项实际任务。研究采用随机对照方法:约半数任务允许使用 Cursor Pro 等顶尖 AI 工具,另一半则禁止使用任何 AI 辅助。
实验前,开发者普遍预测 AI 能将任务耗时缩短 24%。但结果截然相反。
“令人惊讶的是,我们发现允许使用 AI 实际上使完成时间增加了 19%——在使用 AI 工具时,开发者的速度反而更慢。”研究人员表示。
关键发现与潜在原因分析
值得注意的是,尽管 94% 的参与者有过使用网络 LLM 的经验,但仅有 56% 的人熟悉 Cursor(本研究指定的主要工具)。虽然所有人在实验前均接受了 Cursor 培训,但这仍是部分人首次专门使用该工具。
METR 指出以下因素可能导致 AI “拖后腿”:
- 交互成本过高:相较于直接编码,使用 AI 时需花费大量时间编写提示词并等待响应;
- 复杂代码库适配差:当前 AI 在处理大型、复杂的遗留代码库时表现往往不佳,而本次测试恰恰聚焦于此场景。
理性看待:并非全盘否定,但需保持审慎
该研究为 2025 年业界关于 AI 编码工具(尤其是所谓的“氛围程序员/vibe coders”)普遍提升生产力的乐观预期泼了一盆冷水。它提醒开发者:不应假设 AI 工具会立即加速工作流程。
不过,作者强调并未得出绝对化结论,明确指出 AI 系统目前尚未能加快大多数软件开发者的工作速度。同时,其他大规模研究仍表明 AI 工具在某些场景下确实提升了效率。
此外,AI 技术迭代极快,研究者坦言即便再过三个月,结果也可能不同。METR 也承认,AI 编码工具在完成复杂、长周期任务方面的能力已显著提高。
尽管如此,这项研究为审慎评估 AI 收益提供了重要依据。结合此前关于 AI 可能引入错误甚至安全漏洞的研究,企业在部署 AI 编码工具时仍需权衡风险与收益。

