尽管OpenAI、Google和Anthropic等AI巨头致力于提升代码助手能力，但模型表现仍未达预期。微软研究部门主导的一项新研究表明，人工智能在软件调试方面仍面临显著挑战。
研究详情
研究显示，在SWE-bench Lite软件开发基准测试中，包括Claude 3.7 Sonnet和o3-mini在内的AI模型解决复杂问题的能力有限，在编码等专业领域尚无法与人类媲美。
研究团队将九种不同模型作为单一提示驱动代理（Agent）的核心架构，并赋予其Python调试器等工具访问权限，要求其完成SWE-bench Lite中的300个软件调试任务。
Claude 3.7 Sonnet、OpenAI o1和o3-mini对比
测试结果显示，代理成功完成的任务普遍未过半数。即便采用更强更新的模型，情况也未明显改善：Claude 3.7 Sonnet以48.4%的平均成功率居首，OpenAI o1（30.2%）和o3-mini（22.1%）紧随其后。
部分模型在使用调试工具时存在障碍，且难以根据问题类型匹配合适工具。研究指出，核心瓶颈在于数据稀缺——现有训练数据缺乏足够的人类调试轨迹样本。作者认为，通过针对性训练或微调可提升模型的交互式调试能力，但这依赖于专门的调试数据集。