一项新的AI编程挑战赛揭晓了首位获胜者——并为AI驱动的软件开发工程师树立了新标杆。
周三太平洋时间下午5点，非营利组织Laude Institute宣布K Prize的首位获奖者。这是由Databricks和Perplexity联合创始人Andy Konwinski发起的多轮AI编程挑战。获奖者是巴西提示工程师Eduardo Rocha de Andrade，他将获得5万美元奖金。但比获胜更令人惊讶的是他的最终得分：他仅以7.5%的正确率答对测试题目而胜出。
“我们很高兴自己构建了一个真正具有挑战性的基准测试，”Konwinski表示，“如果基准测试要产生意义，它们就必须足够难。”他继续说道：“如果各大实验室带着他们最强大的模型参赛，分数会有所不同。但这正是关键所在。K Prize采用离线模式并限制计算资源，因此更青睐小型和开源模型。我很喜欢这一点，它让竞争更加公平。”
Konwinski承诺向首个在该测试中得分超过90%的开源模型提供100万美元奖金。
与知名的SWE-Bench系统类似，K Prize利用GitHub上标记的问题来测试模型处理现实世界编程问题的能力。但不同于SWE-Bench基于固定问题集供模型训练，K Prize被设计为“无污染的SWE-Bench版本”，通过限时提交机制防止针对基准测试的特化训练。第一轮截止时间为3月12日，K Prize组织者随后仅使用在此日期之后标记的GitHub问题构建测试用例。
7.5%的最高分与SWE-Bench本身形成鲜明对比：后者在其较简单的“Verified”测试中目前最高分为75%，在较难的“Full”测试中为34%。Konwinski仍不确定这种差异是由于SWE-Bench存在数据污染，还是仅仅因为从GitHub收集新问题更具挑战性，但他预计K Prize项目很快就能给出答案。
“随着我们进行更多轮测试，我们会更有把握，”他告诉TechCrunch，“因为我们预计人们会适应每几个月参与一次此类竞赛的节奏。”
鉴于目前已有广泛可用的AI编程工具，这似乎是一个奇怪的表现不佳之处。但随着基准测试变得过于简单，许多批评者认为像K Prize这样的项目是解决AI日益严峻评估问题的必要步骤。
“我对为现有基准测试构建新测试持非常乐观的态度，”普林斯顿大学研究员Sayash Kapoor表示，他曾在最近的一篇论文中提出了类似观点，“如果没有这样的实验，我们实际上无法判断问题是数据污染，还是仅仅针对SWE-Bench排行榜进行人工干预。”
对Konwinski而言，这不仅仅是一个更好的基准测试，更是对整个行业发出的公开挑战。“如果你听信那些炒作，似乎我们应该已经看到AI医生、AI律师和AI软件工程师了，但事实并非如此，”他说，“如果我们连在无污染的SWE-Bench上达到10%以上的得分都做不到，那就是对我而言的现实检验。”