自2024年以来，Anthropic性能优化团队一直通过家庭作业测试评估求职者的专业能力。然而，随着AI编程工具日益强大，该测试被迫大幅调整，以防止候选人仅凭Claude即可轻松完成作答。
团队负责人Tristan Hume在周三的博客文章中回顾了此次挑战的演变：“每个新推出的Claude模型都迫使我们重新设计测试。”他指出，在相同限时内，Claude Opus 4的表现已优于多数人类申请人，虽仍能区分最强候选人，但随后发布的Claude Opus 4.5甚至追平了顶尖水平。
尽管测试允许使用AI工具，但这仍构成了严重的评估难题。若人类无法超越模型输出，测试便沦为衡量模型差异的工具，而非筛选顶级人才的有效手段。Hume坦言：“在家庭作业测试的限制条件下，我们已无法区分顶级候选人的输出与我们最强大模型的输出。”
颇具讽刺意味的是，AI考试作弊问题虽在全球教育界引发混乱，AI实验室自身也不得不面对这一困境。但Anthropic具备独特的解决优势。最终，Hume设计了一项新测试：减少对硬件优化的侧重，转而采用足够新颖的题目，以难倒当前的AI工具。
此外，文章还分享了原始测试题，邀请读者尝试提出更优解决方案。“如果你能胜过Opus 4.5，”文中写道，“我们非常期待你的来信。”
更正：本文早期版本错误陈述了Anthropic对家庭作业考试中AI工具使用的政策。事实上，公司明确允许使用AI。TechCrunch对此错误表示遗憾。