周四,劳德研究所宣布其首批“弹弓”(Slingshots)资助项目,旨在“推进人工智能的科学和实践”。
作为研究人员的加速器,“弹弓”计划提供学术环境中稀缺的资金、算力及工程支持;受助者则需承诺产出初创公司、开源代码库等最终成果。
首批15个项目聚焦AI评估难题。其中包括命令行编码基准测试Terminal Bench及ARC-AGI最新版本等知名项目。
另有项目探索评估新范式:加州理工学院与德州大学奥斯汀分校联合开发的Formula Code评估AI代理优化代码能力;哥伦比亚大学的BizBench针对“白领AI代理”提出综合基准;其余项目则涉及强化学习或模型压缩新架构。
SWE-Bench联合创始人John Boda Yang担任新项目CodeClash负责人。该项目受SWE-Bench启发,采用动态竞赛框架评估代码,以期获得更全面的结果。
Yang表示:“持续在核心第三方基准上评估能推动进步,我担心未来基准测试沦为特定公司的专属工具。”

