OpenAI认为当前AI基准测试存在缺陷，正启动“先锋计划”以改进模型评分方式。该计划旨在为AI模型创建评估标准，“树立什么是优秀的标杆”。
OpenAI在博客文章中指出：“随着各行业采用AI的步伐加快，有必要了解并改善AI在世界范围内的影响。创建特定领域的评估方法能更好地反映现实世界用例，有助于团队在实际高风险环境中评估模型性能。”
正如近期围绕众包基准LM Arena和Meta Maverick模型的争议所揭示的，如今确切区分不同模型差异十分困难。许多广泛使用的AI基准测试衡量的是解决博士级数学问题等专业任务的表现，而其他一些则可能被操纵或与大多数人偏好不符。
通过“先锋计划”（Pioneers Program），OpenAI希望为法律、金融、保险、医疗和会计等特定领域创建基准测试。该公司表示，未来几个月将“与多家公司”合作设计定制化基准测试，并最终公开分享这些基准测试及“行业特定”的评估结果。
“首批参与者将聚焦于初创企业，它们将为OpenAI先锋计划奠定基础，”OpenAI写道，“我们正为这一初始批次选拔少数几家初创公司，每家都在从事高价值应用场景，在这些场景中AI能够产生切实的现实影响力。”
参与该计划的公司还将有机会与OpenAI团队合作，通过强化微调（reinforcement fine tuning）技术优化模型。这是一种针对狭窄任务集优化模型的技术。
关键问题在于AI社区是否会接受由OpenAI资助创建的基准测试。OpenAI此前曾以资金支持基准测试工作并设计了自身的评估体系，但与客户合作发布AI测试可能被视为逾越了伦理界限。