OpenAI 开源 Evals 框架：众包评估助力 AI 模型迭代
OpenAI 随 GPT-4 一同开源了名为 Evals 的 AI 模型性能评估软件框架。该工具旨在允许任何人报告模型不足，以指导后续改进工作。
面向模型测试的众包方法
OpenAI 在博客文章中介绍，Evals 是一种面向模型测试的众包方法。官方表示：“我们使用 Evals 来指导模型开发（包括识别缺陷和防止性能倒退），用户也可利用它跟踪不同模型版本及演进中的产品集成表现。我们希望 Evals 能成为分享众包基准测试的平台，涵盖尽可能广泛的失败模式和困难任务。”
Evals 核心功能与兼容性
Evals 专为开发和运行针对 GPT-4 等模型的评估基准而设计。开发者可通过数据集生成提示词，衡量模型补全内容质量，并比较不同数据集与模型间的性能差异。
该框架兼容多种主流 AI 基准测试，同时支持编写新类以实现自定义评估逻辑。例如，OpenAI 已创建一个包含 10 个导致 GPT-4 失败提示词的逻辑谜题评估集。
激励机制与行业趋势
尽管参与 Evals 属于无偿工作，但 OpenAI 计划向贡献“高质量”基准测试的用户授予 GPT-4 访问权限作为激励。公司强调：“Evals 将成为使用和基于我们模型进行开发的重要组成部分，欢迎直接贡献、问题和反馈。”
通过 Evals，OpenAI 正追随同行步伐，转向众包模式以增强 AI 模型稳健性。此前，马里兰大学于 2017 年推出 Break It, Build It 平台供研究人员提交模型并由用户构思击败示例；Meta 也维护着 Dynabench 平台，让用户尝试“欺骗”情感分析、问答及仇恨言论检测等模型。