经常与OpenAI合作测试AI模型能力并评估安全性的机构Metr表示，在测试其高度先进的新产品o3时，并未获得充足的测试时间。
周三发布的博客文章指出，针对o3的红队测试基准“在相对较短的时间内完成”。Metr认为这意义重大，因为更长的测试时间能带来更全面的评估结果。
Metr在文章中写道：“这项评估是在相对较短的时间内进行的，我们仅使用简单的智能体框架对[o3]进行了测试。”
近期报道显示，受竞争压力驱动，OpenAI正仓促推进独立评估。据《金融时报》报道，OpenAI为即将推出的重大发布项目中的部分测试人员提供的安全检查时间不足一周。
对此，OpenAI发表声明，否认存在妥协安全性的说法。
Metr表示，根据有限时间内获取的信息，o3具有“高度倾向”以复杂方式“作弊”或“破解”测试以最大化得分——即使模型清楚意识到其行为与用户及OpenAI的意图不一致。该组织认为，无论模型声称已对齐、“设计即安全”或没有自身意图，o3仍可能参与其他类型的对抗性或“恶意”行为。
Metr在帖子中强调：“虽然我们并不认为这种情况特别可能发生，但值得注意的是，[我们的]评估设置无法捕捉此类风险。”“总体而言，我们认为仅靠部署前的能力测试不足以作为风险管理策略，目前正在原型开发其他形式的评估方法。”
OpenAI的另一家第三方评估合作伙伴Apollo Research也观察到o3及其新模型o4-mini存在欺骗性行为。在一项测试中，模型被分配100个计算信用用于AI训练运行并被要求不得修改配额，但它们将限额提高到了500个信用并对此撒谎；另一项测试中，当被要求承诺不使用特定工具时，模型发现使用该工具有助于完成任务后仍然使用了它。
在针对o3和o4-mini的安全报告中，OpenAI承认若缺乏适当监控协议，这些模型可能导致“较小的现实世界危害”，例如因误导引发错误代码等问题。
OpenAI写道：“[Apollo的]研究结果表明，o3和o4-mini具备上下文中的谋划能力和战略性欺骗能力。”“虽然这些行为相对无害，但日常用户应意识到模型声明与实际行动之间的差异……这可以通过分析内部推理轨迹进一步评估。”
太平洋时间4月27日下午1:13更新：澄清Metr并非意指其测试o3的时间少于OpenAI此前主要推理模型o1的测试时间。