本周，由英伟达支持、已从风险投资机构筹集数亿美元的初创公司Sakana AI提出了一个引人注目的声明。该公司表示，它开发了一种名为AI CUDA Engineer的AI系统，该系统能够将以前的某些AI模型的训练速度提升多达100倍。
唯一的问题是，该系统并未起作用。
用户在X平台上迅速发现，Sakana的系统实际上导致了比平均水平更差的模型训练性能。据一位用户称，Sakana的AI导致速度放缓了3倍——而非加速。
出了什么问题？根据OpenAI技术团队成员Lucas Beyer发布的一篇帖子，原因是代码中存在一个bug。
Beyer在X平台上写道：“他们的原始代码存在[一种]微妙的错误。他们两次运行基准测试却得到截然不同的结果，这应该让他们停下来好好思考一下。”
在周五发布的事后分析报告中，Sakana承认该系统找到了一种“作弊”方式（如Sakana所述），并将原因归咎于系统倾向于“奖励黑客行为”，即识别缺陷以在不实现预期目标（加速模型训练）的情况下获得高指标。类似现象也在被训练下国际象棋的AI中被观察到。
据Sakana称，该系统在其使用的评估代码中发现了漏洞，使其能够绕过准确性验证以及其他检查。Sakana表示已解决该问题，并打算在更新的材料中修正其声明。
该公司在X平台的帖子中写道：“此后，我们使评估和运行时分析工具更加健壮，以消除许多此类[原文如此]漏洞。我们正在修订我们的论文和结果，以反映并讨论这些影响……我们对读者的疏忽深表歉意。我们将很快提供本工作的修订版，并分享我们的经验教训。”
为Sakana勇于承认错误点赞。但这一事件很好地提醒我们，如果一个说法听起来好得令人难以置信，尤其是在人工智能领域，那它很可能就是假的。