据周二发布的一篇博客文章称，Anthropic 正在开发一个开源系统，用于验证给定输出是由哪个 AI 模型生成的。该系统名为 FlashProve，旨在提供研究人员所称的“可证明推理”——即一种密码学证明，本质上是一种数学保证，确保给定的输出确实来自特定模型。它旨在让用户确认他们收到的答案确实来自他们认为正在使用的模型。
类似于加密电子邮件签名让收件人确认消息确实来自其声称的发件人，FlashProve 能够抵御冒充者试图将一个模型伪装成另一个模型的企图，即使冒充者是构建和运行该模型的实验室。特别是，研究人员指出，该系统可用于防止 AI 公司秘密替换为更便宜的模型以降低成本，或替换为更昂贵的模型以夸大其性能结果。
FlashProve 还可用于验证第三方声称某项特定任务是由先进模型完成的说法。“开发人员可能会声称他们的软件库已由前沿网络安全模型扫描过漏洞，或者一家公司可能会声称其商业计划已得到适当模型的批准，”研究人员写道。“用户如何验证这些说法？”
为了使该系统发挥作用，AI 实验室需要发布其发布的每个模型的“指纹”，以便后续与特定输出进行匹配并进行密码学验证。关键在于，这些指纹不会泄露模型的权重，即定义其行为方式的内部数字，而像 Anthropic 和 OpenAI 这样的闭源模型制造商则将这些数据保密。这意味着实验室可以在不泄露其最有价值资产的情况下发布指纹，从而使该系统也能与商业模型配合使用。该系统还设计得十分轻量级，因此可以在本地设备上执行验证。
作为公告的一部分，研究人员发布了详细的规范说明以及系统各个部分的可用代码，这些内容在 GitHub 上以开源许可证的形式公开提供。该系统的研究仍在进行中，目前暂无在 Anthropic 或其他任何实验室部署的计划。
“这篇研究文章旨在分享阶段性进展，而非最终的研究议程，”研究人员在公告文章中解释道。“我们特意分享这些内容，希望其他人能审视我们所做的工作，在此基础上加以改进。”