所有生成式 AI 模型都会产生幻觉，从 Google 的 Gemini 到 Anthropic 的 Claude，再到最新低调发布的 OpenAI 的 GPT-4o。换句话说，这些模型是不可靠的叙述者——有时会产生滑稽的效果，但有时则会造成严重问题。
但并非所有模型捏造事实的频率都相同。它们散布的错误信息类型取决于它们接触过的信息来源。
研究背景与发现
康奈尔大学、华盛顿大学和滑铁卢大学的研究人员以及非营利研究机构 AI2 最近进行了一项研究，旨在通过对 GPT-4o 等模型与权威来源进行事实核查来对“幻觉”进行基准测试，涵盖法律、健康、历史和地理等主题。他们发现，没有哪个模型在所有主题上都表现优异，而幻觉最少的模型部分原因是因为它们拒绝回答那些原本会答错的问题。
康奈尔大学博士生、该研究共同作者 Wenting Zhao 表示：“我们工作中最重要的启示是，目前我们还不能完全信任模型生成的输出内容。”她指出：“目前，即使是最好的模型，也只能在约 35% 的情况下生成无幻觉的文本。”
更具挑战性的基准测试
此前虽有学术尝试探究模型的“事实性”，包括由另一个隶属于 AI2 的团队进行的研究，但这些早期测试要求模型回答那些答案可以在维基百科上轻松找到的问题。考虑到大多数模型都是用维基百科数据训练的，这并不算是极具挑战性的任务。
为了使基准测试更具挑战性并更准确地反映用户提问类型，研究人员在网上确定了那些没有维基百科参考来源的主题。在他们测试的问题中，超过一半无法仅用维基百科来回答（为了全面起见，也包含了一些源自维基百科的问题），涉及文化、地理、天文学、流行文化、金融、医学、计算机科学和名人等话题。
主流模型评估结果
研究人员评估了十多种不同的热门模型。除了 GPT-4o 之外，还测试了 Meta 的 Llama 3 70B、Mistral 的 Mixtral 8x22B 以及 Cohere 的 Command R+ 等“开放”模型，以及需要通过 API 访问的模型，如 Perplexity 的 Sonar Large（基于 Llama）、Google 的 Gemini 1.5 Pro 和 Anthropic 的 Claude 3 Opus。
结果表明，尽管来自 OpenAI、Anthropic 和其他大型生成式 AI 厂商声称相反，但如今模型的幻觉现象并没有减少多少。
- 整体表现：GPT-4o 和 OpenAI 更早期的旗舰产品 GPT-3.5 在基准测试中回答事实正确问题的比例大致相同（GPT-4o 略好一些）。OpenAI 的模型整体幻觉最少，其次是 Mixtral 8x22B、Command R 和 Perplexity 的 Sonar 模型。
- 领域差异：涉及名人和金融的问题让模型最难应对，而关于地理和计算机科学的问题则最容易回答（可能是因为训练数据中包含更多相关引用）。
- 数据依赖：在答案来源不是维基百科的情况下，每个模型的平均事实准确性都较低（尤其是 GPT-3.5 和 GPT-4o），这表明它们都 heavily 依赖于维基百科内容。
- 检索与规模：即使是能够搜索网络信息的模型（如 Command R 和 Perplexity 的 Sonar 系列），在该基准测试中也难以应对“非维基百科”类问题。此外，模型规模的影响并不大；较小的模型（例如 Anthropic 的 Claude 3 Haiku）产生幻觉的频率与看似更强大的大型模型（例如 Claude 3 Opus）大致相当。
行业反思与未来展望
那么这一切意味着什么？厂商承诺的改进在哪里？虽然不排除厂商夸大其词的可能性，但一种更为宽容的看法是，他们所使用的基准测试并不适合这一目的。正如我们此前所写的那样，许多（如果不是大多数）AI 评估都是短暂的且缺乏重要背景信息，注定会成为古德哈特定律（Goodhart’s law）的牺牲品。
无论如何，Zhao 预计幻觉问题将“长期存在”。她表示：“我们论文中的实证结果表明，尽管某些方法承诺减少或消除幻觉，但这些方法实际能带来的提升是有限的。此外，我们的分析显示，即使是在互联网上找到的知识也常常相互矛盾，部分原因是训练数据——由人类编写——本身也可能包含幻觉。”
临时解决方案：学会“闭嘴”
一个临时的解决方案可能是简单地让模型更频繁地拒绝回答。在研究人员的测试中，Claude 3 Haiku 仅回答了约 72% 的问题，选择对剩余问题保持沉默。考虑到这些回避回答的情况，Claude 3 Haiku 实际上是所有模型中最具事实依据的——至少从它撒谎频率最低的角度来看是这样。
长远建议：人工核查与法规监管
但是，人们会使用一个不回答许多问题的模型吗？Zhao 认为不会，并表示厂商应将更多的时间和精力投入到减少幻觉的研究中。她断言，虽然完全消除幻觉可能不可能，但可以通过在模型开发过程中引入人工事实核查和引用机制来减轻幻觉。
Zhao 补充道：“需要制定政策和法规，以确保人类专家始终参与生成式 AI 模型生成信息的验证和确认过程。该领域仍有大量机会产生重大影响，例如为任何自由文本开发高级事实核查工具、为事实性内容提供引用，以及为产生幻觉的文本提供更正。”