谷歌DeepMind最新研究表明，人工智能系统在评估大语言模型（LLM）生成信息的准确性方面，表现已优于人类核查员。
SAFE：搜索增强事实评估器
在论文《大型语言模型中的长文本事实性》中，研究团队提出了一种名为搜索增强事实评估器（SAFE）的方法。该方法利用大语言模型将文本逐一分解为独立的事实陈述，并借助Google搜索结果验证每项主张的真实性。SAFE采用多步推理机制，对每个事实的真伪进行精准评估。
超人类性能之争
在包含约1.6万个案例的数据集测试中，SAFE与人类评估结果的一致性达72%。更重要的是，在100个存在分歧的案例样本中，SAFE的判断正确率高达76%，展现出超越人类的评级性能。
不过，部分AI研究人员对“超人类”的定义提出异议。他们认为，真正的超人类表现不仅需对比众包工人，更应与专业人工验证评估员对标。评估员的资质、薪酬及真实性核查流程等细节，对于准确解读研究结果至关重要。
大模型错误更少且成本更低
研究显示，该AI系统的成本仅为人类核查员的二十分之一。DeepMind团队利用SAFE在新基准测试LongFact中，评估了Gemini、GPT、Claude和PaLM-2四大系列共13款顶尖模型的客观事实准确性。结果表明，模型规模越大，客观事实错误越少；但即便是表现最佳的模型，仍会产生一定数量的错误主张。
展望未来，以SAFE为代表的自动验证工具将在降低内容风险方面发挥关键作用。目前，SAFE的代码及LongFact数据集已在GitHub上开源发布。