大数跨境

破解AI幻觉黑盒:大模型如何判断自己说的是真是假?

破解AI幻觉黑盒:大模型如何判断自己说的是真是假? 微软亚洲研究院
2026-07-03
2
导读:基于Q/A双锚定通路的LLMs幻觉检测新方法

(本文阅读时间:8 分钟)

当向 AI 模型询问“法国大革命期间路易十六被处决的具体日期”,它能迅速给出"1793 年 1 月 21 日”的标准答案;但若追问冷门的地方戏曲流派起源,它却可能面不改色地编造出虚假地名。这种一本正经胡说八道的现象,即为大模型的“幻觉”。

AI 幻觉不像代码报错那样直接崩溃,而是以极高的可信度输出错误信息。在闲聊场景中这或许只是笑料,但在医疗、法律或金融等关键领域,AI 幻觉轻则误导决策,重则引发重大风险。如何让 AI 学会“知之为知之,不知为不知”,不仅是工程难题,更是人工智能迈向可信时代必须攻克的关卡。

AI 幻觉检测难:内在判别信号来源是未解之谜

为减少 AI 幻觉,目前业内主要采用两类方法识别错误答案:

一是借助外部世界审查。即在 AI 回答后,利用搜索引擎、知识库或另一个大模型进行事实验证。该方法准确率较高,但需访问外部资源,增加了计算成本与时间开销,且只能判定答案错误,无法解释 AI 犯错的原因。

另一种方法更具前瞻性。科学家发现,AI 生成答案时,其内部神经元激活状态暗含“我在撒谎”或“我很确定”的信号。通过训练简单的线性分类器,仅凭这些内部表示即可提前识别幻觉,无需访问外部知识。然而,这些真实性信号的来源始终是未解之谜,这种黑盒状态限制了检测准确率的根本提升。

针对此问题,微软亚洲研究院研究员发现,AI 的真假判断并非来自单一机制,而是源于两条完全独立、互不干扰的信息通路。基于此,他们提出了两种全新的检测方法,为构建更可靠的大语言模型提供了新思路。相关论文已被 ACL 2026 接收。

揭秘 AI 的双重判别系统

为探究 AI 内部机制,研究员设计了一系列实验,通过分析模型内部信息流动过程,并人为切断或修改特定信息流,观察真假判断能力的变化。实验结果显示:AI 内部存在两套彼此独立的真假判别系统。

第一套系统:提问对照模式

在此模式下,AI 会不断回看用户最初提出的问题,将问题中的核心关键词与正在生成的答案进行持续核对。例如,询问“南卡罗来纳州的首府是什么”时,模型会围绕“南卡罗来纳州”和“首府”这两个关键信息进行推理。若人为切断问题与答案间的信息流,模型判断真假的能力便会下降;若修改问题中的关键实体,AI 原本稳定的真假判断也会随之改变。这说明在该模式下,AI 高度依赖问题提供的信息。

图 1:精确问答标记示例。颜色表示标记类型:红色代表精确属性标记、蓝色代表精确主语标记、绿色代表精确答案标记。

第二套系统:自我校验模式

这套系统完全不依赖问题,而是直接从自己生成的答案中提取自洽证据,如用词的逻辑性、句子的连贯度及内部事实的一致性。即使删除问题,仅给 AI 一段其自撰文字,该机制仍能正常工作。

这两套系统会根据知识类型自动切换。对于世界首都、著名人物、经典历史事件等熟知知识,AI 采用提问对照模式,快速核对即可完成判断;面对冷门人物、生僻地点等长尾知识时,模型则启动自我校验模式,更多依赖生成内容本身进行一致性检查。

图 2:关键问题 - 答案信息流显著性评分分布的核密度估计图。双峰模式表明存在两种不同的信息传递机制。

进一步研究发现,AI 不仅能够自动切换两种机制,甚至知道自己当前正在采用哪种机制。通过分析模型内部表示,研究员能准确预测模型此刻采用的判断模式。这意味着大语言模型在拥有真假判断能力的同时,还具备识别自身判断方式的元认知能力。这一发现为理解 AI 内部运行机制打开了新窗口,让人们得以窥见 AI 辨别真假背后的工作方式。

两种全新的检测方法,精准找出 AI 幻觉

此前,业界基于模型内部信号的幻觉检测工具均采用统一判定框架,未察觉 AI 两套判别系统的本质差异,导致检测精度存在上限。基于上述发现,研究员设计了两套全新的检测工具,大幅提升了检测精度。

混合多检测器(Mixture of Probes, MoP)

其核心思想是“专业的事交给专业的人”。研究员不再训练单一分类器,而是针对提问对照模式和自我校验模式分别训练两个专用的线性分类器:一个专精于捕捉问题与答案间的语义对齐信号,另一个专注于挖掘答案文本内部的逻辑自洽信号。

随后,利用模型本身的自我认知能力,动态决定这两个分类器在最终判别中的权重。处理常识性问题时,提问对照模式权重更高;处理冷门知识时,则更信赖自我校验模式。这种分而治之的策略充分发挥了每种信号的特长,使检测精度较传统单模式方法显著提升。

注意力权重调节器(Pathway Reweighting, PR)

如果说 MoP 是增加不同类型的专家,那么 PR 更像是一种神经调节术。它无需额外分类器,而是在模型推理过程中,通过调整注意力机制中的权重系数,放大或缩小特定信息流的强度。具体而言,处理常识性知识时,PR 模块增强答案 token 对问题 token 的注意力,确保模型不忘题意;处理长尾样本时,则抑制这种跨距离依赖,防止模型因强行关联不相关的冷门问题而产生错误联想。这种微调轻量级且无需重新训练庞大的基础模型。

研究员在 12 款不同规模、不同架构的大语言模型及 4 个代表性开放问答数据集上进行了全面验证。结果显示,无论是采用混合多检测器方法,还是注意力权重调节器,都能稳定提升幻觉检测效果,且在不同规模和类型的模型间表现出良好的泛化能力。

值得注意的是,这两种方法建立在对 AI 内部机制的理解之上,而非简单堆叠数据或复杂算法。这不仅提升了性能,更推动幻觉检测从经验驱动走向机制驱动,使科研人员能真正理解信号来源,设计出更符合 AI 内部工作规律的检测方法。

看懂 AI 内在机制,推动可解释 AI 的发展

长期以来,大语言模型被视为难以解释的“黑盒”。此次研究系统性地解构了大模型内部真实的表征机制,证明大模型并非简单的统计概率生成器,其深层网络中确实存在结构化、可解释的元认知信号。这有助于推动人们对大模型黑盒机理的理解,为构建真正透明的 AI 系统奠定基础。

同时,提出的方法主要利用模型内部已有的计算信息,无需重新训练大模型或依赖外部知识即可识别潜在幻觉风险,具有轻量、高效的特点,具备适配主流大语言模型的潜力,为医疗、金融、政务等高准确性要求场景提供了新可能。

更重要的是,这项研究为 AI 幻觉治理指出了新方向。未来,AI 或许不仅能在回答后接受事实核查,更能在生成过程中主动意识到不确定性,及时自我纠错,甚至坦率告知用户“我不知道”。从理解 AI 如何辨别真假,到帮助 AI 学会在不确定时保持谨慎,将有助于构建更加诚实、可靠、可信的人工智能。

Two Pathways to Truthfulness: On the Intrinsic Encoding of LLM Hallucinations

论文链接:https://arxiv.org/abs/2601.07422

#大模型训练 #AI 幻觉 #AI 检测 #AI 黑盒 #可解释 AI

【声明】内容源于网络
0
0
微软亚洲研究院
1234
内容 209
粉丝 0
微软亚洲研究院 1234
总阅读6.8k
粉丝0
内容209