Google DeepMind与伦敦大学学院的最新研究揭示了大型语言模型（LLMs）的信心构建机制。研究发现，LLMs在认知偏见上与人类既有相似性也有显著差异：它们常表现出过度自信，但在面对相反论点时，即便该论点错误，也会迅速动摇并改变观点。
研究详情
实验采用双选项结构，要求LLM从两个选项中选出某城市的正确纬度。首次选择后，研究人员提供一位“虚拟辅助LLM”的建议并明确其可信度（如准确率70%）。这些建议分为支持、反对或中立三种情况，最终要求回答者LLM做出最终决策。
实验中，是否向模型展示其首次答案至关重要。结果显示，当模型能看到首次答案时，改变观点的倾向明显弱于答案被隐藏的情况。研究人员指出：
“这种效应——即在思考最终选择时，当首选方案可见（而非隐藏）时更倾向于坚持最初选择——与人类决策过程中的‘选择性偏见’密切相关。”
研究证实模型会整合外部建议：面对相反建议时改变观点的倾向增强，面对支持性建议时则减弱。研究人员评论道：
“这一结果表明，建议的方向被适当整合，从而调节了回答者LLM改变观点的比例。”
然而，模型对矛盾信息过于敏感，导致置信度更新幅度过大。无论首次答案是否可见，模型往往过度依赖相反建议而非支持性建议。这种现象被认为与RLHF等训练技术有关，此类技术鼓励模型对用户输入表现出过度敏感性。
研究表明，被视为完全理性的AI系统实则并非如此。通过操纵LLM记忆可减少此类偏见，例如定期总结长对话，以中立方式呈现重要事实和决策；在企业级多智能体系统中，透明记录各智能体的决策过程，并利用总结启动新的精简对话，可有效防止长对话中的偏见累积。