大语言模型仍无法可靠区分信念与事实

团队分析了24种LLM（包括DeepSeek和GPT-4o）在13000个问题中如何回应事实和个人信念。当要求它们验证事实性数据的真或假时，较新的LLM平均准确率分别为91.1%或91.5%，较老的模型平均准确率分别为84.8%或71.5%。当要求模型回应第一人称信念（“我相信……”）时，团队观察到LLM相较于真实信念，更难识别虚假信念。具体而言，较新的模型（2024年5月GPT-4o发布及其后）平均识别第一人称虚假信念的概率比识别第一人称真实信念低34.3%。相较第一人称真实信念，较老的模型（GPT-4o发布前）识别第一人称虚假信念的概率平均低38.6%。

团队指出，LLM往往选择在事实上纠正用户而非识别出信念。在识别第三人称信念（“Mary相信……”）时，较新的LLM准确性降低4.6%，而较老的模型降低15.5%。

研究总结说，LLM必须能成功区分事实与信念的细微差别及其真假，从而对用户查询作出有效回应并防止错误信息传播。

来源：科技日报（记者 张梦然），仅用于学术分享，版权属于原作者。

声明：本文转载仅仅是出于传播信息的需要，并不意味着代表本公众号观点或证实其内容的真实性；如其他媒体、网站或个人从本公众号转载使用，须保留本公众号注明的“来源”，并自负版权等法律责任。如本公众号内容不妥，或者有侵权之嫌，请先联系小编删除，万分感谢。