OpenAI o3与o4-mini模型幻觉问题加剧:推理能力增强背后的准确性隐忧
OpenAI近期推出的o3和o4-mini AI模型虽在多项性能上领先,但仍面临严重的“幻觉”问题(即编造内容)。事实上,这两款新模型的幻觉频率甚至高于OpenAI此前的多款旧模型。
幻觉一直是人工智能领域最难攻克的挑战之一,即便是当前表现最优的系统也深受其扰。尽管历史上新一代模型通常在减少幻觉方面略有进步,但o3和o4-mini似乎打破了这一规律。
内部测试数据:幻觉率不降反升
根据OpenAI内部测试,作为推理模型的o3和o4-mini,其产生幻觉的频率显著高于公司此前的推理模型(o1、o1-mini、o3-mini)以及传统的非推理模型(如GPT-4o)。
更令人担忧的是,OpenAI目前尚未明确导致该现象的根本原因。其在技术报告中指出,“需要更多研究”来理解为何随着推理模型规模扩大,幻觉问题反而加剧。报告解释称,由于新模型“总体上生成的声明更多”,虽然准确陈述有所增加,但不准确或幻觉内容的绝对数量也随之上升。不过,o3和o4-mini在编码和数学等特定任务上的表现依然优于前代。
数据显示,在衡量人类知识准确性的内部基准测试PersonQA中,o3对33%的问题产生了幻觉,约为此前推理模型o1(16%)和o3-mini(14.8%)的两倍;而o4-mini的幻觉率更是高达48%。
第三方验证:虚构工具使用与无效链接
非营利AI研究机构Transluce的独立测试也证实了这一问题。研究发现,o3倾向于编造解题过程中的操作步骤。例如,o3曾声称在“ChatGPT之外”的2021款MacBook Pro上运行代码并引用结果,但实际上它并不具备该能力。
Transluce研究员、前OpenAI员工Neil Chowdhury推测:“用于o系列模型的强化学习可能会放大那些通常通过标准后训练流程得到缓解但未完全消除的问题。”联合创始人Sarah Schwettmann则补充表示,过高的幻觉率可能严重削弱o3的实际可用性。
斯坦福大学兼职教授、Workera首席执行官Kian Katanforoosh告诉TechCrunch,其团队在编码工作流测试中发现o3性能卓越,但该模型常生成损坏的网站链接——提供看似有效的URL,点击后却无法访问。
行业挑战与解决方向
幻觉虽有助于激发创意,却使模型难以在对准确性要求极高的企业级市场中落地。例如,律师事务所无法接受在客户合同中插入大量事实错误的AI工具。
目前,赋予模型网络搜索能力被视为提升准确性的有效途径。OpenAI的GPT-4o配合搜索功能在SimpleQA基准测试中实现了90%的准确率。理论上,搜索也能改善推理模型的幻觉率,但这取决于用户是否愿意将提示词暴露给第三方搜索提供商。
过去一年,因传统AI模型改进遭遇收益递减,行业重心转向推理模型。推理能在不大幅增加算力和数据的前提下提升多任务性能,但若规模化推理确实会加剧幻觉,寻找解决方案的紧迫性将进一步提升。
对此,OpenAI发言人Niko Felix回应称:“解决所有模型中的幻觉问题是一个持续的研究领域,我们正不断努力以提高模型的准确性和可靠性。”

