机器学习模型是如何实现其功能的？它们是否真的像我们理解的那样在“思考”或“推理”？这既是一个哲学问题，也是一个实际问题。但周五流传的一篇新论文表明，至少目前的答案是明确的“不”。
苹果公司的AI研究科学家小组发布了他们的论文《理解大语言模型中数学推理的局限性》，于周四向公众评论开放。虽然符号学习和模式复制的深层概念有些晦涩难懂，但他们研究的基本概念却非常容易理解。
简单数学题中的“陷阱”
假设我让你解决这样一个简单的数学问题：
奥利弗周五摘了44个猕猴桃。周六他又摘了58个。周日他摘的猕猴桃数量是周五的两倍。奥利弗一共有多少个猕猴桃？
显然，答案是44 + 58 + (44 * 2) = 190。尽管大语言模型（LLMs）在算术方面表现并不稳定，但它们通常可以可靠地解决类似这样的问题。但如果我加入一些额外的随机信息，比如这样：
奥利弗周五摘了44个猕猴桃。周六他又摘了58个。周日他摘的猕猴桃数量是周五的两倍，但其中有五个比平均大小略小。奥利弗一共摘了多少个猕猴桃？
这是同一个数学问题，对吧？当然，即使是小学生也知道，再小的猕猴桃仍然是猕猴桃。但事实证明，这个额外数据点甚至会让最先进的LLM感到困惑。以下是GPT-o1-mini的回答：
[O]n周日，其中5个猕猴桃比平均尺寸小。我们需要从周日的总数中减去它们：83（周日的猕猴桃）– 5（较小的猕猴桃）= 83个猕猴桃
这只是一个简单的例子，研究人员对数百个问题进行了轻微修改，但几乎所有这些问题都导致尝试解答它们的模型成功率大幅下降。
为何模型会被无关细节打乱？
那么，为什么会这样呢？为什么一个理解问题的模型会被一个随机的、无关的细节轻易打乱？研究人员提出，这种可靠的失败模式意味着模型实际上并没有真正理解问题。它们的训练数据确实使它们在某些情况下能够给出正确答案，但一旦需要真正的“推理”，例如是否应该计算小猕猴桃，它们就会开始产生奇怪且不符合直觉的结果。
正如研究人员在论文中所说：
我们研究了这些模型中数学推理的脆弱性，并证明随着问题中子句数量的增加，其性能显著下降。我们假设这种下降是由于当前的语言大模型不具备真正的逻辑推理能力；相反，它们试图复制训练数据中观察到的推理步骤。
模式复制而非真正推理
这一观察结果与通常归因于大语言模型（LLM）的其他特质相一致，这些特质源于其对语言的熟练运用。从统计上看，当短语“我爱你”之后常跟着“我也爱你”时，LLM 可以轻易地重复这种模式——但这并不意味着它真的爱你。尽管它能够遵循此前接触过的复杂推理链条，但即使出现表面的偏差就能打断这一链条，这表明它并非真正在推理，而只是在复制其训练数据中观察到的模式。
提示工程能否解决问题？
一位OpenAI的研究人员在称赞Mirzadeh及其同事工作的同时，对他们的结论提出了异议，认为在这些失败案例中，只需稍加提示工程就能得到正确结果。对此回应指出，虽然更好的提示方法可能对简单的偏差有效，但为了应对复杂的干扰因素——这些干扰因素连小孩都能轻易指出——模型可能需要指数级增长的环境数据。
LLM推理能力的未解之谜
这是否意味着 LLM 不具备推理能力？也许如此。它们完全无法推理吗？无人知晓。这些概念本身并不明确，相关问题往往出现在人工智能研究的前沿地带，而该领域的最新进展每天都在变化。或许 LLM 确实能够“推理”，只是以我们尚未识别或尚不知如何控制的方式进行的。
这为研究带来了一个引人入胜的前沿领域，同时也构成了一个警示故事，尤其是在 AI 被营销宣传的语境下。它是否真能如宣称的那样做到那些事情？如果能，又是如何实现的呢？随着 AI 成为日常软件工具，这类问题已不再仅仅是学术探讨。