如果你曾尝试将 ChatGPT 当作计算器使用，你几乎肯定会注意到它的 计算障碍：这个聊天机器人不擅长数学。而在这方面它并非 AI 中的个例。
Anthropic 的 Claude 无法解决基础应用题；Gemini 无法理解二次方程；Meta 的 Llama 则在简单的加法运算上表现吃力。
那么，为什么这些机器人能够撰写独白，却在小学水平的算术题上栽跟头呢？
分词机制的局限
分词与此有关。分词是将数据划分为块的过程（例如，将单词“fantastic”拆分为音节“fan”、“tas”和“tic”），它有助于 AI 密集地编码信息。但由于执行分词的 AI 模型——即分词器——并不真正了解数字的含义，它们经常最终破坏数字之间的关系。例如，一个分词器可能会将数字“380”视为一个单独的 token，但将“381”表示为一对数字（“38”和“1”）。
但分词并不是 AI 在数学方面表现薄弱的唯一原因。
统计预测的固有缺陷
AI 系统是统计机器。它们通过大量示例进行训练，学习这些示例中的模式以做出预测（例如，知道电子邮件中的短语“to whom”通常后面跟着“it may concern”）。例如，面对乘法问题 5,7897 x 1,2832，ChatGPT 因为见过很多乘法问题，很可能会推断出以“7”结尾的数与以“2”结尾的数的乘积将以“4”结尾。但它会在中间部分遇到困难。ChatGPT 给出的答案是 742,021,104；正确答案是 742,934,304。
多位数乘法的挑战
滑铁卢大学专门研究 AI 的助理教授 Yuntian Deng 在今年早些时候的一项研究中，全面测试了 ChatGPT 的乘法能力。他和合著者发现，默认模型 GPT-4o 在相乘超过两个各含四位以上数字的数时（例如 3,459 x 5,284）表现困难。
Deng 告诉 TechCrunch：“GPT-4o 在多位数乘法方面表现不佳，在四位数乘四位数的题目之外，准确率不到 30%。”“多位数乘法对语言模型来说具有挑战性，因为任何中间步骤的错误都可能导致最终结果错误。”
OpenAI 的 o1 是个好计算器吗？我们对其进行了高达 20×20 的乘法测试——o1 能以不错的准确率解决高达 9×9 的乘法，而 gpt-4o 在超过 4×4 后就显得吃力。作为参考，小型语言模型使用隐式思维链（CoT）并通过逐步内化即可解决此任务。
那么，数学能力将永远无法被 ChatGPT 掌握吗？或者是否有理由相信，这个机器人有一天能像人类（或 TI-84 计算器）那样熟练地处理数字？
推理模型带来的希望
Deng 对此持乐观态度。在该研究中，他和同事还测试了最近上线 ChatGPT 的 o1，即 OpenAI 的“推理”模型。o1 在回答问题前会一步步“思考”问题，其表现远优于 GPT-4o，在高达九位数乘以九位数的乘法问题上，大约有一半的时间能答对。
Deng 说：“该模型可能以与我们手动解题不同的方式解决问题。”“这让我们好奇模型的内部方法以及它与人类推理的差异。”
Deng 认为，这一进展表明，至少某些类型的数学问题——乘法问题是其中之一——最终将被类似 ChatGPT 的系统“完全解决”。Deng 说：“这是一个定义明确、拥有已知算法的任务。我们已经看到从 GPT-4o 到 o1 的显著改进，因此很明显推理能力正在增强。”
所以，暂时别扔掉你的计算器。