Google最新研究论文指出，前沿大语言模型（LLM）虽已编码95%至98%的测试事实，但在查询回答中仍有26%至34%的事实无法直接回忆。研究发现，当问题中的主语与宾语实体顺序与训练数据相反时，模型的回忆难度显著增加。
参数信息：编码饱和但回忆存在瓶颈
参数信息指LLM在训练过程中从网页、书籍、代码等语料中内化的知识。针对“为何LLM无法回忆起已训练信息”这一问题，研究人员发现并非因为训练数据不足，而是访问机制受限。
研究显示，对于Gemini-3-Pro和GPT-5等前沿模型，事实编码已接近饱和，但仍有11%至12%的事实即使经过思考也无法被直接回忆。回忆失败占GPT-5.2错误的70%以上，且在更强模型中占比更高，表明回忆能力是当前主要瓶颈。
这意味着前沿LLM并不缺乏事实储备，核心问题在于如何有效提取这些信息。
主宾实体顺序影响事实回忆
研究表明，LLM对特定事实的回忆受主语与宾语实体学习顺序的影响。源文本中首先出现的实体为主语，随后出现的为宾语；答案为宾语的提问称为“直接问题”，答案为主语的则称为“反向问题”。
以“Oasis在Boardwalk俱乐部进行了第一场演出”为例，“Oasis”为主语实体，“Boardwalk俱乐部”为宾语实体。若训练中该配对始终以Oasis在前出现，当查询颠倒二者顺序时，LLM将难以回忆该事实。
值得注意的是，当以多项选择题形式呈现反转的主宾实体时，LLM能够识别正确答案。这进一步证实相关信息已被编码，仅在自由回忆阶段受阻。
问题措辞影响微弱，长尾事实回忆更难
测试显示，重新措辞问题对前沿LLM的事实回忆能力无显著影响，关键变量仍为主宾实体的顺序反转。
此外，模型在处理罕见事实（长尾事实）时面临更大挑战。虽然常见事实与罕见事实的编码差距较小，但在回忆阶段的差距更为明显。这表明罕见事实的遗忘并非源于未学习，而是回忆环节存在瓶颈。
增加思考可提升回忆率但成本高昂
引入思考过程可使LLM额外回忆起40%至65%原本无法直接调用的已编码事实。然而，该方法计算成本较高，且目前尚缺乏判断何时触发深度思考的有效机制。
扩展训练规模并非解决之道
研究明确指出，单纯扩大前沿LLM的训练规模并不能解决回忆瓶颈问题。
SEO启示：关注主宾实体常见排序
尽管论文未直接验证内容排序对搜索排名的影响，但从SEO角度推测，按照查询中最常见的主宾实体顺序组织内容，可能有助于提升LLM对信息的识别与召回效率。这一假设基于模型对特定实体配对顺序的敏感性，值得从业者参考。
相关研究论文题为《空货架还是丢失的钥匙？参数事实性的瓶颈在于召回率》，Google配套解读文章标题为《为什么召回会失败？》。