大数跨境

李航团队25页长文揭秘:大模型为什么像人一样思考?答案竟然藏在标点符号里!

李航团队25页长文揭秘:大模型为什么像人一样思考?答案竟然藏在标点符号里! 未来跃迁
2026-05-26
0
导读:李航团队25页长文揭秘:大模型为什么像人一样思考?答案竟然藏在标点符号里!

导读
【导读】李航、张少华、林苑发布25页中文研究材料,系统拆解一个所有人都在问的问题——大语言模型凭什么能像人一样说话和思考?三个核心发现:LLM学到的远超语法和词汇,已经深入语义和世界知识的"高阶模式";"预测下一个词"只是训练目标的表面形式,真正塑造能力的是预训练、后训练、架构和优化的整套系统;最颠覆直觉的是——逗号、冒号、换行符这些"功能词元",可能才是模型检索记忆的关键枢纽。

所有人都在问,没人答透的问题

你问ChatGPT一道高中物理题,它给你一个完整的解题过程。你让Claude帮你debug一段Python代码,它不仅找到了bug,还解释了原因。你丢给它一篇英文论文,它帮你提炼出三条核心要点。

每天有数亿人在和大模型对话。

但一个根本问题始终悬在那里:它到底是怎么做到的?

如果LLM的核心训练目标只是"预测下一个词",为什么它能写代码、做推理、理解你话里的潜台词?

2026年5月,李航、张少华、林苑发布了一篇25页的中文研究材料,标题直截了当——《大语言模型为什么能像人一样说话和思考?》

▲ 机器之心在X平台推荐了这篇材料

这篇材料没有喊口号,没有宣称"LLM已经有意识"。它做了一件更扎实的事:把LLM的能力逐层拆解成可以分析的技术机制,解释它为什么看起来像在思考。

▲ 《大语言模型为什么能像人一样说话和思考?》PDF首页,作者:李航、张少华、林苑

"预测下一个词"?这个说法太表面了

外行最常有的误解:大模型就是一台"下一个词预测机",跟手机输入法的自动补全差不多。

李航团队在文章中直接回应了这个问题:用"预测下一个词"(Next Token Prediction)来概括LLM的能力,只描述了训练目标的表面形式。

真正决定模型能力的,是背后整套系统的协同:

预训练阶段,模型在海量文本上建模词元序列的概率分布。这个过程可以理解为对训练数据的"无损压缩"——压缩得越好,对语言规律的捕捉越精准。

后训练阶段,SFT(监督微调)让模型学会模仿人类指令响应的格式和风格;RLHF、PPO、GRPO等强化学习方法则把模型调整为更倾向生成高质量回答的策略函数。

模型架构层面,Transformer解码器通过自注意力机制做上下文组合,通过前馈网络(FFN)做特征检测和知识存储,残差连接让不同深度的表示可以累加复用。

优化算法层面,SGD、AdamW等方法在降低训练损失的同时,倾向找到泛化性更好的解——模型学到的规律可以迁移到没见过的输入上。

再加上Scaling Law的加持:模型规模、数据规模和计算量的增长,让损失按幂律持续下降。这也是为什么GPT-4比GPT-3强那么多。

▲ 文章的三个核心论点:高阶模式学习、系统整合、可解释性突破

"预测下一个词"只是入口。策略、模型、算法、数据和规模的集大成,才是能力的真正来源。

大模型学到了什么?远超你的想象

乔姆斯基等语言学家曾批评:LLM只是在操作语言的形式,根本不理解内容。

李航团队的判断是:ChatGPT以来的能力涌现,已经让这种批评站不住脚了。

文章指出,LLM的学习本质是从语言数据中提取统计规律(模式)。但重点在于:现代LLM提取的模式,早已超越词汇和语法这种"低阶模式",深入到了语义、语用和世界知识层面的"高阶模式"。

举个例子:模型不仅知道"苹果"后面大概率跟"公司"或"好吃",它还知道苹果公司的市值量级、苹果手机和安卓手机的用户画像差异、"苹果"在不同语境下指水果还是科技公司。

没有人手动把这些知识写进模型。它们全部从训练数据的统计规律中自动习得。

文章把"理解"这个概念拆解成两个可检验的维度:可观察的任务能力(能回答问题、能写代码、能做推理)和内部表示机制(模型内部确实形成了与概念对应的特征表示)。

LLM的工作机制确实和人脑不同。但"学到高阶模式"足以解释,它为什么在那么多任务上表现得像是真的在理解。

黑箱正在被撬开

长期以来,大模型被视为彻底的"黑箱"。给它一段输入,它返回一段回答,中间发生了什么,谁也说不清。

李航团队在文章中梳理了近年可解释性研究的几个关键突破。

特征叠加(Superposition):神经网络的神经元并非"一对一"地表示概念。模型会把大量稀疏特征用"多对多"的方式压缩存储到有限神经元中——就像一个只有1000个格子的仓库,通过巧妙的编码方式存了10000种货物。

▲ Anthropic的"Toy Models of Superposition"研究,探索神经网络如何在有限空间中表示大量特征

稀疏自编码器(SAE):可以把模型中间层的稠密表示"解压"为高维稀疏特征,帮助研究者识别模型学到了哪些可解释的概念。

跨层转码器(CLT):追踪特征如何跨越多个层影响后续计算,构建从输入到输出的完整归因图。

这些工具的组合,让研究者第一次能具体回答:模型在生成某个词的时候,到底激活了哪些内部特征?走了哪条计算路径?

黑箱的盖子,正在一点点被掀开。

最颠覆直觉的发现:逗号和换行符可能是"记忆开关"

前面的内容或许还在你的预期范围内。接下来这个发现,可能会让你重新审视每一个标点符号。

文章专门介绍了"功能词元假说"(Function Token Hypothesis):在LLM内部,少量高频功能词元——冠词、介词、标点符号、换行符——在推理过程中承担着极其关键的记忆检索角色。

▲ PDF中详细介绍了功能词元在LLM记忆检索中的作用机制

这个假说来自张少华、张天琳、李航的研究论文,已有实验支持,但仍属前沿探索。核心观点是:

"The success of large language models (LLMs) comes from their ability to consolidate vast amounts of knowledge into the memory during pre-training and to retrieve it from the memory during inference."

「大语言模型的成功,来自它在预训练中把大量知识固化为记忆、在推理中从记忆检索的能力。」

▲ 相关论文"Memory Retrieval and Consolidation in LLMs through Function Tokens"的arXiv页面

功能词元就是触发记忆检索的枢纽。

具体来说:当模型处理一段文本时,内容词(名词、动词等)携带具体信息,而功能词元(逗号、冒号、"the"、"of"、换行符等)会在上下文中激活大量特征,从海量记忆中筛选出最有预测性的信息,为下一个词的生成提供关键支撑。

换个角度想:你在写prompt时随手敲下的冒号和换行,可能比你精心选择的关键词更影响模型的输出质量。

这也解释了为什么prompt格式对模型表现影响巨大——格式本质上在调控功能词元的分布,而功能词元直接影响记忆检索的效果。

LLM推理的本质:在巨大"陈述空间"中搜索路径

文章对LLM如何"推理"给出了一个工程化的解释框架。

LLM的推理可以被理解为在巨大"陈述空间"中的搜索。这里的"陈述"可以是自然语言句子、代码片段、数学表达式、思维链中的中间步骤。模型在生成过程中,不断选择路径,最终到达答案。

这个框架直接连接当下最热的几个技术方向:

  • 更长的思维链
    (Chain of Thought)= 在搜索空间中展开更多中间步骤
  • 更多的采样路径
    (Best-of-N、Tree of Thought)= 探索更多候选方案
  • Test-time Compute Scaling
    = 推理阶段投入更多计算,扩大搜索范围
  • 强化学习训练
    = 让模型更擅长选择高质量的推理路径

OpenAI的o1/o3系列、DeepSeek-R1这些"推理模型"表现更强,底层逻辑就在这里:用更多计算资源,在更大的陈述空间里做更深入的搜索。

像人,但隔着一道很深的鸿沟

文章最后用一张详细的对比表,逐项比较了LLM和人类的能力。结论很克制:

语言能力——达到或超过人类水平,争议不大。

推理能力——在很多标准化测试中达到或超过人类。但模型走的是词元序列生成的路径,和人脑的推理机制完全不同。

事实认知——存在幻觉。模型会在不确定时"编造"看似合理的答案。相关研究(arXiv 2509.04664)指出,幻觉持续存在的一个原因是训练和评估流程在某种程度上奖励了猜测行为,而非鼓励模型承认"我不知道"。

多模态处理——LLM本身只处理文本,但可以扩展为多模态模型。不过即使加入视觉和听觉,推理通常仍发生在语言表示空间。

意识与具身认知——这是最大的鸿沟。人的思考涉及五感、运动系统和具身经验。模型可以说出"疼痛"这个词,但它没有痛觉;它可以描述苹果的味道,但它从未尝过任何东西。

LLM在语言和推理维度上已经非常强大,但"强大"和"与人相同"之间,差着整个具身认知的距离。

这篇25页材料为什么值得读

市面上解释"LLM为什么行"的内容很多,但大多过于简化("就是预测下一个词"),或者过于学术(直接丢论文链接)。

李航团队这篇材料的定位恰好卡在中间:比科普深,比论文浅。它把预训练、后训练、Transformer架构、优化算法、可解释性和功能词元等关键概念串成了一条完整的解释链。

三个值得记住的核心判断:

第一,LLM学到的是高阶模式——包括语义和世界知识,远超语法和词汇层面。

第二,"预测下一个词"只是表面形式——能力的真正来源是预训练、后训练、架构、优化和规模化的整套系统。

第三,黑箱正在被打开——功能词元假说揭示了标点和格式词可能充当模型思考时的"记忆路由器"。

大模型像人一样说话和思考,这个现象已经摆在所有人面前。理解它为什么能做到,比盲目惊叹或恐惧都重要得多。


— END —

— END —

【声明】内容源于网络
0
0
未来跃迁
1234
内容 602
粉丝 0
未来跃迁 1234
总阅读2
粉丝0
内容602