随着"数智时代"的加速到来,频率高、跨度大、范围广、多模态、规模大的经济社会运行数据得以被储存、采集和挖掘,而以ChatGPT、DeepSeek等大语言模型(LLM)为代表的AI工具的不断涌现与迭代,再次掀起社会科学研究范式革命。大语言模型已成为高校师生质性研究、定量研究、教育教学、学习成长的强力助手。成都市科学决策研究会特举办《“大语言模型社会科学研究应用”实战研修班》，详见课程通知文件通知 | 成都市科学决策研究会关于举办“大语言模型社会科学研究应用”实战研修班的通知。
课程团队深度梳理Nature、PNAS、Financial Times 50等全球顶级期刊的大语言模型应用范式，旨在帮助高校师生熟练使用优质AI Agent无代码开发平台搭建科研工具流，并能基于大语言模型（LLM）批量处理大规模数据，实现科研全流程提效以及大规模数据研究范式重构。
本期我们推荐的文章，是由Valentin Hofmann , Leonie Weissweiler, David R. Mortensen , and Janet B. Pierrehumbert几位学者合作在Proceedings of the National Academy of Sciences发表的“Derivational morphology reveals analogical generalization in large language models”。研究发现，大语言模型（如GPT-J）在英语形容词名词化上的语言泛化能力主要依赖类比机制（而非规则机制），尤其体现在处理不规则和可变形态变化时。
文章介绍
该研究聚焦于大语言模型（LLM）内部的语言泛化机制，特别是GPT-J在英语形容词名词化任务上的表现。通过创新性地将认知科学中的规则学习模型与类比学习模型拟合到LLM的训练数据上，并将其预测与GPT-J对非词形容词的处理结果进行直接比较，研究者得以深入探究其底层运作原理。研究发现，在处理具有规则名词化模式的形容词时，规则模型与类比模型均能有效解释GPT-J的行为。然而，当面对名词化模式高度可变的形容词时，类比模型的解释力显著优于规则模型。此外，GPT-J的预测行为对个体词语的频率表现出明显的敏感性，这一特征与基于相似性推理的类比机制相吻合，却难以被抽象的规则系统所解释。这些证据有力地反驳了GPT-J依赖规则系统进行语言泛化的假说，表明类比机制在该模型处理形态派生现象中发挥着核心作用。该成果不仅深化了对大语言模型语言能力本质的理解，揭示了其与人类类比认知的潜在关联，也为未来优化模型的泛化能力提供了重要的理论视角。
当前，大语言模型（LLMs）正以前所未有的速度融入各类应用场景，其内部运作机制的清晰理解因此变得尤为关键，特别是在涉及敏感领域时。一项聚焦于GPT-J模型的研究，通过深入剖析其处理英语形容词名词化（如将形容词“happy”转化为名词“happiness”）这一衍生形态学现象的行为，为揭示LLMs语言泛化能力的本质提供了重要线索。该研究的核心在于探究一个根本性问题：LLMs令人印象深刻的语言能力，究竟是依赖抽象的规则系统，还是基于与已有实例的类比推理？
传统研究多关注规则性强的语言现象，但规则模型和类比模型在这些情况下往往预测一致，难以区分。本研究创新性地转向了具有显著变异性的形容词名词化过程，并引入了一种新颖的方法论：将认知科学中成熟的规则学习模型和类比学习模型，直接拟合到GPT-J训练数据所反映的语言规律上。随后，研究者们将这些认知模型的预测与GPT-J自身对一系列虚构（非词）形容词的名词化处理结果进行了系统比较，从而能够更直接地推断驱动GPT-J行为的潜在机制。
研究发现呈现出清晰的模式。对于遵循常规、可预测模式进行名词化的形容词，无论是规则模型还是类比模型，都能较好地匹配GPT-J的输出。然而，当面对那些名词化形式存在变异性或相对不规则的形容词时，情况发生了显著变化。此时，类比模型的预测与GPT-J的实际行为表现出了高度的契合度，其解释力明显超越了规则模型。这一结果强烈表明，在处理形态学上更为复杂的现象时，GPT-J并非简单地应用硬性规则。
更进一步的证据来自GPT-J对个体词频的敏感性。研究表明，即使是对于那些通常被视为“规则”变化的形容词，GPT-J的具体预测也受到该形容词在训练数据中出现频率的影响。这种行为模式——高频词倾向于更稳定的输出，低频词则可能引发更多基于邻近相似词类的推演——恰恰是类比机制的典型特征，因为它依赖于从记忆中检索和加权相似实例。相反，一个纯粹基于抽象规则的模型，其预测理应独立于特定词语的使用频率。
综合这些发现，研究有力地反驳了GPT-J在处理形容词名词化这类衍生形态学任务时主要依赖规则系统的假说。相反，证据一致指向类比机制在GPT-J的语言泛化过程中扮演着核心角色。GPT-J似乎更倾向于通过识别输入词与训练语料库中已知词汇的相似性，并据此进行推理，而非生硬套用预设的转换规则。这一洞见不仅深化了我们对大语言模型内部语言处理方式的理解，揭示了其与人类认知中类比推理的潜在相似性，也为未来优化模型的泛化能力，尤其是在处理语言不规则性和变异性方面，提供了具有启发性的理论路径。理解这种基于相似性的泛化机制，对于预测模型行为、提高其鲁棒性及可控性具有重要的实践意义。
文章来源：
Hofmann V, Weissweiler L, Mortensen D R, et al. Derivational morphology reveals analogical generalization in large language models[J]. Proceedings of the National Academy of Sciences, 2025, 122(19): e2423232122.
