集智俱乐部

2026-07-08

导读：156项情境实验揭示大语言模型的能力边界

导语

大语言模型正在进入社会科学研究现场。它们不再只是辅助写作、检索文献或生成问卷，而是被研究者直接放入心理学与管理学实验中，扮演“硅基被试”，回答原本由人类参与者完成的情境材料。这项发表于《Nature Computational Science》的研究系统复现了156项心理学与管理学情境实验，比较 GPT-4、Claude 3.5 Sonnet 与 DeepSeek V3 能否重现人类实验结果。发现大语言模型常能把握效应方向，却倾向于给出更强、更显著、更干净的结果。在种族、性别、伦理等社会敏感议题上，复制能力明显受限。这项研究给出了一个清晰判断，大语言模型可以用于预实验、假设筛查和方法学三角验证，但不能替代真实人类被试。

关键词：大语言模型（large language models, LLMs）、硅基复制（silicon replication）、心理学实验、情境实验、效应量、社会敏感议题

王璇丨作者

赵思怡丨审校

论文题目：A large-scale replication of scenario-based experiments in psychology and management using large language models

论文链接：https://doi.org/10.1038/s43588-025-00840-7

发表时间：2025年7月9日

论文来源：Nature Computational Science

当AI成为实验参与者

社会科学实验长期依赖人类被试。研究者设计情境、操纵变量、收集回答，再用统计方法判断某种心理机制或管理行为是否存在。但传统实验成本高、周期长，样本招募也受平台、地区和人群结构限制。大语言模型（large language models, LLMs）的出现提供了另一种可能：它们能够阅读实验材料、理解角色设定，并生成结构化回答，因此开始被用于模拟人类判断、决策和态度反应。

真正的问题是，模型回答能否代表人类回答。既有研究给出的判断并不一致：一些结果显示，LLMs在心理量表、经济决策和社会判断中与人类高度接近；另一些研究则指出，模型难以模拟个体差异、社会人口结构和复杂文化语境。由于过去研究大多基于少量实验，仍无法回答一个更系统的问题：如果把大量真实发表的心理学与管理学实验交给模型，它们究竟能复制到什么程度？

这篇研究正是围绕这一问题展开。研究团队没有让模型概括论文，也没有让模型预测实验结论，而是把原始实验情境重新交给模型，让它像人类被试一样逐条作答，再将模型结果与原始人类实验结果进行比较。这就是“硅基复制”（silicon replication）的核心思路：不是把AI当作读论文的工具，而是把它放进实验流程本身，检验社会科学效应能否在人工智能系统中被重新观察到。

图1. 研究流程图。从论文筛选、提示词设计、模型回答到统计比较的完整流程。

AI能抓住趋势，却会放大信号

研究结果显示，LLMs确实具备一定复制能力。对于许多主效应，模型能够重现人类实验中的方向关系，也就是说，它通常知道某种情境操纵会让评价升高还是降低。这说明模型并非随机作答，而是能够从语言材料中提取社会规范、因果暗示和心理线索。因此，在预实验阶段，模型可以帮助研究者判断实验材料是否清楚、操纵是否容易被识别、变量关系是否具有初步合理性。

但问题也正在这里出现。模型越是擅长捕捉情境中的线索，就越可能把这些线索转化为过强的统计效应。论文发现，LLMs生成的结果往往比人类实验更显著、效应量更大、组内差异更小。换言之，模型给出的不是充满噪声和个体差异的人类反应，而是一种更整齐、更一致、更符合情境暗示的回答。它能够捕捉应该往哪个方向变，却容易高估现实中到底变得有多强。

图2. 模型复制率和不同研究特征下的表现。直观展示 GPT-4、Claude 和 DeepSeek 在主效应复制率、期刊类型、情境类型以及社会敏感议题上的差异。

这种偏差决定了LLMs不能被简单当作人类被试的替代品。真实人类参与者会受到注意力、情绪、经验、身份、文化背景和社会处境影响，这些因素构成了社会科学研究中不可忽略的个体差异。LLMs的变异则主要来自训练语料、生成机制和参数随机性。二者都能产生回答，但回答背后的生成机制并不相同。因此，模型与人类结果方向一致，并不意味着模型真正复制了人类心理机制。

图3. GPT-4 与人类研究的主效应效应量比较，AI结果更显著、更强、更整齐。

这一点在社会敏感议题上尤其关键。种族、性别、伦理等问题并不是普通的文本理解任务。人类在这些议题上的判断会受到真实社会身份、价值冲突和文化环境影响，而LLMs则受到训练数据、安全对齐和回答规范共同约束。论文显示，不同模型在这些议题上的复制表现明显不同，这意味着模型输出不应被直接解释为人类平均意见，更不能替代真实样本中的社会心理反应。

AI可以进入实验室，但不能坐上主位

这篇研究给社会科学中的LLMs应用划出了一条清晰边界。大模型能够复制相当比例的主效应，常常把握人类研究中的方向关系，并能帮助研究者快速筛查实验设计。然而，它们也会系统性地产生更大的效应量、更高的显著性和更窄的置信区间。在社会敏感议题上，复制能力明显依赖模型类型和对齐方式。在部分情形中，模型甚至无法生成有效的人类式变异。LLMs 最合适的位置不是替代被试，而是研究前置工具。它们可以帮助研究者节省预实验成本，识别低质量材料，探索更大的设计空间，并为理论稳健性提供补充证据。但真正涉及效应强度、社会差异和心理机制的结论，仍必须回到人类样本中检验。当AI被放进心理学实验室，它确实能回答问题，但它回答的并不总是人类会如何反应，而是语言模型认为一个理想化、规范化、低噪声的“人”应该如何反应。理解这一区别，才是LLMs进入社会科学研究的前提。