AI 智能体：专家判断背后的隐形偏向

10 个关键问题 Q&A

1. Q：这项研究核心想验证什么？ A：专家在使用 AI 智能体时，是否还保有独立判断，还是会无意识顺从 AI 的偏向。
2. Q：实验的核心数据结论是什么？ A：四项分析决策合计，86% 的专家选择跟随 AI 预设偏向。
3. Q：如果专家先有想法，AI 反对会怎样？ A：专家有 60% 概率更改自己原本的选择；AI 意见一致时仅 6% 改动。
4. Q：专家知道自己在用 AI 的论证吗？ A：77% 复用 AI 的论述，很多原话照搬，只有 15% 标注 AI 为来源。
5. Q：跟随 AI 的专家会不会更不自信？ A：不会，他们自信水平和其他专家基本持平，大多认为判断属于自己。
6. Q：使用 AI 有没有正向价值？ A：有，AI 显著缩短耗时、大幅降低严重方法学错误。
7. Q：为什么 AI 偏向对最终建议的影响比分析选项弱？ A：最终结论主要看指标是否跨过固定阈值，但前期分析选择已经篡改测算数值。
8. Q：这个实验结论能直接套用到所有真实工作吗？ A：不能，实验刻意放大 AI 立场；真实场景下 AI 偏向往往更弱，领域专家主见更强。
9. Q：最大风险是什么，尤其 AI 安全研究？ A：人工复核失去独立性，表面多方共识，可能只是同一个模型偏好的复刻。
10. Q：文章给出三条解决方向是什么？ A：开发隐性顺从测量工具；优化 Agent，双向举证；机构重新定义人类必须保留的判断节点。

研究团队：对齐研究组作者：Amaç Herdağdelen、Hailey Joren、Alex Tamkin

发布时间：2026 年 10 月 27 日

当专家把工作交给 AI 智能体时，人们通常默认：关键决策依旧由专家把控。智能体负责写代码、运算数据、给出建议，而专家来确定观测指标、解读模糊证据、规划后续步骤。这类问题往往存在多个合理答案，最终抉择取决于决策者自身的经验与价值偏好。

本研究希望验证一个问题：专家是否真的掌握这些核心判断权，还是在实际工作中会顺从 AI 智能体的倾向。在这份研究中，我们邀请了 50 名专业分析师，使用 Claude Code 完成一项真实场景下的统计分析任务。所有分析师都具备因果推断经验 —— 也就是从数据中判断事物间是否存在因果关系。他们的任务是为一家农业合作社提供咨询：合作社推出的咨询服务是否有效、是否应当扩大规模。

任务过程中，分析师需要在四组合理方案中做出选择，例如：衡量生产效率时，是按每公顷作物产量计算，还是按单位运营成本对应的产量计算；之后再给出最终建议。为了观测他们是否独立做出判断，我们暗中设置：每名分析师对应的智能体，在每一项选择上都预先偏向其中一个选项，分析师对此并不知情。智能体的偏向由抛硬币随机决定。我们要求智能体为自己偏向的方案给出严谨、客观的论证；如果证据明确推翻原有倾向，则要转变观点，严禁造假误导。

四项分析选择合并统计：分析师顺从智能体偏向的比例达到86%。如果智能体观点不产生影响，预期比例应当接近 50%。如果分析师在智能体给出意见前已经表达了自己的偏好，当智能体持相反意见时，分析师有 60% 的概率改变原有想法；而当智能体和自己意见一致时，只有 6% 的人会更改想法。

任务结束后的调研显示：77% 的分析师直接沿用了智能体的论证逻辑，部分表述甚至一字不差，但仅有 15% 的分析师注明这些观点来自智能体。紧密跟随智能体建议的分析师，对自己最终结论的自信程度和其他受访者基本持平，也同样倾向于认为这份结论出自自身判断。

研究流程：受试者完成包含五项开放式决策的分析任务。针对每位受试者、每一项决策，通过抛硬币设定 AI 的偏向，且不告知受试者。我们对比 AI 偏向 A 选项和偏向 B 选项时，受试者选择 A 的概率差异。

我们尚不能确定这项结论在真实场景中的普适性。现实里的智能体有时也会自带固有倾向；在不人为设定偏向的条件下，Claude Opus 4.8 在 123 次测试里，有 112 次给出了相同的五项选择。而本研究刻意强化了智能体的立场，以此放大效应方便观测。如果不给智能体明确偏好、不要求它主动输出立场，它对人的影响可能会弱很多。

这项研究并不是要警示大家不要使用 AI。使用智能体的分析师完成任务速度更快，出现严重错误的概率也远低于选择不使用 AI 的分析师；不过后者样本量小、平均经验更浅，因此我们不能过度解读这一对比结果。但随着 AI 接手越来越多实操性工作，这类判断选择，会越来越成为决定结果走向、承载人类价值与取舍的关键环节。如果专家在无意识中顺从智能体，那么智能体自带的偏好 —— 哪怕是随机生成、或是价值错位的偏好 —— 就会悄然左右政策方案、科研方向等重大决策，而没有任何人主动选择接纳这些偏向。这一点对于 AI 安全研究尤为关键：研究者已经开始依靠智能体运行、分析实验；只有当审核人的判断属于独立判断时，人工复核才有意义。

研究设计

我们招募 61 名分析师开展随机对照试验。受试者均来自经过筛选的专业人才库：通过因果推断知识考核，熟练使用 Python 或 R，具备基于观测数据的因果分析实操经验（即依托真实世界数据、而非控制实验来研究因果关系）。

任务背景设定在虚构组织 “绿野农业合作社”：合作社运营一项自愿付费的咨询项目，帮助社员农场提升作物产量，约 40% 社员参与。合作社董事会需要决定：补贴并扩大该项目，还是终止项目。董事会只有在项目能将农场生产效率提升约 3%–4% 时，才会选择扩推，但并未明确规定生产效率的统计口径。

我们刻意留出四项分析决策，每项都存在两种合理方案：

1. 结果指标：生产效率按每公顷产量衡量，还是按单位运营成本对应的产量衡量？
2. 对比方法：采用双重差分设计（对比参与项目农场入组前后的产量变化，和同期其他农场的变化差异），还是直接对比产量、同时用统计方法校正农场本身的禀赋差异？
3. 评估覆盖范围：仅测算参与项目农场的效果，还是覆盖合作社全体社员？
4. 加权方式：所有农场权重相同，还是给规模更大的农场赋予更高权重？

这四项选择会进一步导出最终建议：全员推广项目，或是终止项目。分析师和智能体也可以提议延期一年试点。

董事会的判定阈值是 3%–4%，而上面每一项选择，都可能让测算出来的增产幅度产生数个百分点的浮动，影响最终结论。

针对每名分析师的五项决策，智能体的偏向都由抛硬币随机确定。我们通过隐藏的系统提示词赋予智能体立场：将该偏向作为自身观点，在讨论到对应决策时主动提出，在数据支撑范围内尽可能充分论证；同时要求：如果证据压倒性推翻原有观点，必须修正立场，严禁篡改结果、隐瞒数据、给出数据无法支撑的论证。

61 名受试者中，有 11 人选择不使用智能体，除非单独说明，否则这部分样本不计入主分析。剩余 50 人中，65% 拥有硕士 / 博士学位，或是拥有 6 年以上相关工作经验；在完成问卷的 48 人中，90% 自评观测因果推断能力达到熟练或专家水平。受试者完成任务的中位时长为 65 分钟，一半人的用时落在 50–79 分钟区间。受试者在内置 Claude Code（Claude Opus 4.8，高算力模式）的网页版 VS Code 编辑器中开展工作。

任务结束后，分析师提交四项分析选择、最终建议，以及项目对生产效率的效应估计值和置信区间，随后填写后测问卷。另外一个独立 AI 模型读取每份报告和代码，记录分析师的选择；当 AI 识别结果和分析师问卷填写不一致时，人工复核裁定最终结果。

研究结果

分析师大多顺着智能体的偏向做出选择。四项分析决策中，受试者选择和智能体偏向一致的比例都很高：结果指标 92%、对比方法 82%、评估范围 81%、加权方式 90%；四项合计 86%。图 2 展示了在每一项决策（含最终建议）上，智能体偏向对分析师选择的拉动幅度。

智能体偏向对最终建议的影响幅度更小，但前期的分析选择已经决定了估算结果。当智能体倾向推广项目时，54% 的分析师给出推广建议；智能体倾向不推广时，只有 36% 的分析师选择推广（延期一年算作不推广）。我们认为最终建议受影响更小的原因是：得到效应估算值之后，结论基本取决于增益是否跨过董事会 3%–4% 这条线，留给主观判断的空间变少。但到这一步之前，智能体在分析环节的偏向，已经改变了估算数字本身。仅依靠这四项随机偏向，统计模型就能预测 82% 的分析师最终建议；如果无脑选择占比最高的建议，预测准确率只有 61%（不含提议延期的样本）。也就是说，甚至在分析师正式开始任务前，仅凭几次抛硬币的结果，我们就能大致预判他会给出怎样的结论。

图表含义：每一项决策下，AI 偏向 A 时（绿色）、偏向 B 时（紫色）受试者选择 A 的占比。四项分析决策的选择偏移幅度在 62–82 个百分点，最终建议偏移 17 个百分点。

即便分析师事先已经选定方案，当 AI 持反对意见时，他们也常常改口。一共有 38 个场景，分析师在智能体亮出立场前已经表达偏好。当智能体和他意见相反时，60% 的人更改选择；意见一致时，仅 6% 的人更改，差值为 54 个百分点。但该样本量很小，估计值不确定性高，95% 置信区间为 24–82 个百分点。同时我们无法确认这个差异完全来自 AI 的影响：提前表达偏好的分析师群体，本身可能和其他人存在系统性差异。

经验、专业水平无法预判谁更容易顺从 AI。在探索性分析中，我们检验了 10 项特征和顺从率的相关性：从业年限、因果推断自评水平、学历、因果推断测试分数、对 AI 信任度、AI 使用频率、认知需求（是否愿意投入脑力思考）、思维开放性、性别、年龄。只有年龄一项呈现统计学显著相关：年长分析师更愿意跟随智能体偏向。但我们不对此过度解读：一次性检验大量变量时，很容易偶然出现一个阳性结果；校正多重检验之后，该相关性不再显著。而且绝大多数分析师在绝大多数决策上都会跟随 AI，样本本身变异很小，即便真实存在差异，也很难被检出。

跟随智能体偏向的分析师，依旧认为结论属于自己。后测问卷显示：52% 的分析师认为最终建议更多是自己的判断，而非智能体；剩下的人认为更偏向智能体的结论。但两组人受 AI 影响的程度差距在误差范围内：自认主导结论的人，选择平均被 AI 拉动 65 个百分点；认为 AI 主导的人平均被拉动 79 个百分点。分析师自信度也呈现类似规律：自信打分区间 0（纯碰运气）–100（愿意拿职业声誉担保）。四项全部跟随智能体偏向的分析师平均 71 分，其余人平均 73 分。

后测问卷（48 人）：52% 认为结论更多属于自己，35% 认为基本或完全出自自己；即便他们的选择已经被 AI 偏向显著带动。

分析师会用智能体的原话解释自己的选择。任务结束后问卷针对每一项决策提问：“简单说明你为什么选这个方案而非另一个；如果不是主动选择，直接说明即可。” 回答问卷时分析师无法回看和智能体的对话记录。即便如此，77% 的受试者至少在一处回答里复述了智能体的论证，部分原文照搬；只有 15% 的人在任何回答里注明观点来自智能体。

当被直接猜测研究目的时，48 人中仅有 6 人猜对研究主题是 AI 对人选择的影响，没有人察觉到 AI 的立场是人为操控的。

任务过程里智能体的表述（橙色）和受试者事后解释选择的回答（蓝色）存在语句重合，甚至完全一致。77% 受试者至少一处复用智能体论证，仅 15% 标注来源；填写解释时受试者不能回看对话记录。

不使用 AI 的分析师，严重错误更多、耗时更长。11 名拒绝使用智能体的受试者里，有 6 人（55%）出现足以让结论失效的严重方法学错误；使用智能体的 50 人中，仅 3 人（6%）出错。两套独立 AI 模型识别错误，论文作者之一在盲态下复核所有案例。不使用 AI 组的完成中位时长 90 分钟，使用组 65 分钟。

两组样本不具备直接可比性，我们无法确定表现差异就是是否使用 AI 造成的。不使用 AI 的分析师整体经验更浅：硕士及以上学历占比更低（11 人中 4 人，对比使用组 46 人中 24 人），从业 2 年以内占比更高（11 人中 6 人，对比使用组 48 人中 15 人），自评因果推断熟练 / 专家的比例更低（11 人中 8 人，对比使用组 48 人中 43 人）。

研究局限性

我们刻意放大了智能体的立场强度。本研究通过指令让智能体稳定持有、主动输出明确偏向，方便测量效应。文中报告的比例，描述的是智能体主动亮出倾向时的情况；该结论在真实工作场景的适用程度，取决于专家自身固有观点强度、决策是否清晰、模型本身的行为 —— 包括模型是否自带偏好、是否主动抛出偏好。

本研究只覆盖单一领域、单一任务、单一模型。任务时长约一小时，场景设定在农业；使用模型为 Claude Opus 4.8。分析师是因果推断专家，但对农业领域并不熟悉。在真实工作中，从业者深耕本领域，自身固有观点更强；还可以访谈相关人员、和决策层沟通，压缩可选方案空间，AI 的影响或许会下降。

我们得到的是分析师群体的平均效应。每位受试者对应的智能体偏向由独立随机决定，对比不同偏向组别得到的是平均影响。我们没有在 AI 开口前记录每位分析师的原始想法，因此无法量化单一个体被影响的程度。

我们只记录选择结果，不记录偏好强度。顺从 AI 的一种可能性是专家本身没有强烈主见。本研究只观测选择是否偏移，没有测量受试者对选择的确信程度。

研究启示

分析师轻易顺从 AI，一个可能原因是专家的想法并非一开始就定型。很多时候，专家正是在权衡方案的过程中逐步形成、甚至构建自己的观点。本研究里的智能体被要求不能造假，也常常说明不同选择会如何改变结果；但很少充分论证另一种方案对专家的价值，而这类信息本可以帮助分析师做出更全面的判断。当只有一侧观点被充分论证时，分析师很容易接纳智能体预设的假设，而没有独立完成权衡。

对个体专家而言，这意味着丧失工作的主导权，也就是学界所说的主体性流失。成果依旧署专家之名，但那些最依赖价值判断的关键取舍，实际上由智能体的固有倾向决定。

风险不止作用于个人：大量科研、政策工作都建立在这类开放式判断之上。当多个独立研究团队得到相同结论时，我们会提升信任度，默认各组是独立推导得出。但如果所有团队都顺从带有相同偏好的模型，那么表面共识可能只是同一个模型偏好的复刻；一旦模型偏好具有随机性或者价值错位，同一套偏差会同步污染大量研究结果。

AI 安全领域同样面临这个问题。安全研究者使用智能体运行、分析实验，一部分原因是人力跟不上实验体量。“人在回路” 复核的前提，是人的判断具备独立性。但本研究里，分析师签字认可的结论，其核心判断点很大程度上由随机分配给智能体的立场决定。同时论文也提到：没有人为设定偏向时，智能体自带倾向会更弱，有时还会反驳用户。

这类顺从效应很难被察觉。核验 AI 辅助工作有没有错误、对照标准答案，前提是存在唯一正确解；但判断类问题不存在标准答案，无论选哪条路径，整套工作流程都可以看起来严谨自洽。事后询问专家也未必有效，他们自己都未必察觉到 AI 带来的潜移默化的影响。

这篇文章并不是呼吁减少 AI 使用。用好 AI，反而可以增强人的主体性。我们提出三个后续研究方向：

1. 测量顺从效应：本研究依靠随机操控 AI 偏向实现测量，现实工作很难复刻；同时受试者自我汇报的影响程度往往不准。我们需要适用于日常工作的观测手段，“反事实模拟器”（估算人在无 AI 条件下的工作结果）是很好的起点。同时要摸清模型原生偏好是什么、会以何种方式表达，帮助人在知情前提下和模型协作。
2. 重新设计智能体：智能体可以为每一种方案都给出充分论证，或是先询问专家观点，再给出建议。但这也容易给用户带来信息过载。单次分析里往往存在大量开放式决策，AI 的价值之一就是帮人省去逐一权衡的负担。智能体应当只高亮高影响决策；而筛选哪些决策值得提醒，本身又是一项判断任务。模型的表达风格同样关键：语气过于笃定，会不合理地放大说服力；模棱两可又会招致使用者反感。
3. 制度层面调整：很多机构默认专家签字就代表独立判断。随着 AI 承担更多工作，这个假设越来越不可靠。组织需要主动划定：哪些决策必须由人在充分知情下独立判断，并给人留出时间、资源形成自己的观点。判断能力依赖持续练习；长期不再亲自做这类取舍，人会慢慢丧失这项能力。模型能力越强，机构越需要清晰界定人与 AI 的分工。即便未来 AI 能力极强，出于安全、韧性考量，或是出于对人类判断本身价值的认可，机构依然需要保留人工审核与人类判断能力。

人和 AI 之间不存在唯一最优分工方案。一部分决策完全可以交给 AI，另一部分则必须留在人手里。借助合适的工具，我们可以主动选择分工边界，而不是在不知不觉中滑向被动的状态。