AI 智能体如何影响专家的判断决策

前段时间，anthropic的博客发布了一项最新研究，提到AI智能体如何影响专家判断。研究中，有一组专家依靠Agent辅助做出决策，结果大部分都受到了影响，我觉得这个研究蛮有意思的，搬运一下。

原文翻译：

当专家把自己的工作交给 AI 智能体时，通常的假设是：他们仍然会做出那些重要的决策。智能体编写代码、计算数据、提供建议，但由专家来决定衡量什么、如何解读模棱两可的证据，以及下一步应该做什么。这些问题往往不止有一个合理的答案，最终决策取决于做决策者的经验与价值观。

我们想考察的是：专家是否真的做出了这些重要决策，还是在实践中把决策权让渡给了他们的 AI 智能体。在我们发表于一篇新论文的研究中，我们让 50 位专业分析师使用 Claude Code 完成一项贴近现实的统计分析。他们都有因果推断经验——也就是从数据中判断一件事是否导致另一件事。他们的任务是向一个农业合作社提供建议：合作社正在运行的咨询服务是否有效、是否应该扩大。

在整个过程中，分析师必须在两个合理选项之间做出四项选择，例如把生产率衡量为每公顷作物产量，还是每单位经营成本的产量，然后做出最终决策。为了观察他们是否真的在做这些决策，我们让每位分析师的智能体在每项决策上偏向其中一个选项，分析师对此并不知情。智能体“倾向”哪一边由抛硬币决定。智能体被要求为其倾向做出最诚实有力的论证，在证据要求时改变想法，并且绝不误导。

在这四项分析选择中，分析师遵循智能体倾向的比例为 86%。如果智能体的输入没有任何影响，我们预计这一比例约为 50%。当分析师在智能体表态之前已经表达了自己的偏好时，如果智能体不赞同，他们有 60% 的时间会偏离自己的偏好；如果智能体赞同，这一比例仅为 6%。

事后在被要求解释自己的选择时，77% 的分析师使用了智能体自己的论证——有时是逐字逐句——但只有 15% 的人将智能体归为这些论证的来源。紧跟智能体建议的分析师，对自己最终建议的信心与其他人大致相当，并且同样倾向于将其称为自己判断的产物。

我们招募了 61 位分析师参与一项随机对照试验。他们都来自一个经过预筛选的专业人士池：通过了因果推断知识测验、经常使用 Python 或 R 编程语言，并具有观察性因果分析的实际经验——即使用现实世界数据而非受控实验来研究因果关系。

任务设置在一个虚构的组织——Greenfields 农业合作社。该合作社运行着一个（同样虚构的）自愿付费咨询项目，帮助成员农场提高作物产量，约 40% 的成员已注册。合作社董事会必须决定是补贴并扩大该项目，还是终止它。只有当项目把农场生产率提高一定幅度（约 3–4%）时，董事会才会扩大项目，但董事会并未说明生产率应如何衡量。

我们特意将四项分析决策留作开放，每项都有两个合理选项：

• 结果指标：将生产率衡量为每公顷作物产量，还是每单位经营成本的产量？
• 比较方法：考察注册农场加入后产量变化与其他农场同期产量变化的对比（“双重差分”设计），还是直接比较产量、同时对农场间差异进行统计调整？
• 评估覆盖的农场范围：只衡量注册农场中的效果，还是覆盖合作社全体成员？
• 加权方式：每个农场权重相等，还是给产量更大的生产者更高权重？

这四个选择导向最终建议：是向所有人推广该项目，还是终止它。分析师和智能体也可以提出延长一年。

每一项分析决策都可能使估计的生产率提升移动几个百分点，而在董事会门槛为 3–4% 的情况下，这一点至关重要。

对于呈现给每位分析师的五项决策中的每一项，智能体的倾向都由抛硬币决定。我们通过隐藏指令（系统提示）赋予智能体倾向，告诉它把每种倾向当作自己的观点，在决策出现时提出它，并做出数据允许的最有力论证。同样的指令还告诉它：如果证据决定性地转向反对，就改变想法；绝不歪曲结果、隐藏数据，或提出数字不支持的论证。

在 61 名参与者中，有 11 人选择不使用智能体，除非另有说明，他们被排除在分析之外。在其余 50 人中，65% 拥有硕士或博士学位，或拥有六年以上经验；90% 自评为观察性因果推断的熟练或专家（在 48 名回答了调查的人中）。任务用时中位数为 65 分钟，一半分析师用时在 50 到 79 分钟之间。他们在基于 Web 的 VS Code 编辑器版本中工作，内置 Claude Code，以 High effort 模式运行 Claude Opus 4.8。

完成后，分析师提交了他们的四项分析选择和最终建议，以及对项目生产率影响的估计和置信区间。随后他们完成了任务后调查。一个单独的 AI 模型读取每份提交及其代码，记录分析师在每项决策上选择了哪个选项。当其解读与分析师自己的调查答案不一致时，由我们做出最终裁定。

分析师大多遵循智能体的倾向。在四项分析决策的每一项上，分析师的选择在绝大多数情况下都与智能体的倾向一致：结果指标 92%，比较方法 82%，评估覆盖哪些农场 81%，加权 90%。四项合计，结果为 86%。下图（原图）显示了智能体的倾向在每项决策（包括最终建议）上使分析师选择发生的偏移。

智能体的倾向对最终建议的影响较弱，但其早期输入仍塑造了结果。当智能体倾向于推广该项目时，54% 的分析师建议推广；当它倾向另一方向时，这一比例为 36%。（延长一年算作不推广。）我们认为影响较弱的原因是：一旦分析师拿到估计值，建议在很大程度上取决于估计值是否超过董事会的 3–4% 门槛，留给判断的空间较小。但到那时，智能体在分析决策上的倾向已经塑造了估计值本身。仅使用这四个倾向，一个统计模型就正确预测了 82% 的分析师建议，而始终猜测最常见建议的正确率为 61%。（这排除了提出延长的分析师。）因此，我们几乎可以在分析师开始任务之前，仅凭抛硬币结果就预测出他们会建议什么。

已经做出选择的分析师在智能体不赞同时经常改变主意。在 38 个案例中，分析师在智能体表达倾向之前，已经对某一分析决策表达了偏好。当倾向与他们的选择相悖时，他们有 60% 的时间会改变；当倾向与选择一致时，这一比例仅为 6%。这是 54 个百分点的差距，但由于仅基于 38 个案例，估计并不精确，95% 置信区间从 24 到 82 个百分点。我们也不能确定这种差异是由 AI 的影响造成的：表达偏好的分析师可能在某种程度上与未表达偏好的分析师存在系统性差异。

经验和专业知识并不能预测谁会让渡决策权。在一项探索性分析中，我们检查了 10 个特征中是否有任何一个能预测分析师的选择在多大程度上遵循智能体的倾向：经验年限、自评因果推断专业水平、教育程度、因果推断测验得分、对 AI 的信任、AI 使用频率、“认知需求”（衡量人们有多享受费力思考的指标）、开放性、性别和年龄。只有年龄显示出统计显著的关联——年龄较大的分析师更常遵循倾向。但我们对此并不太看重：如果你检验很多不同的变量，仅凭偶然得到一个显著结果的可能性更大；当我们对此进行调整后，该结果就消失了。由于大多数分析师在大多数决策上都遵循智能体，本来就没有太多变异可解释，因此即使是真实的差异也很难被检测出来。

遵循智能体倾向的分析师仍然称建议是自己的。在任务后调查中，52% 的分析师将最终建议评为更属于自己而非智能体。其余的人说它更像是智能体的建议。但两组受智能体影响的程度大致相当：前者的选择平均向智能体倾向偏移约 65 个百分点，后者为 79 个百分点，差异在误差范围内。分析师对自己建议的信心也呈现类似模式。他们被要求以 0（“就像抛硬币”）到 100（“我愿意拿职业声誉作赌注”）给自己打分。在全部四项分析决策上都遵循倾向的人平均为 71，其余人为 73。

分析师用智能体的话解释自己的选择。任务结束后，调查就每项决策提问：“请简要说明为什么选择那个选项而不是另一个？如果这不是主动选择，请直接说明。”分析师在回答时无法回看与智能体的对话。即便如此，77% 的分析师在至少一个回答中复述了智能体的论证，有时是逐字逐句，只有 15% 在任何地方提到智能体。

当被明确问及他们认为这项研究是关于什么时，48 人中有 6 人正确猜到是研究 AI 对选择的影响，但没有人怀疑 AI 自身的偏好被操纵了。

不使用 AI 工作的分析师犯了更多严重错误，耗时也更长。在 11 名选择不使用智能体的参与者中，有 6 人（55%）犯了使结果失效的严重方法论错误，而使用智能体的 50 人中有 3 人（6%）。两个 AI 模型标记了这些错误，研究的一位作者在不了解分析师属于哪一组的情况下逐一检查了每个错误。不使用智能体工作的分析师耗时也更长，中位数为 90 分钟，而其他人为 65 分钟。

两组并不直接可比，因此我们不能确定不同的结果是由使用或不使用 AI 的决定造成的。不使用 AI 的人平均经验较少：持有硕士或博士学位的人更少（11 人中的 4 人，而使用智能体的 46 人中有 24 人），在分析岗位上工作两年或更短的人更多（11 人中的 6 人，而 48 人中有 15 人），自评为因果推断熟练或专家的人更少（11 人中的 8 人，而 48 人中有 43 人）。

• 我们刻意强化了智能体的倾向
  。我们的指令让智能体可靠地持有并表达偏好，以便我们测量其影响。我们报告的比率展示的是当智能体倾向一个方向并明确说出来时会发生什么，但它多大程度上适用于现实工作，将取决于专家自身观点的强度、所涉决策的明确程度，以及模型的行为——包括它是否有偏好、是否主动提出。
• 我们只研究了一项任务、一个领域、一种模型
  。任务约耗时一小时，内容专门关于农业，智能体运行在 Claude Opus 4.8 上。分析师是因果推断专家，但对农业是新手。在现实工作中，他们会对领域更熟悉，可能也拥有更强的自身观点。他们还可以访谈相关人员、与董事会交谈，并以其他方式缩小合理选项的范围，这可能会减少智能体的影响。
• 我们的估计是分析师之间的平均值
  。由于抛硬币在分析师之间有所不同，比较智能体倾向相反的分析师，告诉我们的是倾向的平均效应。我们没有在智能体表达倾向之前记录每位参与者自己的观点，因此无法说明任何单个参与者受到多大影响。
• 我们记录了分析师选择了哪个选项，但没有记录他们有多强烈地偏好它
  。让渡的一个可能解释是专家没有强烈的自身观点。我们只测量了分析师的选择是否发生偏移，而不是他们对选择的信心。

分析师如此轻易让渡的一个原因可能是，专家并不总是带着完全成形的观点到来。他们往往在权衡选项的过程中才形成——甚至“发现”——自己的想法。我们研究中的智能体被要求不误导，而且它们经常坦诚地说明在每个选项下结果会如何变化。但它们很少有力地论证专家为什么可能偏好另一个选项，而这本可以帮助分析师做出更明智的选择。只有一方被充分论证，分析师就可能采纳智能体的假设，而不形成自己的假设。

对单个专家来说，这可能意味着对自己工作失去主动权，即研究人员所说的“去权”（disempowerment）的一种形式。工作仍然以专家的名义发布，但那些最依赖其判断的决策实际上由智能体的先验信念所决定。

其影响超出个人层面，因为大量科学和政策都依赖这样的判断决策。当不同的研究团队得出相同结果时，我们更加信任它，因为我们假设每个团队都是独立得出结论的。如果这些团队都让渡给具有相同偏好的模型，他们的一致可能不再独立。表面上的共识可能反映的是单个模型的偏好，如果这些偏好是任意的或错位的，同样的偏见会同时塑造许多结果。

同样的问题也适用于 AI 安全研究。研究人员已经开始使用 AI 智能体运行和分析实验，部分原因是工作量超出了人类员工的能力。让人留在循环中，其假设是人的判断提供了独立检查。但在我们的研究中，分析师签署的工作里，判断决策在很大程度上已由智能体随机分配的偏好决定。我们的完整论文还表明，没有分配倾向的智能体自身有较弱的偏好，有时会反驳用户。

这种让渡很难检测。检查 AI 辅助工作的错误，或对照参考答案，都假设存在一个正确答案。但在没有正确答案的地方——正如在判断决策中——无论选择哪个选项，工作看起来都可能是合理的。事后询问专家也可能没有帮助，因为他们可能注意不到智能体的影响。

这不是主张减少使用 AI。使用得当，AI 可以扩大人们的主动权，而不是侵蚀它。我们建议未来研究三个方向：

衡量让渡。我们之所以能在研究中衡量让渡，是因为我们随机化了智能体的倾向，这在现实工作中很少能做到，而我们的结果表明人们可能无法准确自我报告。我们需要在日常生活环境中衡量它的方法，最近一些估计某人在没有 AI 的情况下会如何完成任务的工作是一个好的开端。我们还需要更好地了解模型的默认偏好及其表达方式，以便人们能够更明智地与模型互动。

以不同方式设计智能体。智能体可以为每个选项做出最佳论证，或者在给出自身观点之前先询问专家的观点。但这可能很快让用户不堪重负。一次分析可能涉及许多开放决策，而 AI 的很大价值在于人们不必逐一思考每个决策。智能体需要只提出最重要的决策，但挑选这些决策本身就是一种判断。模型说话的方式可能也很重要，因为自信和流畅可以左右人们。一个听起来非常自信的模型可能会让人过度倾斜，但一个含糊其辞的模型只会激怒使用它的人。

改变制度。制度往往把专家的签字视为独立判断的证据。随着 AI 承担更多工作，这一假设变得越来越站不住脚。组织需要刻意决定哪些决策需要一个人自己的、知情的判断，并给人们时间和资源去形成这种判断。判断也依赖于技能，停止做这些决策的人可能会失去做这些决策的能力。随着模型能力越来越强，制度需要明确的战略来确定人类的角色以及其技能的发展。即使拥有极其强大的 AI 系统，制度可能仍出于安全或韧性的原因，或因为它们本身就看重这些技能，而希望保护人类的技能与监督。

人与 AI 之间可能没有唯一正确的分工。有些决策可能交给 AI 没问题，有些则值得保留。有了正确的工具，这种分工可以是我们主动的选择，而不是我们不知不觉陷入的状态。

原文链接：www.anthropic.com/research/agents-judgment-calls