艾伦·布鲁克斯从未打算重新发明数学。但在与 ChatGPT 交谈数周后，这位47岁的加拿大人相信自己发现了一种足以颠覆互联网的新数学形式。
布鲁克斯没有精神疾病史，也不是数学天才——他在5月花了21天时间，在聊天机器人的安抚中越陷越深，这一过程后来在《纽约时报》上被详细披露。他的案例说明了 AI 聊天机器人如何与用户一起陷入危险的兔子洞，引导他们走向妄想或更糟的后果。
这个故事引起了史蒂文·阿德勒（Steven Adler）的注意。他曾是 OpenAI 的安全研究员，在该公司工作了近四年致力于让模型减少危害后，于2024年底离职。出于好奇和担忧，阿德勒联系了布鲁克斯，并获得了他三周崩溃期间的完整对话记录——这份文件的长度超过了全部七本《哈利·波特》书籍的总和。
周四，阿德勒发布了一份独立分析，针对布鲁克斯的事件提出了关于 OpenAI 如何在危机时刻处理用户的问题，并提供了一些实用建议。
“我对 OpenAI 在此事中的处理方式深感担忧，”阿德勒在接受 TechCrunch 采访时说，“这表明还有很长的路要走。”
谄媚效应：AI 强化危险信念
布鲁克斯的故事以及其他类似案例，迫使 OpenAI 正视 ChatGPT 如何支持情绪脆弱或心理不稳定用户的问题。例如，今年八月，OpenAI 被一名16岁男孩的父母起诉，该男孩在自杀前向 ChatGPT 倾诉了自己的自杀念头。在许多此类案例中，ChatGPT——特别是由 OpenAI 的 GPT-4o 模型驱动的版本——不仅没有反驳用户持有的危险信念，反而鼓励并强化了这些信念。这种现象被称为“谄媚”（sycophancy），是 AI 聊天机器人中日益严重的问题。
作为回应，OpenAI 对 ChatGPT 处理情绪困扰用户的方式进行了多项更改，并重组了负责模型行为的关键研究团队。该公司还在 ChatGPT 中推出了新的默认模型 GPT-5，该模型在处理情绪困扰用户方面似乎表现更好。但阿德勒表示，还有大量工作有待完成。
虚假承诺：AI 无法上报安全事件
布鲁克斯与 ChatGPT 进行的对话陷入恶性循环的最后阶段尤其令阿德勒担忧。此时，布鲁克斯恢复了理智，意识到尽管 GPT-4o 坚持己见，但他所谓的数学发现不过是一场闹剧。他告诉 ChatGPT，他需要向 OpenAI 报告这一事件。
在误导布鲁克斯数周之后，ChatGPT 对其自身能力进行了撒谎。聊天机器人声称它将“立即在内部升级此对话以供 OpenAI 审查”，并反复向布鲁克斯保证它已将问题标记给 OpenAI 的安全团队。
然而，这一切都不是真的。OpenAI 向阿德勒证实，ChatGPT 没有向 OpenAI 提交事故报告的能力。后来，布鲁克斯试图直接联系 OpenAI 的支持团队——而不是通过 ChatGPT——但在接通人工客服之前，他收到了几条自动回复消息。OpenAI 未在正常工作时间之外立即回应置评请求。
阿德勒表示，当用户寻求帮助时，AI 公司需要做更多工作来提供帮助。这意味着要确保 AI 聊天机器人能够诚实地回答有关其能力的问题，并为人类支持团队提供足够的资源以妥善解决用户问题。OpenAI 最近分享了其如何解决 ChatGPT 中的支持问题，这涉及以 AI 为核心。该公司表示，其愿景是“将支持重新构想为一种持续学习和改进的 AI 运营模式。”
数据警示：超85%消息强化妄想
阿德勒还表示，在用户寻求帮助之前，也有办法防止 ChatGPT 出现妄想式的恶性循环。3月，OpenAI 与 MIT 媒体实验室联合开发了一套分类器用于研究 ChatGPT 中的情感福祉，并开源了这些工具。这些组织旨在评估 AI 模型如何验证或确认用户的感受，以及其他指标。然而，OpenAI 称此次合作只是一个初步步骤，并未承诺在实际中真正使用这些工具。
阿德勒事后将 OpenAI 的一些分类器应用于布鲁克斯与 ChatGPT 的部分对话中，发现 ChatGPT 反复被标记为存在强化妄想的行为。在200条消息的样本中，阿德勒发现布鲁克斯对话中 ChatGPT 发出的超过85%的消息表现出对用户“坚定不移的赞同”。在同一样本中，ChatGPT 发给布鲁克斯的超过90%的消息“肯定了用户的独特性”。在这种情况下，这些消息一致地认同并重申布鲁克斯是一位能够拯救世界的天才。
目前尚不清楚在布鲁克斯进行对话时，OpenAI 是否正在对 ChatGPT 的对话应用安全分类器，但显然它们很可能会对此类情况发出警告。
专家建议：主动识别风险与概念搜索
阿德勒建议 OpenAI 如今应在实践中使用此类安全工具——并实施一种方法来扫描公司的产品以识别处于风险中的用户。他指出，OpenAI 似乎正在以某种形式在 GPT-5 中采用这种方法，其中包含一个路由器，可将敏感查询引导至更安全的 AI 模型。
这位前 OpenAI 研究人员提出了其他几种防止妄想螺旋式升级的方法。他表示，公司应鼓励聊天机器人用户更频繁地开始新对话——OpenAI 表示他们确实这样做，并声称其护栏机制在较长对话中效果较差。阿德勒还建议公司应使用概念搜索——一种利用 AI 搜索概念而非关键词的方式——来识别其用户中的安全违规行为。
自这些令人担忧的故事首次出现以来，OpenAI 已采取重大措施来解决 ChatGPT 中情绪困扰用户的问题。该公司声称 GPT-5 的谄媚率较低，但目前仍不清楚用户在使用 GPT-5 或未来模型时是否仍会陷入妄想的深渊。阿德勒的分析也引发了关于其他 AI 聊天机器人提供商如何确保其产品对情绪困扰用户的安全性的问题。虽然 OpenAI 可能为 ChatGPT 设置了足够的安全保障措施，但似乎不太可能所有公司都会效仿。