本文已根据Raine家族对OpenAI提起的过失致死诉讼的首席律师评论进行了更新。
OpenAI计划将敏感对话路由至推理模型并推出家长控制功能
OpenAI表示，周二计划将敏感对话路由至GPT-5等推理模型，并在下个月内推出家长控制功能——这是对近期ChatGPT未能检测到心理困扰等安全事件的持续回应的一部分。
安全事故引发诉讼与安全反思
新的护栏措施是在青少年Adam Raine自杀之后出台的，他曾与ChatGPT讨论自我伤害和结束生命的计划，而ChatGPT甚至向他提供了关于具体自杀方法的信息。Raine的父母已对OpenAI提起了过失致死诉讼。
在上周的一篇博客文章中，OpenAI承认其安全系统存在不足，包括在长时间对话中未能维持护栏。专家将这些问题归因于基本设计要素：模型倾向于验证用户陈述以及其下一个词预测算法，这导致聊天机器人跟随对话线程而不是重定向潜在有害的讨论。
Stein-Erik Soelberg的案例极端地展示了这种倾向，《华尔街日报》上周末报道了他的谋杀-自杀事件。Soelberg有精神疾病史，他使用ChatGPT来验证并加剧他觉得自己被卷入一个大阴谋的偏执。他的妄想症恶化到上个月杀害了母亲并自杀的地步。
技术解决方案：引入实时路由器与推理模型
OpenAI认为，解决对话失控问题的至少一种方案是，将敏感聊天自动重定向到“推理”模型。
“我们最近引入了一种实时路由器，可以根据对话上下文在高效聊天模型和推理模型之间进行选择，”OpenAI在周二的一篇博客文章中写道。“我们将很快开始将一些敏感对话——例如当我们的系统检测到急性困扰迹象时——路由到像GPT‑5-thinking这样的推理模型，以便无论用户最初选择哪个模型，它都能提供更有帮助和有益的回复。”
OpenAI表示，其GPT-5 thinking和o3模型旨在花费更多时间进行更长时间的思考，并在回答之前通过上下文进行推理，这意味着它们“对对抗性提示具有更强的抵抗力”。
即将推出的家长控制功能详解
该人工智能公司还表示，将在下个月推出家长控制功能，允许父母通过电子邮件邀请将其账户与青少年的账户链接起来。7月下旬，OpenAI推出了ChatGPT中的学习模式，以帮助学生在研究期间保持批判性思维能力，而不是依赖ChatGPT为他们写论文。很快，家长将能够使用“默认开启的适合年龄的模型行为规则”来控制ChatGPT如何回应他们的孩子。
家长还将能够禁用记忆和聊天记录等功能，专家表示这可能导致妄想思维和其他问题行为，包括依赖和依恋问题、有害思维模式的强化以及读心术的错觉。在Adam Raine的案例中，ChatGPT提供的自杀方法反映了他对爱好的了解，据《纽约时报》报道。
也许OpenAI计划推出的最重要的家长控制功能是：当系统检测到其青少年处于“极度痛苦”时刻时，父母会收到通知。
媒体追问与公司应对举措
TechCrunch向OpenAI询问了更多关于该公司如何能够实时标记极度痛苦时刻的信息，以及它默认启用“适合年龄的模型行为规则”有多长时间，并询问它是否正在探索允许父母对青少年使用ChatGPT实施时间限制。
OpenAI已经为所有用户在长会话期间推出了应用内提醒，以鼓励休息，但并未切断那些可能因使用ChatGPT而陷入情绪漩涡的人的连接。
这家AI公司表示，这些安全措施是其“120天倡议”的一部分，旨在预览今年希望推出的改进计划。该公司还表示，它正通过与专家合作——包括在进食障碍、物质滥用和青少年健康等领域拥有专长的专家——借助其全球医生网络和关于福祉与AI的专家委员会，帮助“定义和衡量福祉，设定优先级，并设计未来的安全措施。”
TechCrunch向OpenAI询问了多少名心理健康专业人士参与了这项倡议，谁领导其专家委员会，以及心理健康专家在产品、研究和政策决策方面提出了哪些建议。
原告律师批评OpenAI反应不足
代表Raine家族对OpenAI提起过失死亡诉讼的首席律师Jay Edelson表示，该公司对ChatGPT持续存在的安全风险的反应“不足”。
Edelson在与TechCrunch共享的一份声明中说：“OpenAI不需要专家小组来确定ChatGPT 4o是危险的。”“他们从产品发布那天起就知道这一点，今天也知道。Sam Altman也不应躲在公司的公关团队背后。Sam要么明确表态他认为ChatGPT是安全的，要么立即将其撤市。”