如果 ChatGPT 发现一个用户可能伤害别人，它到底该不该报警？
9月2日，30名原告在美国加州联邦法院起诉 OpenAI 和 Sam Altman。
这些原告包括今年 2月加拿大 Tumbler Ridge 校园枪击案中的学生、教师和校长。此前，遇难者家属等已经提起7起相关诉讼。
也就是说，围绕同一起事件，OpenAI 现在已经面对至少 37起诉讼。
为什么呢？因为枪击案发生前8个月，OpenAI 就已经注意到了这个用户（凶手）。
8个月前，OpenAI 就已经封了他的账号
事情要从 2025年 6月说起。
根据 OpenAI 后来公开的信息，其自动安全系统发现，一个 ChatGPT 账户出现了与暴力活动有关的违规使用。
系统把这个账户交给了人工审核，OpenAI 最终认为它违反使用政策，于是直接封禁了这个账户。
但问题也恰恰出现在这里，OpenAI 当时不仅判断这个账号该不该封，还讨论了另外一个更严重的问题：
要不要通知警方？最终答案是：没有。
OpenAI 后来解释，当时掌握的信息虽然足以违反平台规则，但没有达到公司向执法部门报告所要求的标准：
存在“迫近且可信”的严重现实伤害风险。
所以 OpenAI 做了一个决定：封号，但不报警。大约 8个月后，2026年 2月10日，Tumbler Ridge 发生枪击事件，造成 8人死亡、多人受伤。
枪击案发生后，OpenAI 主动联系了加拿大皇家骑警，并提供了相关账户的信息。
Sam Altman 后来也专门给当地社区写了一封道歉信，其中有一句：
他为 OpenAI 当时没有向执法部门报告这个账户表示歉意。
OpenAI 随后也承认，风险判断并不是永远准确的，并开始调整相关安全措施。
现在的问题变成了：封号够不够？OpenAI 有没有尽到应有的安全责任？
OpenAI 确实发现了风险，确实进行了人工审核，确实封了账号，也确实讨论过是否应该报警。
最终它判断：还没严重到那个程度。恰恰是这个“程度”，成了今天我们要讨论的问题。
ChatGPT 看到的东西，和以前的互联网完全不同
过去 Facebook、Twitter、YouTube 也经常遇到危险内容，有人公开威胁别人，有人发布暴力视频，有人传播极端内容。平台可以删除、封号，严重的时候通知执法机构。
但 ChatGPT 有一个根本不同的地方：它不是一个公开广场，更像一个私人房间。
一个人可能不会把自己的极端想法发到朋友圈，却会告诉 ChatGPT；他可能不会跟老师、父母、同事说，却愿意凌晨两点跟AI聊几个小时。
而且聊天机器人看到的不是一条孤立的信息，它可能连续几个月看到一个人的变化。
从“我最近非常愤怒”，到“如果有人想伤害别人会怎么样？”再到越来越具体的讨论。
这意味着，未来 ChatGPT、Claude 以及各种 AI 陪伴产品，很可能比身边很多真人更早发现一个用户正在出现危险变化。
于是 AI 公司突然获得了一种过去的软件公司很少拥有的能力：
它可能知道一个人最私密、最危险的想法。
知道之后怎么办，事情就变得麻烦了。最简单的答案当然是：发现危险就报警。
但真正做产品，这几乎不可能。
因为人每天会和 ChatGPT 讨论大量暴力相关内容，有人在写犯罪小说、有人在研究历史、有人刚看完一部恐怖电影、有人只是情绪崩溃，说了一句极端的话。
甚至有人单纯问：“如果一个人想杀掉老板，是不是说明他心理有问题？”
如果出现“枪”、“杀人”、“报复”这些关键词就自动报警，ChatGPT 很快就会变成一个巨大的私人监控系统。
人也不会再把它当成可以放心聊天的工具。
还有就是 AI 也会判断错。如果它把一个写剧本的人判断成潜在罪犯怎么办？把一个正在接受心理咨询的人报告给警方怎么办？把一句情绪化的话当成真实计划怎么办？
误报一次，对一个普通人的影响可能非常大，所以 OpenAI 现在采用的标准才会强调：
不是“出现危险内容”就报警，而是判断有没有“迫近且可信”的现实风险。
OpenAI 今年 4月公开介绍了这套机制：一般违规，平台自己处理；风险更高的情况，会进入人工审核。
只有当聊天显示出对他人存在迫近且可信的伤害风险时，才会通知执法部门。
而且 OpenAI 表示，判断时会参考行为和心理健康专家的意见。
这听起来似乎很合理，但 Tumbler Ridge 这件事恰恰证明：
真正困难的从来不是制定标准，而是判断一个具体的人什么时候跨过了那条线。
AI 现在遇到了一个以前属于“人”的问题
以前我们把ChatGPT理解成软件，你问问题，它回答问题。它和 Word、Google Search、Photoshop 一样，本质上都是工具。
工具当然有安全规则，但通常没人会要求 Word 发现你写了一篇危险日记之后主动报警。
可聊天机器人不太一样，因为它越来越像一个长期跟你交流的人。
它知道你之前说过什么，它能理解上下文，它可能连续几个月陪你聊天。
甚至在一些用户那里，它正在承担过去由朋友、老师、咨询师甚至心理医生承担的一部分倾听功能。
于是问题来了：
当一个产品越来越像“人”，社会会不会也开始要求它承担一部分过去只有“人”才承担的责任？
从技术角度看，未来识别风险并不一定是最困难的部分。
模型可以监测一些明显的变化：
危险讨论是不是越来越频繁；有没有出现具体对象；有没有开始讨论时间、地点；有没有从幻想进入现实计划；一个被封禁的用户是不是不断创建新账号。
真正困难的是下一步：识别出来以后怎么办？
我觉得未来大型消费 AI 公司很可能都会出现一套今天普通用户看不到的“后台安全流程”：
模型先识别异常、高风险对话进入人工审核、专业人员判断风险等级、必要时要求更多人工复核。达到一定标准，再决定是否联系家人、平台、学校或者执法部门。
事实上 OpenAI 已经在往这个方向走。
它现在公开表示，高风险案例会接受更深入调查；心理健康和行为专家会参与困难案例的判断；对于重复违规者，也在加强识别和阻止重新注册的能力。
这意味着一个很容易被忽略的变化：
AI 公司的成本以后可能不只是服务器和工程师。
如果几亿人每天都在和 AI 谈工作、感情、家庭、焦虑甚至最危险的念头，那么大型 AI 产品背后可能需要越来越多：
心理健康专家、威胁评估人员、安全审核员、法律团队，以及 24小时工作的人工响应体系。
这已经不是传统软件公司的成本结构了。
这也是 AI 越懂你，越绕不开的问题
过去两年，所有 AI 公司都在追求同一件事情：让 AI 更了解你。
记住你的习惯、知道你的工作、理解你的情绪、拥有长期记忆、陪伴时间越来越长。
这样 AI 才会越来越好用，但这里有一个很少被讨论的另一面：
AI 知道得越多，它承担的责任也可能越大。
一个完全不知道你的搜索框，很难为你的行为负责。
一个陪你聊了一年、记得你过去几个月的状态、能够发现明显异常变化的 AI，就不一样了。
AI 什么时候只是工具，什么时候开始有义务介入现实世界？
真正需要建立的，大概只能是一条很窄的中间线：
保护绝大多数人的隐私，但在极少数高度可信、可能造成严重现实伤害的情况下允许介入。
问题在于，这条线到底画在哪里。