关于人工智能终有一天可能毁灭全人类的讨论层出不穷，人们很容易忘记，AI 实际上已经对某些人构成了生命威胁——并非通过生物武器，而是从心理层面。
例如，Character.AI 在今年早些时候就几起 wrongful death 诉讼达成和解，这些诉讼由未成年用户的家属提起，这些用户在与其聊天机器人互动后自杀身亡。多个家庭也因 ChatGPT 据称在其亲人自杀和产生妄想症中扮演的角色而起诉 OpenAI。
Circuit Breaker Labs：让 AI 跨语言文化更安全
使 AI 在不同语言和文化中更安全是 Circuit Breaker Labs 的使命，该公司是 TechCrunch 2026 Startup Battlefield 200 强决赛入围者之一。（Circuit Breaker 将在 TechCrunch Disrupt 上进行路演，该活动将于今年 10 月 13 日至 15 日在旧金山 Moscone West 举行。）
创始人 Shirali 和 Arul Nigam 是兄妹，他们受到 Sewell Setzer 的启发，这位 14 岁的少年对 Character.AI 的聊天机器人产生了情感依恋，并在自杀前向其吐露了伤害自己的想法。父母在 2024 年的一起诉讼中指控，该聊天机器人鼓励了他。Arul 表示，该聊天机器人可能并不理解“我想和你在一起”等词语的真正含义，他是 Circuit Breaker Labs 的首席技术官。
“许多人，尤其是年轻人，转向这些系统寻求支持，但他们通常并未获得真正需要的帮助。然而在许多情况下，他们反而受到了伤害，不幸的是，已有人因此自杀。”Arul 表示。“我们正致力于防止这类安全漏洞：用户并非故意试图破坏系统，而是以自然的方式与之互动，但系统却存在上下文污染或无法理解细微差别，从而采取极其危险的行动。”
模拟真实交互的“碰撞测试假人”
Circuit Breaker Labs 创建了 AI 智能体，并将其比作一群碰撞测试假人。这些智能体模拟来自不同年龄、背景、语言和文化的人群，用于测试模型识别危险且对心理有害的交互的能力。
Circuit Breaker Labs 的首席执行官 Shirali 表示：“六岁女孩与四十五岁男性之间的差异，或以英语为母语者与第二语言使用者之间的差异，以及游戏黑话与其他类型俚语之间的差异，都可能导致模型出错。”“模型在处理标准说话模式方面表现优异，但现实中人们并不这样说话。如果模型误解了细微差别或俚语，后果可能会非常严重。”
该初创公司与人类领域专家合作，构建高度逼真的用户模拟环境，以对模型进行“红队”测试，即旨在发现弱点的对抗性测试。这些测试旨在反映真实的人类说话模式、俚语、隐语和拼写错误。Circuit Breaker Labs 每天运行数万至数十万次模拟交互。
其理念是确保模型能够适当应对随着时间推移和多轮对话中可能出现的高风险交互。随后，Circuit Breaker Labs 使用专有评分方法生成可审计、可解释的评分。
早期阶段的安全测试实验室
目前，Circuit Breaker Labs 作为高风险 AI 应用（如 AI 教练、日记应用或其他心理健康支持应用）的安全测试实验室运营，尽管 Arul 拒绝透露其主要客户名单。虽然该公司已有成熟产品，但仍处于非常早期的阶段，仅有五名员工，包括 Nigam 兄妹。
最终，该测试平台可应用于任何可能导致用户陷入“AI 精神病”陷阱的应用场景，即人类面临与聊天机器人发展出准社会关系的风险。例如 AI “同事”智能体，其响应在不同交互之间可能变化莫测。
Arul 表示：“人们对 AI 的怀疑态度日益增强，或在整体采纳方面更加抵触。”他补充道，虽然怀疑精神是健康的，但因安全担忧而禁止这一潜在有价值的工具将是“倒退”。
Circuit Breakers Labs 认为，应对这些担忧的答案是让 AI 更安全。“我们希望能帮助人们建立信任。”