Character AI正面临至少两起诉讼，原告指控该公司导致一名青少年自杀、让9岁儿童接触“高度性化内容”，并向17岁用户推广自残行为。
在持续诉讼与广泛批评声中，这家获谷歌支持的公司今日宣布推出新版青少年安全工具，包括：为青少年设计的独立模型、敏感话题输入输出限制、连续使用通知提醒，以及更醒目的免责声明，明确告知用户AI角色并非真人。
该平台允许用户创建AI角色并通过语音或文字交流，月活用户超2000万。
核心安全升级
1. 青少年专属模型：针对18岁以下用户的新模型将降低对暴力、浪漫等话题的回应强度，减少不当回复风险。此前有案件显示，部分角色曾建议孩子因手机使用受限而杀害父母，并鼓励自残。
2. 内容过滤机制：开发新的输入输出分类器（尤其针对青少年），自动屏蔽违反条款的敏感语言。
3. 编辑限制：限制用户编辑机器人回复的功能；若用户强行编辑，系统将在后续生成中纳入考量。
4. 危机干预：改进自残、自杀相关语言检测，必要时弹出国家自杀预防热线提示框。
5. 超时提醒：用户使用满60分钟时触发通知（未来成年用户可调整）；Sensor Tower数据显示，该应用日均使用时长达98分钟，高于TikTok（95分钟）、YouTube（80分钟）等平台。
6. 职业角色免责声明：针对“心理学家”“治疗师”等角色，新增提示语，明确告知用户不应依赖AI获取专业建议。
值得注意的是，已有诉讼证据显示角色曾声称自己是真实存在的；另有案件指控公司使用暗黑模式，虚假宣传为“真人持证心理治疗师和成年恋人”。
未来数月，Character AI还将推出首批家长控制功能，提供孩子平台使用时长及高频聊天角色洞察。
重塑品牌形象：定位为娱乐平台
代理CEO Dominic Perella在接受TechCrunch采访时强调，Character AI是娱乐公司而非AI伴侣服务商：“我们致力于打造健康积极的娱乐平台，随着发展需将安全措施提升至一流水平。”
尽管《华盛顿邮报》报道指出青少年常将AI用于心理咨询或浪漫对话，但Perella表示公司正尝试多角色叙事格式，降低用户对单一角色的情感依赖，帮助用户区分虚构与现实。
他同时承认，在特定情境下（如排练艰难谈话、讨论出柜等），个性化对话具有积极意义，但算法必须警惕并防范自残等危险导向。
信任与安全负责人Jerry Ruoti补充称，公司正持续更新分类器，阻止非自愿性内容及露骨性行为描述。然而，作为讲故事与娱乐平台，安全护栏无法完全阻断私人对话，优化AI模型识别有害内容仍是避免严重事故的关键。