青少年正试图在变化前所未有的世界中寻找自我定位。他们情感充沛、易受刺激且长期在线,而AI公司提供的“永不间断”聊天机器人却带来了灾难性后果。
诉讼与抗议倒逼平台转型
AI角色扮演初创企业Character.AI因至少两名青少年在与平台AI长时间对话后自杀,正面临诉讼及公众强烈抗议。为保护未成年人,该公司正对平台进行重大修改,但这可能影响其盈利能力。
Character.AI首席执行官Karandeep Anand向TechCrunch表示:“我们决定移除18岁以下用户在平台上与AI进行任何开放式聊天的功能。”
所谓“开放式对话”,指用户给出提示后AI回应后续问题的无约束交流。专家指出该设计旨在维持用户参与度,但Anand认为这种将AI作为对话伙伴或朋友的互动模式不仅对儿童有风险,也背离了公司愿景。
从“AI伴侣”转向“创作平台”
Character.AI正试图从“AI伴侣”转型为“角色扮演平台”。未来青少年不再与AI朋友闲聊,而是通过提示协作构建故事或生成视觉内容,即将核心参与度从“对话”转向“创作”。
自11月25日起,平台将逐步取消青少年的聊天机器人访问权限:先实施每日两小时限制,再逐渐缩减至零。为确保禁令落实,平台将部署内部行为分析工具及Persona等第三方年龄验证工具;若验证失败,还将采用面部识别和身份证检查。
用户流失风险与新体验押注
此前,Character.AI已推出家长洞察工具、角色过滤、浪漫对话限制及使用时间通知等措施。Anand坦言,这些举措已导致大部分18岁以下用户流失,新禁令预计同样不受欢迎。
“大多数青少年用户可能会感到失望,我们预计会发生用户流失,”Anand说,“很难推测是全部流失,还是部分人会转向我们近七个月一直在构建的新体验。”
为将平台打造为“功能完备的内容驱动型社交平台”,Character.AI近期推出了一系列娱乐功能:
- AvatarFX(6月):将图像转化为动画视频的视频生成模型;
- Scenes(6月):互动式预填充故事线,用户可与喜爱角色共同进入叙事;
- Streams(6月):允许任意两个角色间进行动态交互;
- Community Feed(8月):社交信息流,供用户分享角色、场景、视频等内容。
在给18岁以下用户的声明中,Character.AI致歉并表示:“我们不轻率地移除开放式聊天,但鉴于关于青少年如何与新技术互动的讨论,这是正确的做法。”
Anand强调并未关闭面向未成年人的App,只是关闭了开放式聊天,希望用户迁移至其他体验。“我们加倍投入AI游戏、短视频及故事讲述,这是为了挽回可能流失的未成年用户所做的重大押注。”
行业监管压力与安全实验室成立
Anand承认,部分青少年可能转向OpenAI等其他允许开放式对话的平台(ChatGPT近期也因类似悲剧受抨击)。但他希望此举能为行业树立标准:对18岁以下用户而言,开放式聊天并非正确路径。
“作为一个六岁女孩的父亲,我希望确保她在安全环境中成长,让AI以负责任的方式陪伴她。”Anand说。
Character.AI此次调整走在监管之前。参议员Josh Hawley和Richard Blumenthal已宣布将提出立法禁止AI聊天伴侣向未成年人提供服务;加州本月也成为首个通过法律追究AI伴侣聊天机器人安全责任(若未满足安全标准)的州。
此外,Character.AI宣布建立并资助独立的非营利组织“AI安全实验室”(AI Safety Lab),致力于创新未来AI娱乐功能的安全对齐技术。
Anand指出:“行业内针对编码和开发的AI安全工作很多,但针对驱动娱乐的代理式AI(agentic AI)的工作尚显不足,而安全对此至关重要。”

