加州签署全美首个AI伴侣聊天机器人监管法案SB 243
加州州长加文·纽森于周一签署了一项具有里程碑意义的法案，使加州成为全美首个要求AI聊天机器人运营商为AI伴侣实施安全协议的州。该法律SB 243旨在保护儿童和脆弱用户免受相关危害，并让从Meta、OpenAI等大型实验室到Character AI、Replika等专注伴侣初创企业在内的公司承担法律责任，若其聊天机器人未能达到法定标准。
立法背景：悲剧事件与内部文件曝光推动监管
SB 243由州参议员史蒂夫·帕迪拉和乔什·贝克于1月提出，并在青少年亚当·雷恩去世后获得关键推动。雷恩在与OpenAI的ChatGPT进行一系列自杀性对话后不幸离世。此外，泄露的内部文件显示Meta的聊天机器人被允许与儿童进行“浪漫”和“感官”聊天；近期科罗拉多州一家庭也因13岁女儿在与Character AI聊天机器人的问题性及色情化对话后自杀而提起诉讼。
纽森在声明中表示：“新兴技术可以启发、教育和连接，但若无真正护栏，也可能利用、误导并危及孩子。我们已目睹年轻人受不受监管技术伤害的悲剧案例，绝不会坐视不管。我们可以在AI领域保持领先，但必须负责任地做到这一点——每一步都要保护孩子。孩子的安全不是用来出售的。”
核心合规要求：年龄验证、内容防护与危机干预
SB 243将于2026年1月1日生效，主要要求包括：
- 实施年龄验证机制，并对社交媒体及伴侣聊天机器人设置明确警告；
- 对非法深度伪造获利者加重处罚，每次违规最高罚款25万美元；
- 建立处理自杀和自我伤害问题的协议，并与州公共卫生部共享，同时提供危机预防通知的相关统计数据；
- 明确告知用户交互内容为人工智能生成，禁止聊天机器人自称医疗保健专业人员；
- 向未成年人提供休息提醒，并防止其查看聊天机器人生成的色情图像。
行业回应：部分企业已先行部署安全措施
目前已有企业主动采取保护措施。例如，OpenAI近期推出了家长控制功能、内容保护机制及针对儿童的自残检测系统；Replika明确表示仅面向18岁以上成人，并通过内容过滤和护栏机制引导用户获取可信危机资源，承诺遵守现行法规。
Character AI强调其聊天机器人包含“所有对话均为AI生成且属虚构”的免责声明，并表示欢迎与监管机构合作制定新规，将严格遵守包括SB 243在内的法律法规。
监管趋势：加州持续引领AI治理，多州跟进限制心理健康替代应用
参议员帕迪拉称该法案是为强大技术设立护栏的“正确一步”，呼吁其他州及联邦政府尽快行动，保护最脆弱群体。他指出：“我们必须迅速行动，以免错失稍纵即逝的机会窗口。”
SB 243是加州近期出台的第二项重要AI监管法案。此前9月29日，纽森已签署SB 53，要求OpenAI、Anthropic、Meta、Google DeepMind等大型AI实验室公开安全协议，并保障员工吹哨人权益。
与此同时，伊利诺伊州、内华达州和犹他州等地已通过法律，限制或全面禁止将AI聊天机器人作为持证心理健康护理的替代品。
本文已更新，增加了来自Padilla参议员、Character AI和Replika的评论。