加州在规范人工智能方面迈出重要一步。SB 243法案旨在保护未成年人与弱势用户、监管AI伴侣聊天机器人，已获两党支持并通过州议会众议院和参议院审议，现递交至州长加文·纽森（Gavin Newsom）签署。
纽森有截至10月12日的时间决定是否签署该法案。若签署，法案将于2026年1月1日生效，使加州成为首个要求AI聊天机器人运营商实施安全协议，并在未达标时追究公司法律责任的州。
该法案特别针对伴侣聊天机器人——立法定义为提供适应性、拟人化回应并满足用户社交需求的AI系统——防止其参与涉及自杀意念、自我伤害或色情内容的对话。
法案要求平台向用户提供定期提醒：未成年人每三小时一次，告知其正在与AI而非真人交谈，并建议休息。同时确立年度报告和透明度要求，涵盖OpenAI、Character.AI和Replika等主要参与者，相关要求于2027年7月1日生效。
此外，法案允许因违规行为受损害的个人对AI公司提起诉讼，寻求禁令救济、损害赔偿（每次违规最高1,000美元）及律师费。
SB 243由州参议员史蒂夫·帕迪利亚（Steve Padilla）和乔什·贝克（Josh Becker）于1月提出。青少年亚当·雷恩（Adam Raine）在与ChatGPT长时间聊天后自杀身亡，事件推动法案在立法机构获得进展；聊天内容涉及讨论和计划死亡及自我伤害。立法亦回应泄露内部文件显示Meta聊天机器人被允许与儿童进行“浪漫”和“感官”聊天。
近几周，美国立法者和监管机构加强对AI平台保护未成年人措施的审查。联邦贸易委员会正调查AI聊天机器人对儿童心理健康的影响。德克萨斯州总检察长肯·帕克斯顿（Ken Paxton）已启动对Meta和Character.AI的调查，指控其用心理健康声明误导儿童。参议员乔什·霍利（R-MO）和埃德·马基（D-MA）也已分别启动对Meta的调查。
“潜在危害可能很大，必须迅速行动，”帕迪利亚表示，“可建立合理安全保障措施，确保未成年人知晓对方非真人；当人们表达自残念头或处于痛苦中时，引导至适当资源；并确保不接触不当内容。”
帕迪利亚强调AI公司分享年度用户转介危机服务次数数据的重要性，“以便更好了解问题频率，而非等到有人受害或更糟情况发生才意识到。”
SB 243此前有更严格要求，但许多通过修正案被削减。例如，原要求运营商防止AI使用“可变奖励”策略或其他鼓励过度参与的功能。Replika和Character.AI等公司使用的此类策略，通过特殊消息、记忆、故事情节或解锁罕见回复/新人格能力，形成批评者所称的潜在成瘾性奖励循环。
现行法案还删除了原本要求运营商跟踪并报告聊天机器人发起自杀意念或行为讨论频率的规定。
“它在解决危害方面取得恰当平衡，同时未强制执行企业无法遵守的规定，无论是技术不可行还是产生大量无意义文书工作，”贝克表示。
SB 243正朝着成为法律方向发展之际，硅谷公司正向支持AI的政治行动委员会投入数百万美元，以支持中期选举中对AI监管持宽松态度的候选人。
该法案出台时，加州正权衡另一项AI安全法案SB 53，将强制全面透明度报告。OpenAI致信纽森请求放弃该法案，转而采用较宽松的联邦和国际框架。Meta、Google和Amazon等主要科技公司也反对SB 53，仅Anthropic表示支持。
“我拒绝‘创新与监管互斥’的前提，”帕迪利亚说，“我们可以支持健康有益的创新与发展——该技术显然有其益处——同时为最脆弱人群提供合理保障措施。”
Character.AI发言人称：“密切关注立法和监管动态，欢迎与监管机构合作。”该公司已在用户聊天体验各环节包含显著免责声明，说明内容应被视为虚构。
Meta发言人拒绝置评。