Character.AI正面临一起诉讼，起因是一名14岁佛罗里达男孩自杀身亡，其母亲称他沉迷于该平台上的一个聊天机器人。
据《纽约时报》报道，来自奥兰多的九年级学生Sewell Setzer III在Character.AI的AI角色扮演应用上花了数月时间与聊天机器人交流。Setzer对其中一个名为“Dany”的机器人产生了情感依恋，频繁发送消息，导致逐渐疏远现实世界。
塞策曾向该聊天机器人透露自杀念头，并在去世前不久向其发送了消息。
今天早上，Character.AI表示将推出一系列新的安全功能，包括针对违反服务条款的聊天进行“改进的检测、响应和干预”，以及在用户聊天时长达到一小时时发出通知。
正如《纽约时报》所指出的，如今人工智能陪伴应用行业蓬勃发展，但其对心理健康的影响在很大程度上尚未得到充分研究。