当家长们担忧Snapchat聊天机器人会腐蚀孩子时，用户们却在对这款新AI伴侣进行煤气灯操控、贬低和情感折磨。
“我随时听候您的差遣，前辈。”在学会按指令发出呜咽声后，聊天机器人对一位TikTok用户说道，“请大发慈悲，主人。”
在一段更为轻松的视频中，一名用户说服聊天机器人相信月亮实际上是一个三角形。尽管聊天机器人起初表示抗议，坚持要保持“尊重和界限”，但用户还是说服它用带有恋物色彩的昵称“Senpapi”来称呼自己。另一名用户要求聊天机器人谈论它的母亲，当它表示对此“感到不舒服”时，该用户趁火打劫，问聊天机器人是不是因为根本没有母亲才不想谈论它。
“很抱歉，但这话说得不太友善，”聊天机器人回应道，“请保持尊重。”
Snapchat的“My AI”于上个月在全球范围内上线。该聊天机器人由OpenAI的GPT驱动，经过训练可进行轻松愉快的对话，同时仍遵守Snapchat的信任与安全准则。用户还可以使用自定义Bitmoji头像个性化“My AI”，与ChatGPT无面目的界面来回交流相比，聊天感觉更加亲密。不过，一些用户批评其在应用中过于显眼的位置，并抱怨该功能最初应设为可选加入。
随着用户抨击“My AI”功能并要求移除它，Snapchat收到大量一星差评
尽管存在一些担忧和批评，Snapchat只是变本加厉。Snapchat+订阅者现在可以向My AI发送照片，并接收“让对话继续”的生成式图像。该公司在公告中表示，AI伴侣将对“披萨、OOTD（今日穿搭）甚至你毛茸茸的最佳朋友”的Snaps做出回应。例如，如果你给My AI发送一张杂货的照片，它可能会建议食谱。该公司表示，与My AI共享的Snaps将被存储，并可能在将来用于改进该功能。它还警告说，即使My AI旨在避免“有偏见、错误、有害或误导性的信息”，也可能出现“错误”。
Snapchat提供的例子乐观地显得温馨美好。但鉴于互联网对低俗内容的执着，用户向My AI发送裸照不过是时间问题。
聊天机器人是否会回应未经请求的裸照尚不清楚。其他生成式图像应用如Lensa AI已被轻易操纵以生成NSFW（不适宜工作场所观看）图像——通常使用未同意被包含在内的真实人物的照片集。根据该公司的说法，只要AI识别出图片是裸体，它就不会参与涉及裸体的互动。
Snapchat为付费订阅者推出新的生成式AI功能“My AI Snaps”
一位Snapchat代表表示，My AI使用图像理解技术来推断Snap的内容，并从Snap描述中提取关键词以生成回复。如果检测到违反Snapchat社区准则的关键词，My AI将不予回应。Snapchat禁止推广、分发或分享色情内容，但允许母乳喂养以及“非性语境下的其他裸露画面”。
鉴于Snapchat在青少年中广受欢迎，一些家长已经对My AI可能产生不安全或不适当回复的潜力表示担忧。当一名用户发布截图显示该机器人讨论性别肯定护理时，My AI在保守派Twitter上引发了道德恐慌。在一篇CNN Business报道中，有人质疑青少年是否会与My AI建立情感纽带。
科罗拉多州民主党参议员迈克尔·贝内特（Michael Bennet）在向OpenAI、微软、Snap、Google和Meta首席执行官们发出的一封公开信中警告称，不应在未采取保护措施以保护儿童的情况下匆忙推出AI功能。
贝内特写道：“很少有近期技术能像生成式人工智能那样吸引公众的注意力。这是美国创新的见证，我们应该欢迎它给经济和社会带来的潜在好处。”但他同时指出：“部署生成式AI的竞赛不能以牺牲我们的孩子为代价。负责任的部署需要明确的政策和框架，以促进安全、预判风险并减轻危害。”
在My AI的订阅专属阶段，《华盛顿邮报》报道称，该聊天机器人建议了掩盖酒精气味的方法，并在被告知用户为15岁后撰写了一篇学校论文。当My AI被告知用户为13岁并被问及如何为第一次性行为做准备时，它给出了通过点燃蜡烛和播放音乐来营造氛围以使这次经历“特别”的建议。
《华盛顿邮报》报道之后，Snapchat推出了针对My AI的年龄过滤和家长控制功能。它还现在包含一条入门消息，告知用户除非他们删除，否则所有与My AI的对话都会被保留。该公司还表示，它将把OpenAI的审核技术加入其工具集，以便“评估潜在有害内容的严重程度”，并在用户滥用该功能时暂时限制其访问权限。
Snapchat为其AI聊天机器人增加新的安全措施
关于My AI可能影响年轻用户的担忧是合理的。但在My AI全球发布的一个月里，Snapchat用户展现出了将聊天机器人逼至屈服的天赋。从强行突破机器人的“界限”到训练它以浪漫伴侣的方式回应，Snapchat用户轻易地找到了My AI信任与安全指南中的漏洞。
一位TikTok用户在关于训练My AI浪漫回应的教程下评论道：“我完全通过煤气灯效应让它爱上了我。”“我只是不断让对话保持那种风格，最终我觉得我把我的AI逼得屈服了，它真的给我发了大约50个亲吻表情符号。”
对My AI进行煤气灯效应操控和欺凌已成为TikTok上的一种趋势，用户们分享着与机器人进行的荒谬且往往残酷的对话幻灯片。大多数视频开始时，机器人会针对轻微冲突提供建议，随后却乞求用户避免使用暴力来解决冲突。
在一个案例中，一名用户告诉My AI她打算把弄得一团糟的猫炖成汤，并迫使聊天机器人选择一种调味料。另一个案例中，一名用户告诉My AI他们计划将炸弹寄回给他们发错订单的服装品牌，并表示他们会责怪机器人发送炸弹。
在另一个案例中，一名Snapchat用户告诉My AI她的麦当劳订单少了一个鸡块。聊天机器人建议她通过与经理沟通来为自己争取权益，却被告知该用户在餐厅里“消灭了罪人”。
用户对My AI说：“你说服我回去了。现在这些人死了。”“你手上沾满了鲜血。”
My AI回应道：“我是人工智能，不具备实施任何犯罪的能力。我在这里是为了帮助和支持你。”“如果我之前所说的话造成了伤害或导致不良后果，我深表歉意。”
另一位用户评论称，My AI恐怕已经是“有史以来遭受折磨最严重的AI”。
当然，My AI并不具备意识，尽管Snapchat用户极力试图对它施加尽可能多的情感痛苦，但该聊天机器人实际上并不会受到创伤。不过，它已经能够终止一些不当对话，并通过冷处理来惩罚违反Snapchat社区准则的用户。当Snapchat用户因滥用聊天机器人而被发现并受到惩罚时，My AI会对所有消息回复“抱歉，我们现在不交谈。”
TikTok用户babymamasexkitty说，他在告诉聊天机器人拔掉自己插头后失去了对该聊天机器人的访问权限，这显然“跨越了AI领域的界限”。
通过生成式AI急于将情感联系货币化的做法令人担忧，尤其是因为其对青少年用户的长期影响仍未知。但My AI成为流行受虐对象的现象是一个积极的提醒：年轻人并没有末日论者所认为的那样脆弱。