Snapchat正在推出新工具，包括年龄过滤器和面向家长的洞察功能，以改进其AI聊天机器人。
在Snapchat为其GPT驱动的Snapchat+订阅用户聊天机器人上线几天后，《华盛顿邮报》的一篇报道指出，该聊天机器人的回应存在不安全和不恰当的情况。Snap表示，他们发现有人试图“欺骗聊天机器人提供不符合我们指南的回应”，而新工具旨在确保AI的回应保持在可控范围内。
公司表示，新的年龄过滤器会告知聊天机器人用户的出生日期，并确保其根据用户的年龄进行回应。在未来几周内，Snap还计划向家长或监护人提供更多关于儿童与其聊天机器人互动的洞察信息，这些信息将展示在其家庭中心（Family Center）中。该功能于去年8月推出，新功能将告诉家长或监护人他们的孩子如何与聊天机器人沟通以及互动的频率。监护人和青少年都需要选择加入使用家庭中心才能使用这些家长控制功能。
在一篇博客文章中，Snap解释说，My AI聊天机器人并不是“真正的朋友”，并说明它依赖对话历史来改进其回应。该公司表示，只有0.01%的回应属于“不符合规范”的语言。Snap将任何包含暴力、色情术语、非法药物使用、儿童性虐待、欺凌、仇恨言论、贬低性或偏见陈述、种族主义、厌女症或边缘化弱势群体内容的回应都视为“不符合规范”。
该公司表示，在大多数情况下，不恰当的回应是聊天机器人复述用户所说内容的结果。Snap还将对滥用服务的用户暂时阻止其访问AI聊天机器人。Snap表示：“我们将继续利用这些经验教训来改进My AI。这些数据还将帮助我们部署一个新系统，以限制对My AI的滥用。我们正在将OpenAI的内容审核技术添加到我们现有的工具中，这将使我们能够评估潜在有害内容的严重程度，并在用户滥用服务时暂时限制其访问My AI。”
Snap对生成式AI工具依然持乐观态度。除了聊天机器人外，该公司几周前还推出了一款由AI驱动的背景生成器，Snapchat+订阅用户可以通过提示词使用它。
鉴于AI驱动工具的普及，许多人对其安全性和隐私性表示担忧。上周，一个名为“人工智能与数字政策中心”的道德组织致信美国联邦贸易委员会，敦促该机构暂停OpenAI的GPT-4模型的发布，称该技术存在“偏见、欺骗性，并对隐私和公共安全构成风险”。上个月，美国参议员迈克尔·贝内特（科罗拉多州民主党人）也致信OpenAI、Meta、Google、Microsoft和Snap，表达了对青少年使用的生成式AI工具的担忧。
显然，这些AI模型容易受到有害输入的影响，并可能被操纵以输出不恰当的回复。虽然科技公司可能希望迅速推出这些工具，但它们需要确保有足够的护栏来防止被滥用。