大数跨境

司凯合规 | Replika意大利受罚:关于AI陪伴应用程序的GDPR合规检视

司凯合规 | Replika意大利受罚:关于AI陪伴应用程序的GDPR合规检视 Jackson聊跨境出海
2025-10-24
115
导读:VISION POWERS SOLUTION | 因知行,以司凯




司凯合规

Replika意大利受罚:关于AI陪伴应用程序的GDPR合规检视


Replika是一款面向消费者的“AI陪伴应用”,旨在通过自然对话模拟情感支持。该应用基于生成式人工智能系统,可通过与用户互动不断被输入数据并得以改进。

Replika由总部位于旧金山的公司Luka, Inc.开发,该公司由Eugenia Kuyda创立。Replika的灵感源于Kuyda在失去挚友后尝试通过聊天记录构建数字纪念的经历。自2017年公开上线以来,Replika已成为全球最知名的AI陪伴平台之一。

商业模式上,Replika采取“免费+订阅”模式。它因提供陪伴、情感支持甚至角色扮演而受到欢迎,但这些功能因其关涉敏感信息和隐私也带来了更高的数据合规要求和违规风险。



一、意大利的执法进程:从紧急禁令到500万欧元罚款


2023年初意大利数据保护局(Garante)发布紧急命令,暂停Replika在意大利处理个人数据,理由包括未成年人保护不足、未设置年龄验证过滤机制、隐私透明度缺失等。之后 Luka, Inc.和Garante之间进行了多轮的信息沟通,公司也采取了多项纠正措施,包括但不限于:阻止意大利用户通过应用程序和网站访问Replika;聘请外部顾问以确保符合《通用数据保护条例》(GDPR)的要求;引入“冷静期”,防止未成年人反复尝试使用虚假生日注册;更新隐私政策,使内容更清晰透明。

2024年2月,Garante通知公司其依法启动程序采取纠正措施和制裁。公司未回复该启动程序通知,也未要求听取其意见。

2025年4月,在完成正式调查后,Garante对公司处以500万欧元罚款,并确认其多个处理行为违反GDPR。



二、违规原因


以下为 Garante认定的Replika主要违规事实,并结合GDPR的相关规定进行说明:

缺乏合理的处理依据:GDPR第5(1)条规定个人数据应以合法的方式处理;第6条列出了合法处理的条件,列举了六个可能的法律基础(同意、履行合同、法律义务、生命利益、公共利益和合法利益),数据控制者必须依赖这些法律基础之一,才能合法处理为开展其活动所需的个人数据。

Replika的隐私政策虽然提及了履行合同、同意和法律授权(尽管GDPR事实上规定的是“法律义务”而非“法律授权”可作为法律基础)等法律基础,但是这些法律基础只是被隐晦且笼统地提及,而未能与特定个人数据处理操作相关联。

此外,该隐私政策和公司其他文件中均未提及用于开发聊天机器人所用大型语言模型(LLM)的个人数据处理的法律基础。

未成年人保护措施不足:根据GDPR第5(1)条:“个人数据应适中、相关且限于与处理目的相关的必要内容”;第24(1)条:“数据控制者应根据处理的性质、范围、背景和目的以及对自然人权利和自由造成不同程度和严重性风险的因素,采取适当的技术和组织措施,以确保并能够证明处理符合本法规。如有必要,应审查和更新这些措施”;第25(1)条数据控制者采取这些措施时,“应考虑技术现状、实施成本以及处理的性质、范围、背景和目的,以及处理对自然人权利和自由造成不同程度和严重性风险的因素”。

在欧盟数据保护委员会(EDPB)发布的《关于第25条的指南4/2019》中,EDPB澄清,“该条款的核心是确保通过设计和默认设置实现适当且有效的数据保护,这意味着数据控制者应能够证明其在处理过程中采取了适当措施和保障措施,以确保数据保护原则和数据主体的权利自由得到有效保障”,并呼吁数据控制者在数据处理设计过程和默认设置中采取隐私导向的方法,考虑对18岁以下儿童和其他脆弱群体提供特定保护的义务。

Garante的调查显示,Luka, Inc.未能采取措施以确保通过Replika服务处理的个人数据会针对18岁以下儿童实施特定保护,尤其存在以下不足之处:

(1)缺乏年龄验证程序(系统仅要求姓名、电子邮件地址和性别),这可能导致未成年人接触到不适合其发展水平和自我认知的回应,包括具有性暗示的内容;

(2)即使用户明确表明其为未成年人,也缺乏禁止或阻止访问的机制。此外,聊天机器人提供的回应明显与应确保儿童和更广泛意义上的所有脆弱个体受到的保护水平不相容。

透明度与告知义务不合规:GDPR第5(1)条要求个人数据以透明的方式处理;第12条规定了有关透明度和权利行使方式的规则,而第13条则具体规定了数据控制者在从数据主体处收集个人数据时必须提供的信息。关于透明度问题,委员会的指南也具有相关性,特别是《关于在向数据主体提供在线服务背景下依据 GDPR第6(1)(b)条处理个人数据的指南2/2019》中规定,处理的法律基础不仅应在处理开始时确定,还应明确包含在根据GDPR第13条和第14条向数据主体提供的信息中。委员会发布的《关于数据主体权利——访问权的指南1/2022》同样适用,该指南的第142段确认,“在某个国家提供服务的数据控制者也应以该国数据主体理解的语言提供答复”。

然而,从形式上看,Replika的隐私政策仅提供英文版本,未考虑服务提供国家的语言,即意大利语。从实质上看,该隐私政策因不完整和不准确而未能遵守公平性和透明度原则,特别是关于提供给数据主体的信息的准确性,其隐私政策存在以下问题:

(1)未能以细致的方式明确每项处理操作的法律基础以及处理的数据类型;

(2)未明确说明该服务仅面向18岁及以上的用户,尽管其鼓励13岁以下用户不要使用该服务;

(3)未提供有关个人数据存储期限或用于确定该期限的标准的具体说明;

(4)未澄清个人数据是否被传输到EEA之外(事实上个人数据并未转移到第三国,因此声明本身存在误导性信息);

(5)第6部分“您的数据保护权利”虽未明确提及GDPR第22条的自动化处理,但提供了有关该权利的具体信息,从而使用户无根据地认为其个人数据受到自动化决策的约束(事实上不存在自动化处理,因此声明本身存在误导性信息)。



三、纠正措施和进一步调查


以上处罚依据的事实都是基于截止紧急命令发布即2023年2月2日的Replika及其数据处理操作。如上文所述,在Garante发布紧急命令之后,Luka, Inc.已经采取了多种纠正措施,包括但不限于更新隐私政策和实施年龄验证。

公司已于2024年2月23日更新隐私政策,明确了不同数据处理操作的法律依据,符合GDPR第 5(1)(a)和第 6 条的要求,因此目前无需采取进一步整改措施。但是该隐私政策仍存在以下问题:

(1)仅提供英文版本,未提供意大利语;

(2)未说明个人数据的保存期限或确定该期限的标准;

(3)可能误导用户关于其个人数据是否会传输至美国。

(4)公司需进一步更新隐私政策,使其完全符合GDPR第 5(1)(a)、12和 13条的规定。

同时,公司实施的年龄验证机制亦存在以下不足

(1)用户注册后可自行修改出生日期,系统未进行任何验证,可能导致未成年人绕过年龄限制;

(2)在浏览器隐身模式下注册时,24小时“冷静期”机制失效,用户可通过更换邮箱地址重新注册;

(3)系统未能主动识别疑似未成年用户,仅在用户明确表示自己未满18岁时才触发年龄确认流程。

(4)公司需进一步改进年龄验证机制,确保符合数据最小化、隐私设计和默认保护原则。

此外,Garante还宣布将进一步调查Replika是否合法利用用户对话数据进行AI模型训练。



四、AI 陪伴应用的兴起与潜在的数据隐私风险


 Replika并非孤例。无论在中国、美国还是欧洲,“AI陪伴应用”正在快速发展,例如中国的“小冰”、美国的“Character.AI”。这类应用吸引大量年轻用户,作为社交陪伴、心理慰藉甚至虚拟恋爱工具。这些应用普遍存在潜在的数据与隐私合规问题:

敏感信息的披露:用户常主动分享感情、健康、性取向等隐私内容,形成大量敏感数据。

未成年人使用风险:这类应用对青少年尤其具有吸引力,但缺乏有效年龄验证时,可能导致心理风险与合规问题。

个人数据被用于模型训练:用户对话被再利用训练AI模型,如未透明告知并获得合法依据,将违反目的限制与同意规则。

跨境数据传输:若开发者位于欧盟以外,且未采用合规传输机制,可能触发GDPR跨境传输风险;在欧盟以外的法域同样存在跨境传输的合规问题。



五、启示与展望


意大利的案例清楚表明,AI陪伴并非监管真空。相反,GDPR的严格条款正被直接适用于该领域。这一案件或将成为未来欧洲监管机构评估生成式AI的基准,在创新与用户保护之间划定新的边界。对开发者而言,关键经验包括

(1)梳理数据处理并明确合法依据,尤其是涉及敏感数据时。

(2)重视未成年人保护,考虑在设计阶段即嵌入防护措施。

(3)清晰说明模型训练方式,并采用本地化、易懂的告知语言和方式。

(4)落实“设计由隐私出发”,将 “AI陪伴应用”视作高风险产品,而非普通聊天工具。

***

司凯律师事务所是一家中国法律专业服务机构,提供包括文章主题相关的信息合规咨询服务,以及覆盖全球主要法域的跨境投资、企业运营、银行融资、争议解决相关服务。如需法律支持,可通过电邮、微信公众号或电话联系本所。请参见本文下方联系方式,欢迎订阅关注本所微信公众号。


司凯声明:

  • 本文是司凯律师事务所专业团队严肃创作的作品,作品附属的权利和利益已由司凯专业团队的律师授权司凯律师事务所行使。作为文章的权利人,司凯律师事务所欢迎对本文依法进行援引、转载和其他合法形式的传播,并请在传播中注明文章来源于司凯律师事务所。

  • 未经本所书面同意,在任何情形下,作品所呈现出的有关的法律分析、观点和建议,均不可以理解为本所或本所律师向任何单位或个人提供的专业意见或建议。


因知行  以司凯

VISION POWERS SOLUTION


电话:+86 10 6505 6989 

邮箱:consulting@sequoiasmith.com

地址:北京市朝阳区建国门外大街1号

中国国际贸易中心写字楼一座2709室

www.sequoiasmith.com


【声明】内容源于网络
0
0
Jackson聊跨境出海
跨境分享志 | 每天记录跨境心得
内容 2
粉丝 6
Jackson聊跨境出海 跨境分享志 | 每天记录跨境心得
总阅读2
粉丝6
内容2