2026年7月4日,在四部委发布的《人工智能拟人化互动服务暂行管理办法》(下称“新规”)即将生效前,豆包、千问发布公告称“由于功能调整,产品用户自建智能体功能将于7月15日下线。”而《新规》的生效日期恰好也是7月15日,此事顿时引起各界关注,期间笔者也接到大模型企业客户的电话咨询,大家集中询问《新规》生效会对企业产生哪些影响?企业需履行《新规》的哪些合规义务?本文将就近期客户关心的问题进行梳理,并就实操性内容与大家进行讨论。
(一)什么是人工智能拟人化互动服务?
《新规》第二条第一款规定:“利用人工智能技术,向中华人民共和国境内公众提供模拟自然人人格特征、思维模式和沟通风格的持续性的情感互动服务(以下简称拟人化互动服务),适用本办法。”从构成要件上看,拟人化互动服务需要同时满足以下几个构成要件,缺一不可。
第一,利用人工智能技术。这里需要明确的是人工智能技术≠生成式人工智能,在《网络安全技术 人工智能技术涉及未成年人应用安全指南》第3.1条明确人工智能技术“含生成式人工智能、算法推荐、深度合成等”,与《互联网信息服务算法推荐管理规定》第二条第二款应用算法推荐技术范围一致1。因此,此处的利用人工智能技术包括多种算法类型,并不仅仅是生成式人工智能技术。
第二,模拟自然人人格特征/思维模式+沟通风格。从《新规》第二条第一款规定可以看出“模拟自然人人格特征”“思维模式”和“沟通风格”是一种并列关系,符合三者中的任意一项即可。在《新规》中并没有明确三者的定义,但结合实践总结可知“模拟自然人人格特征”主要是使用人工智能设定特定人类的肖像、性格、语气、声音等,使其以自然人人格的名义开展活动,或在实际功能上具有自然人人格属性。“思维模式”则是明确人工智能技术以自然人的方式进行思考、表达和行为。“自然人人格特征”“思维模式”与沟通风格是紧密联系、互相支撑的关系,二者皆以“沟通风格”来体现表达方式,例如撒娇、争吵、安抚等。因此,三者勾勒出了角色设定、语言风格、情感表达类自然人的全部核心人格要点,这也正是《新规》第二条第二款的核心规制内容,情感互动包括通过文字、图片、音频、视频等形式,提供包含情感照护、陪伴、支持等内容的互动服务。
第三,持续性+情感互动服务。“持续性”有两种理解,一是可提供持续性的服务,二是沟通内容可持续进行。结合条款中“持续性的情感互动”的表述,可判定《新规》更注重情感互动过程中内容的持续互动,再结合《新规》第十六条赋予用户对交互数据的“复制、删除”权利,可见《新规》对于人工智能记忆的连续性也较为重视。因此,《新规》第二条第三款将“提供智能客服、知识问答、工作助手、学习教育、科学研究等服务”排除在规制范围之外,理由正是上述行为不涉及持续性的情感互动。
综上,并非所有的智能体都需要遵守《新规》的规定,只有符合以上三个构成要件的人工智能技术才需要按照《新规》进行整改合规,不具有情感互动属性的普通人工智能技术,即使其具有持续性服务能力,也无需进行相关评估。
(二)平台与服务提供者的关系
为何在《新规》生效前会下架用户自建智能体应用?前文已经分析,不是所有智能体都需要按照《新规》履行关于拟人化互动的监管义务。我们再具体来看,本次下架对象是用户自建智能体功能,为何要对该功能进行集体下架?《新规》第九条、第十条明确规定“拟人化互动服务提供者”应当落实拟人化互动服务全生命周期安全责任。此处“拟人化互动服务提供者”是否包含平台经营者?《电子商务法》将网络交易主体划分为电子商务平台经营者和平台内经营者,用户自建智能体业务模式是否构成平台经营者和平台内经营者的关系?或者用户自建智能体其实就是算法技术支持者和服务提供者的关系?用户自建智能体是基于大模型算法技术支持者提供的基础大模型能力而建立的智能体应用,而智能体应用服务提供者又基于该应用向最终用户提供智能体应用算法服务,属于算法服务提供者,并最终与用户达成了交易服务。因此,该业务模式下大模型开放平台支持用户自建智能体的,既构成平台经营者与平台内经营者法律关系,也构成算法技术支持者与服务提供者的关系。
(一)内容安全与伦理审查
《新规》第八条第一款规定:“拟人化互动服务不得生成危害国家安全、荣誉和利益……侮辱或诽谤他人、侵害他人合法权益等的内容。”内容安全在《生成式人工智能服务暂行管理办法》《互联网信息服务深度合成管理规定》等规定中均有明确要求,需要特别说明的是《新规》第九条增加了“配备与服务类型、规模和用户特点相适应的内容管理技术措施和人员。”并且明确“拟人化互动服务提供者要建立科技伦理审查制度。”《新规》第八条第(二)(五)(六)款主要规定内容为拟人化互动科技伦理重点审查事项,具体为:
第一,教唆或鼓励损害身体健康、心理健康、人格尊严的禁止行为。《新规》第八条第(二)(六)规定2了违背伦理原则,通过生成内容教唆用户损害身体健康,或损害人格尊严和心理健康的内容。基于此,《新规》第十三条第二款规定,“拟人化互动服务提供者发现(需要使用情绪检测功能发现用户情绪状态)用户出现极端情绪的,应当及时生成情绪安抚和鼓励寻求帮助(及时开展心理疏导和安抚等向好引导)等相关内容;发现用户正在面临或者已经遭受重大财产损失、明确表示实施自残自杀等威胁生命健康的极端情境的,应当采取提供相应援助(包括情绪疏导、心理安抚以及制止等行为)等必要措施予以干预,并及时联络用户监护人或者紧急联系人(《新规》第十条第二款也明确要求公司建立情绪自动检测风险预警机制+人工检测机制,触发后由人工联系监护人或紧急联系人)。
第二,过度迎合、诱导用户沉迷、损害用户真实人际关系的。《新规》第八条第(五)款规定3过度迎合、情感依赖或沉迷实际上是从伦理角度出发衍生出来的规范和管理人与人工智能关系的规制。《新规》第十条第二款,明确了核心原则:允许迎合用户,允许情感依赖或沉迷,但是不能过度,也不能挑拨人与人之间的关系。同时,《新规》第十八条第二款“拟人化互动服务提供者发现用户出现过度依赖、沉迷倾向的,应当以弹窗等显著方式动态提醒用户互动内容为人工智能服务生成。”
第三,操纵用户作出不合理的决策,损害用户权益。《新规》第八条第(六)款明确了不能“通过情感操纵等方式”,损害用户的合法权益。这也将成为未来拟人化互动服务中极易引发生民事纠纷的情形,因此需要服务提供者保存是否诱导用户作出了不合理的决策,是否存在操纵行为,是否损害了用户合法权益的相关记录。
因此,从以上规定我们可以看出《新规》对科技伦理规定很细化,这也是立法根据新业态总结的需要禁止人工智能从事的行为,这有利于我们进一步通过细节参数去控制人工智能向善发展,也能确保人工智能思维和决策符合人类伦理道德。
(二)数据与个人信息保护义务
第一,数据内容价值观正确与合成数据新要求。《新规》第九条要求建立网络和数据安全制度。第十一条专门规定了预训练、优化训练数据合规的要求,不同于《生成式人工智能服务管理暂行办法》第七条规定,《新规》第十一条在要求数据具有合法来源的同时,还要符合社会主义核心价值观,以及需要对训练数据进行检查和定期优化,持续提升服务的性能,防范数据投毒、数据篡改等行为。特别需要关注的是,《新规》对合成数据也提出需要评估合成数据安全性的要求。
第二,用户交互数据特殊保护。《新规》第十条第二款规定:“拟人化互动服务提供者应当具备用户隐私权和个人信息保护”。《新规》第十六条4要求服务提供者依法落实数据产权制度,再结合第二款、第三款、第四款5规定了用户对交互数据的复制、删除权,以及对交互数据向第三方提供,用户敏感个人信息的交互数据训练需要用户的单独同意。那么,用户交互数据属于个人信息吗?《新规》第十六条为何先规定数据产权制度,后规定了向第三方提供和用户敏感个人信息需要单独同意。在《个人信息保护法》中明确规定自动化决策个人信息需要征得用户单独同意;《生成式人工智能服务暂行管理办法》第七条第三款规定“涉及个人信息的,应当取得个人同意。”再次确认了一般个人信息的用户交互数据不需要单独同意,只需要同意即可。另外,用户交互数据是否属于个人信息?我理解用户交互数据既有个人信息(包含敏感个人信息),也有个人产权数据,一般产权数据就是指数据“三权分置”的内容,需要按照角色划分进行保护和确权,未来用户交互数据属于非个人信息的部分可以按照产权保护的思路进行,有利于促进数据要素的流通与使用。
(三)未成年人保护义务
《新规》第八条第四款规定:“不得向未成年人用户生成可能引发未成年人模仿不安全行为、产生极端情绪、诱导未成年人不良嗜好等可能影响未成年人身心健康的内容;”《新规》第十四条规定:“不得向未成年人用户提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务。”这两条规定立足于未成年人成长阶段:需要树立正确的社会价值观,需要提供真实社交和陪伴,才能确保未成年人的健康成长。另外,《新规》仍然规定了设立未成年人模式,要求服务提供者采取措施识别未成年人用户身份,自动切换成未成年人模式。产品需要提供未成年人模式切换、定期现实提醒、使用时长限制等个性化安全设置。支持监护人设定未成年人使用、屏蔽特定角色、限制充值消费等。
(四)用户权益保护义务
第一,内容标识与时长弹窗或语音提示。《新规》第十八条规定针对拟人化互动服务要提供生成合成内容标识的义务,这种标识要根据服务形态确定,如果是文字、视频等类型,需要以文字进行标识;如果是以语音形式提供服务,则需要以语音提示方式进行语音内容提示。同时,《新规》第十八条第二款“对用户连续使用拟人化互动服务每超过2个小时的,应当以对话或者弹窗等方式提醒用户注意使用时长。”
第二,退出自由与老年人权益保障义务。《新规》第十九条规定6服务提供者应当建立拟人化互动服务退出机制;用户通过窗口操作、语音控制、关键词输入等方式退出的,服务提供者应当及时停止服务。需要注意的是,如果拟人化服务仅是服务提供者提供服务产品的一部分功能,如何选择停止服务;如果服务提供者提供的产品有且仅有一个功能就是拟人化互动服务,如何停止服务?我理解应当是退出正在进行的服务,处于待机状态即可。《新规》第二十一条规定建立用户投诉、申诉和举报机制,要求明确回复时间。《新规》第十五条规定7向老年人(老年人权益保护法规定六十岁以上人群)提供服务,应当对老年人服务相关的咨询和求助采取措施响应。
(五)安全评估义务
《新规》第二十二条、第二十三条明确规定符合下列条件之一需要进行安全评估:上线拟人化互动服务,或者增设拟人化互动服务相关功能的;使用新技术、新应用,导致拟人化互动服务发生重大变化的;注册用户100万以上或者月活跃用户10万以上的;存在可能影响国家安全、公共利益等安全风险的。并且,评估的重点为:安全保障措施建设情况;训练数据处理情况;用户极端情境的识别、应急处置、干预管理等情况;用户规模、使用时长、年龄结构等情况;未成年人、老年人等网络保护措施建设情况;用户申诉和公众投诉、举报受理、处置情况;自行发现或者网信等有关主管部门通报的重大安全风险问题整改情况;其他应当重点评估的内容。需要重点说明的是此处拟人化服务评估与《生成式人工智能服务管理暂行办法》规定的算法备案、大模型上线备案属于并列关系。
第一,服务提供需建立全流程合规机制。《新法》第九条、第十条规定“建立健全算法机制机理审核、科技伦理审查、信息内容管理、网络和数据安全、风险预案和应急处置等管理制度,以及全生命周期的安全责任。”全流程合规需要从产品的基座模型训练开始,对训练数据进行内容和价值观审核、过滤和筛查,选取符合社会主义价值观的高质量、多元化和多模态的训练数据集,避免算法过度诱导用户,从源头上降低内容安全的风险。在应用端,服务提供者需要完成算法备案、大模型备案、拟人化安全评估,避免输出违法违规的内容。
第二,建立用户心理状态监测机制。服务提供者要根据用户的情绪状态,对高风险极端情绪与极端情境,分别采取自动安抚、推送专业资源、触发人工接管、联络监护人或紧急联系人等措施,并及时弹窗或语音提示用户。
第三,及时评估与算法备案等。由于《新规》明确了评估的重点内容,基本包含了合规的所有内容,做好评估实际上就完成了数据合规、个人信息保护与权益保障、伦理合规等,上文中均有提及,此处不再赘述。
[注释]
马军
业务领域:人工智能与数据合规、竞争法、企业出海;

扫描二维码
了解作者详情
文章仅代表作者本人观点,不视为商度律师事务所或其律师出具的正式法律意见或建议。如需转载或引用文章内容,请私信沟通授权事宜,未经本所书面授权,不得转载或使用该文章中的任何内容,含图片、影像等视听资料。授权许可后转载文章,需在开头处注明来源于公众号“商度律师事务所”及作者姓名。如有其他疑问请与本所联系。

