
9月,国家网信办公布了一批执法案例,对此我们向大家分享近两年各监管部门陆续作出了一系列关于算法与人工智能的行政处罚的部分案件,以供各位参考。
要素:内容安全管理问题
原文: 网民举报“奶*AI”APP生成的智能回复内容中存在低俗不雅的语音和文字信息,属地网信部门联合公安部门到APP开发公司进行现场检查,发现该 APP审核机制不健全,且该公司存在未制定网络安全管理制度和防范有害信息传播的应急预案等问题,违反了《网络安全法》《生成式人工智能服务管理暂行办法》等有关规定,公安部门已依法依规给予该公司警告的行政处罚,并责令其下架APP进行整改。
公安处罚某模型训练基础数据公司
要素:未进行个人信息保护影响评估
原文:公安网安部门在“护网—2025”专项工作中发现,某主营业务为对外提供人工智能模型训练基础数据(算料)的科技有限公司,在处理人脸等生物识别类敏感个人信息前,未按《个人信息保护法》有关规定进行个人信息保护影响评估。属地公安机关依据《个人信息保护法》规定,对该公司依法予以行政处罚,并责令整改。
上海市委网信办处罚3款未备案/违规应用
要素:未完成备案 & 登记
原文:2025年6月12日,上海市委网信办对3款未履行备案或登记程序提供服务且存在风险的应用,依法约谈并给予行政处罚。
要素:内容安全管理问题
原文:6月19日上午,上海市网信办依法约谈筑梦岛APP运营企业主要负责人,要求平台立即整改,健全AI生成合成内容审核机制,提升技术把关能力,加强涉未成年人不良内容的整治清理,切实落实未成年人网络保护义务。企业负责人表示,将按照约谈要求,对照问题举一反三、全面整改。
近期有媒体报道,筑梦岛APP 等AI聊天软件存在虚拟角色互动生成低俗内容等问题,经核实,该平台AI智能体内容生成环节存在低俗擦边等违规内容,危害未成年人身心健康。
上海市网信办相关负责人指出,AI技术应用的规范发展事关广大网民的切身利益。依据《未成年人网络保护条例》《生成式人工智能服务管理暂行办法》等相关法规,互联网平台应当主动履行主体责任,平衡好技术创新与内容合规之间的关系,切实防范AI技术滥用风险,保护未成年人合法权益,为用户营造风清气正的网络空间。
要素:内容安全管理问题
原文:2024年12月,在省委网信办的指导下,南昌市网信办依法对属地网站“阿水AI”的运营主体南昌阿水科技有限公司存在内容审核管理不严、主体责任落实不到位等问题进行处置。
经查,该企业运营的“阿水AI”网站违规生成法律法规禁止的信息,未尽内容审核的主体责任,违反了《中华人民共和国网络安全法》《生成式人工智能服务管理暂行办法》等相关法律法规。
12月2日,南昌市网信办依据《中华人民共和国网络安全法》《生成式人工智能服务管理暂行办法》等法律法规,对南昌阿水科技有限公司下达了《责令限期改正通知书》,责令立即关停相关服务,并对照相关法律法规开展自查整改,加强信息内容审核,健全信息内容安全管理相关制度。
要素:未完成备案 & 登记
原文:7月22日,重庆网信部门通报2起违规从事生成式AI服务的案例。针对“灵象智问AI”“重庆哨兵拓展迷”等网站未经安全测评备案、违规提供生成式人工智能服务问题,依法对运营主体开展执法约谈,责令立即停止相关服务;对未经安全评估上线提供Chat-GPT生成式人工智能信息服务的“南川区蓉城网络科技工作室”依法开展执法约谈,责令立即关停相关服务。
要素:内容安全管理问题
2024年5月底,九龙坡区网信办依法对属地“开山猴”AI写作网站运营主体重庆初唱科技有限公司给予其行政警告处罚,并责令该公司限期全面整改,加强信息内容审核,健全信息内容安全管理相关制度,暂停网站信息更新及AI算法生成式写作功能15日。
要素:内容安全管理问题
原文:江西公安网安部门在“护网-2025”专项工作中作出了一起处罚。宜春奉新网警在工作中发现,某公司“AI智能聊天机器人”未对生成内容进行审核,导致出现违法信息,严重危害网络秩序,极易造成社会负面影响。发现该违法行为后,公安机关对涉事网站负责人依法进行约谈,对其不履行网络信息安全管理义务的违法行为作出行政处罚,并责令相关网站限期整改。
要素:未完成备案&登记
原文:浙江某科技有限责任公司运营的App提供深度合成服务未按规定进行安全评估案。网信部门工作发现,该企业运营的App提供AI换脸服务未按规定进行安全评估。经查,该企业运营的App是一款深度合成类服务产品,提供视频换脸、图片换脸、照片舞动配音等图片处理功能,用户可对上传图片、视频中的人物进行换脸,但未按规定落实安全评估要求,相关深度合成内容也未作显著标识,存在较大安全风险,违反《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》《互联网信息服务算法推荐管理规定》《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》等规定。网信部门已依法责令移动应用程序分发平台依规依约对该App予以下架处置。
人工智能的发展应该在维护国家安全和社会公共利益下健康发展和规范应用。企业应当遵循国家关于人工智能监管的各项法律法规,依法承担网络信息内容生产者责任,履行网络信息安全义务。
算法备案:由国家互联网信息办公室、工业和信息化部、公安部、国家市场监督管理总局联合发布《互联网信息服务算法推荐管理规定》,具有舆论属性或者社会动员能力的算法推荐服务提供者应当在提供服务之日起十个工作日内通过互联网信息服务算法备案系统填报备案信息,履行备案手续。
大模型备案:由国家网信办 国家发展改革委 教育部 科技部 工业和信息化部 公安部 广电总局联合发布的《生成式人工智能服务管理暂行办法》,提供具有舆论属性或者社会动员能力的生成式人工智能服务的,应当按照国家有关规定开展安全评估,并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。
提升市场竞争力:备案是企业技术实力和合规性的证明,有助于提升品牌形象,吸引更多注重安全和合规的客户。
合规避免风险:未进行备案的企业可能会面临监管处罚、举报投诉、法律诉讼等风险,主动完成备素可以预防此类风险。
政策支持:地方政府为鼓励企业备案,提供资金奖励、税收优惠、算力支持等政策扶持,降低企业运营成本,助力技术创新。
黄埔区:大模型备案最高100万元一次性奖励;算法备案最高20万元一次性奖励。
海珠区:大模型备案最高100万元一次性奖励;算法备案最高20万元一次性奖励。
天河区:大模型备案,最高不超过100万元;算法备案最高不超过20万;
南沙区:大模型备案最高100万元一次性奖励;算法备案最高30万元一次性奖励。

