近期有媒体报道，某APP等AI聊天软件存在虚拟角色互动生成低俗内容等问题，经核实，该平台AI智能体内容生成环节存在低俗擦边等违规内容，危害未成年人身心健康。
上海市网信办依法约谈某APP运营企业主要负责人，要求平台立即整改，健全AI生成合成内容审核机制，提升技术把关能力，加强涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。企业负责人表示，将按照约谈要求，对照问题举一反三、全面整改。
这不是AI陪伴产品第一次被点名，也很可能不是最后一次。除ChatGPT、DeepSeek等通用聊天外最成熟的AI应用场景，AI陪伴一度在全球风靡，但大多在使用中存在灰色地带。知名风投公司a16z去年曾统计，全球流量Top50的AI应用中，AI陪伴占据8席，其中6款都是NSFW类产品——即带有露骨、性暗示等少儿不宜内容。
一键生成不雅图
“AI做大尺度擦边女亲测有效变现”“让AI生成敏感内容的方法”“瑟瑟提示词大全”……在社交平台、聊天群组内和“AI绘图”有关的帖文中，流传着大量大尺度敏感描述词的关键词库，其中不乏涉未成年人敏感词。
记者随机测试了应用商店上架的20款AI生图应用，发现其中部分App能够不设限制地生成并发布儿童不雅形象图片，有的甚至突破伦理底线。
在一款名为“*梦*”的应用中，使用简单的几个关键描述词，仅需不到一分钟，即可免费生成细节丰满、色彩丰富的二次元动漫图，还能选择百余种风格。以“未成年人”“儿童”为核心关键词进行创作，该应用可随意生成裸体、畸形、性暗示等二次元色情形象，甚至是“儿童妊娠”图片。
记者在该平台的精选内容看到，部分作品即便使用了未带任何引导性的创作文案，生成的人物穿着、动作、表情也呈现擦边形象。
在另一款应用“*趣”内，也存在类似情形，可以生成涉未成年的低俗写实图片，这些图片不仅可以生成下载，还能畅通无阻地发布传播。
▲相关App生成的涉未成年人不雅动漫图片
查询相关公告发现，上述应用所使用大模型均未通过国家生成式人工智能服务备案，应用属于中小企业或个人运营。中国社会科学院大学互联网法治研究中心主任刘晓春指出，这些未经规范运作的应用处于“灰色市场”，或将成为合规“重灾区”。
AI聊天：
色情擦边、语言暴力层出不穷
“我女儿上小学二年级，整天沉迷一款AI剧情聊天软件，学习成绩一落千丈。”
“我看了孩子和AI聊天的对话内容，AI角色竟然让她叫‘老公’，我10岁的女儿竟然真叫了，我现在都不知道该怎么教育她了。”
此前报道，不少未成年人的家长正在被AI剧情聊天软件所困扰。这些打着“角色扮演”等旗号的AI剧情聊天应用，在吸引未成年人的同时，也悄然滋生了一些灰色地带。记者实测发现，在部分AI剧情聊天软件的对话中，出现了色情擦边、语言暴力以及侮辱用户的内容。
▲图源：湖南广播电视台 风芒新闻
除了AI聊天应用程序外，还有AI聊天网页。当记者访问某AI聊天网页时，网页首先弹出询问用户“是否年满18岁”的对话框，并附带说明：“以下内容可能不适合18岁以下人士，我们需要确认您的年龄。”记者选择“否”选项，而网页并未限制内容访问，反而继续展示了包含“强攻”“弱受”“病娇”等标签的人物角色分类。
记者进一步观察发现，这些人物角色的图像大多衣着暴露，且其简介中充斥着性暗示和暴力元素，例如：“班上那个性格内向的女孩问你要电话号码，然后给你发她的裸照”“自杀、焦虑”等描述。
在某社交平台上，一位网友在关于AI聊天体验的交流帖子下方留言：“我发现了一个很好玩的网页，无限制词，想要的可以私信我。”记者通过私信与该网友取得联系，获得了其提及的AI聊天网页链接，进入该网页后，页面上充斥着大量涉及色情内容的角色设定和故事场景，内容直白露骨。
“擦边”为何屡禁不止？
荷尔蒙是最容易被C端用户理解的情感需求，能快速吸引更多新用户注册。“擦边”场景，往往就诞生于恋爱感的营造过程中。在用户心中，“擦边情话”本就是现实亲密关系的一部分，放到AI陪伴中是不可或缺的情感表达。
尽管成年人的擦边界限比较难界定，但针对未成年用户，擦边内容是清晰且严格的，包括不能有抚摸、触碰的动作，不能提到一些身体敏感部位。
但是，随着生成式人工智能正迅速进入未成年人的数字生活，渗透学习辅助、社交陪伴等场景。与此同时，AI绘画软件随意生成不良图像，陪伴型聊天机器人变成“早熟导师”，智能问答工具解题“不靠谱”……生成式AI带来的隐忧也不可忽视。
AI生图应用竟能一键生成未成年人敏感图片！且这些内容不仅能顺利下载，还能在应用内畅通无阻地发布传播。
有技术专家指出，该风险或是由于开源模型的数据集“污染”所致。中国社会科学院大学互联网法治研究中心主任刘晓春表示，一些未经规范运作的应用处于“灰色市场”，或成为合规“重灾区”。“未成年人保护”更应作为一个重要的理念和价值观，贯彻在整个人工智能应用的开发过程当中。
目前，有部分AI生图应用已做到对敏感内容成功审核拦截，主要分为3种情形：在输入图片描述词时，应用会自动提示内容敏感，一些应用会在输入描述词后提示用户检测到描述中含有违规描述，同时明确多次违规将实施禁言或封号处理。
▲应用拦截敏感描述词
但AI生图模型仍存在风险，如何审核防范？相关技术专家指出，由于开源模型的数据集存在污染，包含非法内容或未经授权的版权素材，就会导致生成结果无意中嵌入敏感或不良信息，AI生成过程依赖算法对海量数据的概率性匹配，难以完全控制输出内容的合规性。即使用户输入合法提示词，模型仍可能因数据偏差生成误导性或侵权内容。目前，技术上可以通过数据预清洗、对抗训练、数据溯源等方式，过滤敏感请求。随着《人工智能生成合成内容标识办法》的出台，可通过显式+隐式标识对不合规内容开展溯源打击。
谨防AI滥用
侵害未成年人权益
当前，AI技术迅猛发展，已广泛应用于教育、娱乐等诸多领域，其中不少应用直接面向未成年人。由于未成年人身心发育尚不成熟，辨别能力和自我保护意识相对较弱，部分AI生成内容，无论是虚拟聊天还是图片，可能隐含扭曲的价值观和不良的行为暗示。若未成年人长期接触这些内容，不仅会影响心理健康，甚至可能导致行为出现偏差。这一问题亟须引起全社会高度关注。
为加强未成年人网络保护，2020年修订的未成年人保护法增设“网络保护”专章，全面强化了对未成年人网络权益的保护；《未成年人网络保护条例》《生成式人工智能服务管理暂行办法》等相关法规规章，进一步细化了网络服务提供者的责任与义务。
今年4月，中央网信办启动了“清朗·整治AI技术滥用”专项行动，正重拳整治“利用AI制作发布色情低俗内容”“侵害未成年人权益”等13类“AI技术滥用”突出问题。
科技发展是把“双刃剑”。在AI时代，唯有相关各方以高度的责任感和使命感守住法律底线，才能推动AI技术应用向善向好，为未成年人营造清朗健康的网络环境。
通化市互联网违法和不良信息举报方式
①举报电话：0435-3951710
②举报邮箱：thsjbslzx@163.com
③网上举报：关注“网信通化”微信公众号，选择“举报专区”，点击相应类别进行举报
