谷歌周四发布针对 Google Play AI 应用开发者的新指南，旨在遏制违规内容。新规要求提供 AI 功能的应用必须防止生成色情、暴力等受限内容，并为用户提供举报不当内容的途径；同时，开发者需对 AI 工具和模型进行“严格测试”，确保尊重用户安全与隐私。
谷歌还严厉打击营销材料推广不当用例的行为。若广告文案宣称应用具备使人物裸露或创建非自愿裸体图像等功能，无论应用实际是否支持，均可能被禁止上架。
应对AI换衣乱象
此举旨在应对社交媒体上泛滥的 AI 换衣应用问题。404 Media 今年4月报告显示，Instagram 充斥宣传利用 AI 生成深度伪造裸照的广告，部分应用甚至使用名人照片并打出低俗口号。尽管苹果和谷歌已下架相关应用，但此类问题依然普遍。
校园安全受威胁
美国多地学校报告学生间流传针对同学甚至教师的深度伪造裸照，用于欺凌骚扰。上月巴尔的摩一起针对校长的种族主义 AI 深度伪造事件已导致逮捕，该问题甚至波及初中生群体。
政策执行与开发者责任
谷歌强调，现有《AI 生成内容政策》已明确审批要求。AI 应用不得允许生成受限内容，必须提供标记冒犯性内容的途径，并对反馈进行监控和优先处理，这在用户互动塑造内容体验的应用中尤为关键。
此外，开发者不得在广告中宣称违反平台规则的内容，否则可能被移除。开发者有责任防范提示词操纵 AI 生成有害内容，建议利用封闭测试获取早期反馈，并记录测试过程以备谷歌未来审查。谷歌同步发布了 People + AI Guidebook 等资源，以支持开发者构建合规 AI 应用。