OpenAI近日推出一系列针对儿童安全的强化措施,涵盖用于检测潜在儿童性虐待材料(CSAM)的图像分类器、ChatGPT内的风险预警机制以及面向执法调查人员的专业工具。
据悉,该图像分类器能够识别包括AI生成内容在内的违规图像。经审核的组织可通过应用程序编程接口(API)免费接入该服务。此分类器由OpenAI与美国非营利组织“国家失踪与受剥削儿童中心”(NCMEC,运营CyberTipline举报中心)合作开发。
违规处理机制与辅助工具
在ChatGPT平台内,一旦对话被标记为涉及相关风险,系统将自动删除该内容并暂停用户账户24小时,同时提供专家支持渠道。对于重复违规者,OpenAI将实施更严厉的处罚措施。此外,公司还发布了开发者指南,并宣布将为调查人员提供专用工具及配套培训计划。
行业背景与监管趋势
此次举措建立在OpenAI现有禁止CSAM的规则基础之上。英国非营利组织“互联网观察基金会”(IWF)指出,目前已有大量关于AI生成虐待图像的研究聚焦于在线儿童性虐待内容领域。
与此同时,美国多个州也已颁布或正在审议专门针对AI生成或编辑的儿童性虐待材料的法律法规,进一步强化了对该类内容的法律监管。

