大数跨境

OpenAI推出免费工具以检测儿童虐待图像

OpenAI推出免费工具以检测儿童虐待图像 AI电商圈
2026-11-17
0
导读:OpenAI正在推出新的儿童安全措施,包括用于潜在儿童性虐待材料(CSAM)的图像分类器,包括AI生成图像,ChatGPT中的警告,以及供调查人员使用的工具。

OpenAI近日推出一系列针对儿童安全的强化措施,涵盖用于检测潜在儿童性虐待材料(CSAM)的图像分类器、ChatGPT内的风险预警机制以及面向执法调查人员的专业工具。

据悉,该图像分类器能够识别包括AI生成内容在内的违规图像。经审核的组织可通过应用程序编程接口(API)免费接入该服务。此分类器由OpenAI与美国非营利组织“国家失踪与受剥削儿童中心”(NCMEC,运营CyberTipline举报中心)合作开发。

违规处理机制与辅助工具

在ChatGPT平台内,一旦对话被标记为涉及相关风险,系统将自动删除该内容并暂停用户账户24小时,同时提供专家支持渠道。对于重复违规者,OpenAI将实施更严厉的处罚措施。此外,公司还发布了开发者指南,并宣布将为调查人员提供专用工具及配套培训计划。

行业背景与监管趋势

此次举措建立在OpenAI现有禁止CSAM的规则基础之上。英国非营利组织“互联网观察基金会”(IWF)指出,目前已有大量关于AI生成虐待图像的研究聚焦于在线儿童性虐待内容领域。

与此同时,美国多个州也已颁布或正在审议专门针对AI生成或编辑的儿童性虐待材料的法律法规,进一步强化了对该类内容的法律监管。

【声明】内容源于网络
0
0
AI电商圈
1234
内容 948
粉丝 0
AI电商圈 1234
总阅读7.0k
粉丝0
内容948