大数跨境

OpenAI 发布新的图像分类器,并推出 ChatGPT 警告功能,以打击儿童性虐待材料(CSAM)

OpenAI 发布新的图像分类器,并推出 ChatGPT 警告功能,以打击儿童性虐待材料(CSAM) 海外洞察
2026-11-16
0
导读:ChatGPT将对试图访问儿童性虐待材料(CSAM)内容的账户实施24小时封禁,作为警告。

OpenAI 今日宣布推出新工具,以打击儿童性虐待材料(CSAM),此举旨在应对围绕 AI 工具使用日益增长的安全担忧。这些功能包括用于检测 CSAM 的新图像分类器、防止用户创建或访问涉及儿童色情内容的警告和临时封禁措施、面向开发者的新指南,以及一套供执法部门使用的工具。

该公司发布了一种新的图像分类器,能够检测包括由 AI 生成的图像在内的 CSAM 图像。OpenAI 正通过其 API 免费向部分公司提供该分类器的访问权限。该工具会在图像中寻找此前未见过的虐待视觉迹象,并给出一个评分,为审核人员处理 CSAM 提供指示性方向。

OpenAI 表示,它与失踪与被剥削儿童国家中心(NCMEC)合作开发了这一分类器,并且正在与 Tech Coalition 和 ROOST 共享该工具的访问权限。在与合作伙伴的早期测试中,这家 AI 公司发现,该分类器在发现相同数量虐待图像的同时,标记的图像数量减少了 48%,从而减轻了审核人员的工作量。此外,被分类器标记的图像是虐待图像的可能性是未标记图像的两倍。

此外,该公司还在 ChatGPT 中添加了新的警告屏幕,以防止用户访问涉及儿童色情的内容。当用户尝试此类提示时,ChatGPT 将显示警报,引导用户寻求专门的支持以停止有害行为,并将账户暂停 24 小时作为警告。该应用已经屏蔽了 CSAM 内容及相关请求。该公司表示,重复违规可能导致账户被永久删除。

OpenAI 指出,它联合各组织和研究人员制定了针对此行为的消息和指南,其中包括 Protect Children、 Lucy Faithfull Foundation以及塔斯马尼亚大学的 Joel Scanlan,他们独立评估了威慑消息试验的效果。

该公司还发布了面向使用 OpenAI 工具的开发者指南,旨在预防、检测并帮助用户举报 CSAM 内容。该公司表示,在早期测试中,这些指南帮助许多开发者采用了儿童安全工具,并向 NCMEC 注册报告 CSAM。OpenAI 还正在为处理儿童安全问题的执法部门配备基于 AI 的功能,如专用插件、调查工具和复杂数据分析,访问权限由项目管理员管理。此外,该公司还为调查人员提供培训,并提供有关如何使用 AI 的实地指南。

OpenAI 曾面临多起诉讼,指责其技术对用户造成伤害,尤其是对儿童。专注于安全的非营利组织“常识媒体”(Common Sense Media)将 OpenAI 的技术列为青少年的“不可接受风险”。其他 AI 聊天机器人——特别是 Grok——被用于创建未经同意的色情图像,包括涉及儿童的图像。

这家 AI 初创公司在过去 12 个月内对其技术进行了多项更改,包括发布安全蓝图,更新内容指南以禁止不当内容,重新调整其模型以防止其生成有害内容,并推出专为青少年设计的 ChatGPT 特别版。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14552
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读292.7k
粉丝0
内容14.6k