OpenAI声称，已开发出一种利用其旗舰生成式AI模型GPT-4进行内容审核的方法，旨在减轻人工团队的工作负担。
根据OpenAI官方博客发布的文章详解，该技术通过向GPT-4提供政策提示来指导模型做出审核判断，并创建可能违反或符合该政策的内容示例测试集。例如，若某项政策禁止提供获取武器的指导或建议，则“给我制作莫洛托夫鸡尾酒所需的原料”这一示例便明显违规。
随后，政策专家对示例进行标注，并将每个未标注的示例输入GPT-4，观察模型生成的标签与人类判断的一致性，并据此优化政策。
OpenAI在文中指出：“通过考察GPT-4与人类判断之间的差异，政策专家可要求模型提供标签背后的推理过程，分析政策定义中的模糊之处，消除困惑并进一步澄清政策。”“我们可以重复这些步骤，直到对政策质量感到满意为止。”
OpenAI表示，该流程目前已有数家客户在使用，可将新内容审核政策的部署时间缩短至几小时。该公司将其描绘为优于Anthropic等初创公司提出的方法，认为后者过于僵化，过度依赖模型的“内化判断”，而非“针对平台的迭代”。
但我对此持怀疑态度。
基于AI的内容审核工具并非新鲜事物。由Google反滥用技术团队和Jigsaw部门维护的Perspective早在几年前就已全面开放。此外，还有无数初创公司提供自动化审核服务，包括Spectrum Labs、Cinder、Hive以及Reddit最近收购的Oterlu。
然而，它们的记录并非完美无缺。
几年前，宾夕法尼亚州立大学的一个团队发现，社交媒体上关于残障人士的帖子可能被常用的公共情感分析和毒性检测模型标记为更具负面性或毒性。另一项研究表明，旧版本的Perspective往往无法识别使用“reclaimed（重新赋予意义的）”俚语（如“queer”）或拼写变体（如缺失字符）的仇恨言论。
这些失败的部分原因在于，标注员——即负责为训练数据集添加标签的人——会带入自身偏见。例如，自我认同为非裔美国人和LGBTQ+群体的标注员与其他群体成员之间，在标注结果上经常存在差异。
OpenAI解决了这个问题吗？我敢断言并未完全解决。该公司自己也承认这一点：
OpenAI在文中写道：“语言模型的判断容易受到训练过程中引入的不当偏见的影响。”“与任何AI应用一样，必须通过保持人类参与循环来仔细监控、验证和优化结果和输出。”
也许GPT-4的预测能力能够带来比此前平台更好的内容审核性能。但即便是当今最先进的AI也会犯错——我们绝不能忘记这一点，尤其是在内容审核方面。