OpenAI 审慎评估 ChatGPT 文本水印工具发布计划
据《华尔街日报》报道，OpenAI 开发了一种旨在通过检测 ChatGPT 代写作业来识别学生作弊的工具，但公司正就是否正式发布该工具进行内部讨论。
OpenAI 向 TechCrunch 确认正在研究相关文本水印技术，但表示鉴于“涉及的复杂性及其可能对更广泛生态系统产生的影响”，将采取“审慎的方法”。
该公司发言人指出：“我们开发的文本水印技术在技术上具有前景，但在研究替代方案的同时，我们也权衡着其重要风险，包括易被恶意行为者规避，以及可能对非英语使用者等群体产生不成比例的影响。”
这与以往大多效果不佳的 AI 生成文本检测努力不同。就连 OpenAI 自身也因“准确率较低”，于去年关闭了此前的 AI 文本检测器。
通过文本水印技术，OpenAI 将仅专注于检测来自 ChatGPT 的内容，而非其他公司的模型。该方法通过对 ChatGPT 选词方式进行细微调整，在文本中嵌入不可见水印，随后可由独立工具进行检测。
在《华尔街日报》报道发表后，OpenAI 更新了5月关于检测 AI 生成内容研究的博客文章。更新内容指出，文本水印虽被证明“高度准确，甚至能抵御局部篡改（如改写）”，但在面对全局性篡改时则“不够稳健”，例如使用翻译系统、用另一个生成模型重写，或要求模型在每个单词之间插入特殊字符后再删除。
因此，OpenAI 强调这种方法“极易被恶意行为者规避”。更新内容还呼应了发言人的观点，称文本水印可能“使非英语母语使用者将 AI 作为有用写作工具的使用受到污名化”。