这是人类写的，还是ChatGPT生成的？两者可能很难区分——或许难到其创建者OpenAI认为有必要对AI生成内容进行“水印”标记。
在德克萨斯大学奥斯汀分校的一场讲座中，目前担任OpenAI客座研究员的计算机科学教授Scott Aaronson透露，OpenAI正在开发一种用于“对文本[AI系统]的输出进行统计水印标记”的工具。每当一个系统（例如ChatGPT）生成文本时，该工具就会嵌入一个“不可察觉的秘密信号”，以表明文本的来源。
Aaronson表示，OpenAI工程师Hendrik Kirchner已经构建了一个可工作的原型，并希望将其整合到未来由OpenAI开发的系统中。
“我们希望让人更难将[人工智能系统]的输出冒充为人类所写，”Aaronson在演讲中说。“这显然有助于防止学术剽窃，此外，例如还可以用于阻止大规模生成宣传内容——比如在没有莫斯科整栋楼的水军的情况下，向每个博客发送看似相关、支持俄罗斯入侵乌克兰的评论。或者模仿某人的写作风格以陷害他们。”
利用随机性
为什么需要水印？ChatGPT就是一个很好的例子。由OpenAI开发的这款聊天机器人已掀起了互联网上的风暴，不仅展现出回答难题的能力，还能写诗、解决编程谜题，并就各种哲学话题发表富有诗意的见解。
虽然ChatGPT非常有趣且确实有用，但该系统的伦理问题显而易见。与许多之前的文本生成系统一样，ChatGPT可能被用来撰写高质量的钓鱼邮件和有害恶意软件，或在学校作业中作弊。作为问答工具，它在事实准确性上存在不一致的问题——这一缺陷导致编程问答网站Stack Overflow暂时禁止使用源自ChatGPT的回答。
要理解OpenAI水印工具的技术基础，了解像ChatGPT这样的系统为何如此有效是有帮助的。这些系统将输入和输出文本视为由“token”组成的字符串，token可以是单词，也可以是标点符号或单词的一部分。其核心在于，系统不断生成一个称为概率分布的数学函数，以决定下一个要输出的token（例如单词），同时考虑所有之前已输出的token。
对于ChatGPT等由OpenAI托管的系统，在生成概率分布后，OpenAI的服务器会根据该分布对token进行采样。这个选择过程包含一定的随机性；这就是为什么相同的文本提示可能会产生不同的回复。
Aaronson在讲座中表示，OpenAI的水印工具就像是一个覆盖在现有文本生成系统之上的“包装器”，它利用在服务器层面运行的加密函数来“伪随机地”选择下一个token。理论上，生成的文本对你我而言仍然看起来是随机的，但任何拥有该加密函数“密钥”的人都能发现其中的水印。
“经验表明，几百个token似乎就足以获得合理的信号，证明这段文字确实来自[某个AI系统]。原则上，你甚至可以分析长文本，隔离出哪些部分可能来自[该系统]，哪些部分可能不是。”Aaronson说。“[该工具]可以使用秘密密钥进行水印添加，并使用相同的密钥检测水印。”
主要局限性
对AI生成的文本进行水印标记并非新想法。之前的尝试大多基于规则，依赖于同义词替换和特定句法的词汇变化等技术。但在德国CISPA研究所去年三月发表的纯理论研究之外，OpenAI的方法似乎是首批基于密码学的解决方案之一。
在接受采访时，Aaronson拒绝透露更多关于水印原型的细节，仅表示他预计将在未来几个月内共同发表一篇研究论文。OpenAI也拒绝了采访请求，仅表示水印技术是其正在探索的几种用于检测AI生成输出的“溯源技术”之一。
然而，独立学者和行业专家的意见不一。他们指出，该工具是服务器端的，因此不一定适用于所有文本生成系统。他们还认为，对手很容易就能绕过它。
麻省理工学院计算机科学教授 Srini Devadas 通过电子邮件告诉 TechCrunch：“我认为通过改写、使用同义词等方式来绕过它相当容易。这是一场拉锯战。”
艾伦人工智能研究所（Allen Institute for AI）的研究科学家 Jack Hessel 指出，由于每个 token 都是离散的选择，因此很难对 AI 生成的文本进行不可察觉的指纹识别。过于明显的指纹可能会导致选择奇怪的词语，从而降低流畅性；而过于微弱的指纹则会在寻找指纹时留下怀疑的空间。
Yoav Shoham 是 AI21 Labs 的联合创始人兼联合首席执行官。这家与 OpenAI 竞争的公司并不认为统计水印足以帮助识别 AI 生成文本的来源。他呼吁采取“更全面”的方法，包括差异化水印，即对文本的不同部分采用不同的水印方式，以及更准确地引用事实文本来源的 AI 系统。
专家指出，这种特定的水印技术还需要将大量的信任和权力赋予 OpenAI。
Hessel 通过电子邮件表示：“理想的指纹识别不应被人类读者察觉，并能实现高度自信的检测。”“根据设置方式的不同，可能是只有 OpenAI 本身才能自信地提供这种检测，因为‘签名’过程的工作方式如此。”
在他的讲座中，Aaronson 承认，该方案只有在像 OpenAI 这样的公司在扩展最先进系统方面处于领先地位——并且大家都同意成为负责任的参与者——的世界里才能真正发挥作用。即使 OpenAI 将该水印工具分享给其他文本生成系统提供商，如 Cohere 和 AI21Labs，这也无法阻止其他人选择不使用它。
Aaronson 说：“如果 [这种情况] 变成一场混战，那么许多安全措施会变得困难，甚至可能变得不可能，至少在没有政府监管的情况下是这样。”“在一个任何人都能构建出与 [例如 ChatGPT] 一样好的文本模型的世界里……你会怎么做？”
这在文生图领域已有体现。与仅通过API提供其DALL-E 2图像生成系统的OpenAI不同，Stability AI将其文生图技术（称为Stable Diffusion）开源了。虽然DALL-E 2在API层面设有多种过滤器以防止生成问题图片（并在其生成的图片上添加水印），但开源的Stable Diffusion则没有。不法分子已利用它创建了深度伪造色情内容等其他有害内容。
就 Aaronson 而言，他持乐观态度。在讲座中，他表示相信，如果 OpenAI 能够证明水印有效且不影响生成文本的质量，它有可能成为行业标准。
并非所有人都同意。正如 Devadas 指出的那样，该工具需要一个密钥，这意味着它不能完全开源——这可能会限制其仅在被允许与 OpenAI 合作的组织中使用。（如果密钥公开，任何人都可以推断出水印背后的模式，从而使其失去意义。）
但这并非毫无可能。Quora的一位代表表示，该公司有兴趣采用此类系统，而且很可能不会是唯一一家如此做的公司。
Aaronson说：“人们可能会担心，随着AI规模的扩大，那些关于努力保持安全和负责任的说法……一旦严重损害Google、Meta、Alibaba及其他主要参与者的利润底线，很多承诺就会付诸东流。”“另一方面，过去30年的经验表明，大型互联网公司能够在某些最低标准上达成共识，无论是出于对诉讼的恐惧、希望被视为负责任的参与者，还是其他原因。”