一项新研究似乎为OpenAI在其AI模型训练中至少使用了受版权保护内容的指控提供了佐证。
OpenAI正深陷由作者、程序员和其他权利持有人提起的诉讼中，他们指控该公司未经许可使用其作品（如书籍、代码库等）来开发其模型。OpenAI长期以来一直主张合理使用抗辩，但这些案件的原告认为，美国版权法中并不存在针对训练数据的豁免条款。
这项研究由华盛顿大学、哥本哈根大学和斯坦福大学的研究人员共同撰写，提出了一种新方法，用于识别通过API（如OpenAI的API）背后的模型“记忆”的训练数据。
模型是预测引擎。它们通过大量数据进行训练以学习模式，这正是它们能够生成文章、照片等内容的原理。大多数输出并非训练数据的逐字复制，但由于模型的“学习”方式，不可避免地会出现一些逐字复制的情况。图像模型被发现会复述其训练数据中的电影截图，而语言模型则被观察到有效地抄袭新闻文章。
该研究的方法依赖于作者们所称的“高 surprisal”词汇——即在更大作品背景下显得不常见的词。例如，在句子“杰克和我静静地坐着，雷达嗡嗡作响”中，“radar”一词被认为是高 surprisal，因为与“engine”或“radio”等词相比，它出现在“humming”之前的概率较低。
多位合著者对包括GPT-4和GPT-3.5在内的多个OpenAI模型进行了探测，通过从小说片段和《纽约时报》文章中移除高惊讶度词汇，并让模型尝试“猜测”哪些词汇被掩码，以此检查是否存在记忆现象。如果模型能够正确猜测，合著者得出结论，这表明模型在训练过程中很可能记住了该片段。
根据测试结果，GPT-4显示出可能记忆了部分流行小说书籍的内容，包括一个名为BookMIA的数据集中的受版权保护电子书样本。结果还表明，该模型也记忆了部分《纽约时报》文章的内容，但比例相对较低。
华盛顿大学的博士生、该研究的合著者Abhilasha Ravichander告诉TechCrunch，这些发现揭示了模型可能使用的“争议性数据”。
Ravichander说：“为了拥有值得信赖的大型语言模型，我们需要能够对其进行探测、审计和科学检查的模型。”“我们的工作旨在提供一种工具来探测大型语言模型，但整个生态系统确实需要更高的数据透明度。”
OpenAI长期以来一直倡导对使用受版权保护数据开发模型施加更宽松的限制。尽管该公司已签订某些内容许可协议，并提供退出机制允许版权所有者标记他们不希望公司用于训练目的的内容，但它仍游说了多个政府，要求将围绕AI训练方法的“合理使用”规则成文化。