美国数字内容联盟（DCN）近日向Common Crawl基金会发出停止并终止函，要求其立即停止收集出版商内容，并从现有数据集中移除相关材料。此举标志着数字出版行业与AI训练数据抓取方之间的版权争议进一步升级。
自2007年以来，Common Crawl每月抓取数十亿网页构建免费公共档案，该档案已成为众多AI模型的核心训练数据来源。OpenAI在GPT-3论文中披露，其训练数据约60%来自过滤后的Common Crawl数据集。此次争议的核心在于：即便网站通过robots.txt屏蔽了CCBot爬虫阻止未来抓取，也无法清除已归档的历史内容，这些存量数据仍可能被用于AI训练。
DCN核心诉求与法律立场
DCN在函件中明确要求Common Crawl停止抓取、保留或分享其成员公司的受版权保护内容，包括付费墙后及订阅制内容，并删除已收录的相关材料。DCN指出，Common Crawl未经授权创建数据集并与AI公司共享的行为严重侵犯了版权。
针对“选择退出”机制，DCN强调版权法并非“选择退出制度”。DCN首席执行官Jason Kint表示，不能因为内容技术上可访问，就默认允许被收集、存储和商业化利用。他认为出版商不应承担主动申请排除的义务，使用方在收录前必须获得明确许可。
对移除流程有效性的质疑
DCN对Common Crawl的实际移除能力表示怀疑。据Press Gazette报道，DCN律师正在审查Common Crawl此前声明的准确性，认为其可能具有误导性。尽管Common Crawl维护了一份包含美联社、BBC等主流媒体的“不抓取注册表”，但《大西洋月刊》曾报道，即便在Common Crawl同意移除后，《纽约时报》等出版商的内容仍可在档案中被检索到。
这一技术困境引发了行业担忧：如果历史内容无法被彻底清除，现有的屏蔽措施在实际效果上将大打折扣。
Common Crawl回应与技术局限
面对DCN的法律通知，Common Crawl执行董事Rich Skrenta拒绝置评。但他此前曾公开反驳类似指控，否认组织存在欺骗行为或故意抓取付费内容。
Skrenta解释称，由于档案文件格式的技术特性，发布后无法直接编辑，否则会破坏数据完整性。目前的解决方案是从后续抓取中过滤受影响URL，并通过公共工具使其不可访问。他强调：“我们从未声称移除工作能瞬间完成或绝对彻底，这本质上是一个复杂且持续的过程。”此外，Common Crawl正积极参与制定关于网站表达AI抓取偏好的开放标准。
行业影响与未来博弈
数据显示，目前已有79%的新闻网站至少屏蔽了一个AI训练机器人，CCBot也是被完全禁止指令最多的爬虫之一。然而，DCN的行动揭示了一个关键问题：仅靠前端屏蔽难以解决存量数据的合规风险。
未来的博弈焦点将集中在规则制定权上。一方面，Skrenta支持将“选择退出”作为默认模式的开放标准；另一方面，DCN坚持“事先许可”原则。若更多行业协会采纳DCN立场，监管压力将从单一的robots.txt文件转向对数据集本身的合规性审查。英国竞争与市场管理局（CMA）近期要求Google允许出版商退出AI搜索功能，也印证了这一趋势。双方对于责任归属的根本分歧，或将推动AI数据合规框架的重塑。