Creative Commons 支持“付费爬取”技术，为AI内容生态提供新框架
继今年早些时候宣布开放人工智能生态系统框架后，非营利组织 Creative Commons（CC）已对“付费爬取”技术表示“谨慎支持”。这是一种当机器（如AI网络爬虫）访问网站内容时自动进行补偿的机制。
CC 以发起允许创作者在保留版权的同时分享作品的许可运动而闻名。7月，该组织宣布了一项计划，旨在为控制数据的公司与希望利用数据进行训练的AI提供商之间，提供数据集共享的法律和技术框架。
如今，该非营利组织暂时支持付费爬取系统，并持“谨慎支持”态度。
CC 博客文章指出：“如果负责任地实施，付费爬取可以代表一种让网站维持其内容创作与分享的方式，并管理替代性使用，使内容在原本可能不会分享或会消失在更严格付费墙之后的情况下保持公开可访问。”
付费爬取的核心理念与行业背景
由 Cloudflare 等公司牵头，付费爬取背后的理念是：每次 AI 机器人抓取网站以收集内容进行模型训练和更新时，均需收取费用。
过去，网站免费允许网络爬虫索引内容以便纳入 Google 等搜索引擎，并通过搜索结果带来的访客和点击量受益。然而，随着AI技术的发展，这种动态已经改变。消费者通过AI聊天机器人获得答案后，不太可能点击链接跳转到原始来源。
这种转变已经对出版商造成了毁灭性打击，因为它扼杀了搜索流量，且似乎没有缓和的迹象。
另一方面，按爬取付费的系统可以帮助出版商从AI对其利润造成的冲击中恢复过来。此外，它可能更适合那些没有实力与AI提供商谈判一次性内容交易的中小型网络出版商。相比之下，OpenAI 与 Condé Nast、Axel Springer，Perplexity 与 Gannett，Amazon 与 The New York Times，以及 Meta 与各类媒体出版商之间已达成重大交易。
CC 的保留意见与实施原则
CC 对“付费爬取”模式提出了若干保留意见，指出此类系统可能会使权力在互联网上过度集中，还可能潜在地阻止“研究人员、非营利组织、文化遗产机构、教育工作者以及其他为公共利益工作的行为者”访问内容。
为此，CC 提出了一系列负责任地实施“付费爬取”的原则：
- 不将“付费爬取”设为所有网站的默认设置；
- 避免对互联网采取一刀切的规则；
- 系统应允许限速而非仅仅屏蔽；
- 应保留公共利益的访问权限；
- 系统应该是开放的、可互操作的，并使用标准化组件构建。
行业布局与 RSL 标准的发展
Cloudflare 并非唯一一家在“付费爬取”领域投资的公司。微软也在构建一个面向出版商的 AI 市场，而像 ProRata.ai 和 TollBit 这样的小型初创公司也开始涉足这一领域。
另一个名为 RSL Collective 的组织宣布了其 own spec for a new standard called Really Simple Licensing (RSL) that would dictate what parts of a website crawlers could access but would stop short of actually blocking the crawlers. 随后，Cloudflare、Akamai 和 Fastly 采用了 RSL，该标准由 Yahoo、Ziff Davis、O’Reilly Media 及其他公司支持。
CC 也宣布支持 RSL，并将其与 CC signals 一起作为其更广泛项目的一部分，旨在为 AI 时代开发技术和工具。