为20%的互联网提供服务的云基础设施提供商Cloudflare周二宣布推出新市场，旨在重塑网站所有者与AI公司之间的关系，赋予出版商对其内容更大的控制权。
过去一年中，Cloudflare推出了面向出版商的多种工具以应对AI爬虫泛滥，包括一键屏蔽所有AI机器人的解决方案及查看AI爬虫访问情况的仪表板。CEO Matthew Prince曾表示，这些产品正为一个新型市场奠定基础，使出版商能向AI公司分发内容并获得报酬。
如今，Cloudflare正将该市场变为现实。
该市场被称为“按次爬取付费”（Pay per Crawl），将于周二启动私有测试版实验。参与实验的网站所有者可选择允许AI爬虫以设定费率单独抓取网站（每次产生微支付），或选择免费抓取、完全阻止。Cloudflare声称，其工具能让网站所有者了解爬虫是否为了AI训练数据、出现在AI搜索结果或其他目的而抓取网站。
从规模上看，这是一个宏大的构想，可能为出版商提供适用于AI时代的潜在商业模式，同时将Cloudflare置于核心位置。该市场的推出正值新闻出版商面临生存危机之际，他们正在思考如何在Google搜索流量衰退和AI聊天机器人日益流行的背景下触达读者。
目前尚不清楚新闻出版商将在AI时代如何生存。一些出版商如《纽约时报》已针对科技公司提起诉讼，指控其在未经许可的情况下使用新闻文章训练AI模型；其他出版商则签署了多年期协议，授权内容用于AI模型训练并出现在AI聊天机器人回复中。
即便如此，只有大型出版商达成了AI授权协议，且尚不清楚这些协议是否能带来有意义的收入来源。Cloudflare旨在创建一个更持久的系统，让出版商能够按照自己的条件设定价格。
该公司还在周二宣布，使用Cloudflare搭建的新网站现在将默认阻止所有AI爬虫。网站所有者必须授予特定AI爬虫访问权限，这一变化将使每个新域名“默认拥有控制权”。
包括Condé Nast、《时代》周刊、美联社、《大西洋月刊》、ADWEEK和《财富》在内的多家大型出版商已与Cloudflare合作，默认阻止AI爬虫，以支持实现“基于许可的爬取方式”的更广泛目标。
数十年来许多出版商依赖的商业模式正逐渐变得不可靠。历史上，在线出版商允许Google抓取网站以换取推荐流量，进而转化为访问量及广告收入。
然而，Cloudflare最新数据表明，在AI时代出版商可能比Google搜索时代面临更不利局面。尽管一些网站称ChatGPT是其主要流量来源，但这似乎并不普遍成立。
今年六月，Cloudflare发现Google爬虫每提供一次推荐会抓取网站14次；OpenAI爬虫每提供一次推荐会抓取1,700次；Anthropic爬虫每提供一次推荐则会抓取73,000次。
与此同时，OpenAI和Google正在构建旨在代表用户访问网站、收集信息并直接返还给用户的AI代理。如果这些工具成为主流，将对依赖读者访问网站的出版商产生巨大影响。
Cloudflare指出，“按次付费爬取”（Pay per Crawl）的“真正潜力”可能在“代理化”未来中显现。
Cloudflare在博客文章中写道：“如果代理式付费墙能够在网络边缘完全以编程方式运行会怎样？想象一下，让深度研究程序帮你综合最新的癌症研究或法律简报，或者找到Soho地区最好的餐厅——然后给这个代理一个预算，让它去获取最佳且最相关的内容。”
要参与Cloudflare的实验性市场，AI公司和出版商都必须拥有Cloudflare账户。双方可在各自账户中设定购买和出售“爬取”内容的费率。Cloudflare在这些交易中充当中介，向AI公司收费并将收益分配给出版商。
Cloudflare发言人Ripley Park表示，目前“按次付费爬取”项目中不涉及稳定币或加密货币，尽管许多人曾建议数字货币非常适合此类场景。
然而，Prince在参加TBPN节目时表示，Cloudflare正在研究“可能创建我们自己的稳定币作为这些交易的一部分”，同时也与其他稳定币提供商合作。
Cloudflare的市场给人一种面向未来的大胆愿景，但这需要大量出版商和AI公司的参与。尽管如此，并不能保证出版商能获得优惠条件，而且鉴于它们目前仍在免费抓取内容，说服AI公司参与其中可能会很困难。
尽管如此，Cloudflare似乎是少数有能力促成此类市场存在的公司之一。
下午2:50（太平洋时间）更新：本文已更新，加入了Cloudflare CEO在播客中关于稳定币的评论，并更正了OpenAI在六月份的爬取到推荐比率，该数据由Cloudflare报告。