据Digiday报道,路透社和《时代》杂志现已默认阻止AI机器人抓取,仅允许通过白名单审批的爬虫访问。这两家出版商于5月做出该决定,加入了People Inc.和《大西洋月刊》的行列,后者在过去一年内已采用类似策略。
路透社表示,此举并未导致流量损失,反而降低了服务机器人的成本。高管层认为,增加访问摩擦有助于推动AI公司进入许可谈判阶段。
为何黑名单机制失效
robots.txt协议仅在爬虫自愿遵守时有效。Tollbit报告显示,30%的AI机器人抓取行为未遵循明确的robots.txt权限设置。
尽管存在绕过封锁的情况,但规避成本仍是关键制约因素。黑名单只能拦截已知机器人,而白名单机制能更高效地阻断未知爬虫。People Inc.数据显示,切换至白名单后,其拦截的用户代理数量从约2,100个激增至超30,000个。
BuzzStream分析指出,79%的顶级新闻出版商已至少阻止一个AI训练机器人。Anthropic警告称,阻止其搜索机器人将带来可见性成本;英国新行为准则也要求Google提供网站退出AI搜索功能的选项。
出版商的准入评估标准
“默认拒绝”策略将决策重心从“阻止谁”转变为“允许谁”。路透社专业版负责人乔什·伦敦表示,批准机器人的前提是提供“公平价值交换”,具体包括:授权付费内容、回传流量、维持网站运行或支持变现。
目前,Reuters robots.txt文件已列出亚马逊、Google、Bing/Microsoft、Yahoo和OpenAI等获批爬虫,并禁止其他机器人访问网站大部分区域。
策略转变的行业意义
传统爬虫访问遵循“除非明确阻止否则允许”的原则,而路透社和《时代》杂志正在逆转这一默认设置。鉴于无法阻止未知机器人,主动筛选成为必要手段。
封锁虽可能导致AI搜索可见性或推荐流量损失,但出版商需在准入前评估机器人带来的实际价值。这一评估逻辑值得所有出版商在配置robots.txt时参考。
行业趋势与未来挑战
出版商正通过联盟形式强化议价能力。SPUR联盟本月新增30名成员,总数达36个组织,旨在建立共享授权和内容使用标准。联合封锁比单一网站更难被忽视。
然而,该策略对不同规模出版商的影响存在差异。路透社凭借通讯社业务和既有授权协议拥有谈判杠杆,而中小出版商缺乏同等筹码,面临封锁损害可见性且未必能促成谈判的风险。
现有数据显示,AI支付池相对于传统搜索收入仍较小。若交易仅集中于头部媒体,“默认拒绝”可能继续作为大型出版商的专属工具。

