大数跨境

更多新闻网站默认阻止AI爬虫

更多新闻网站默认阻止AI爬虫 搜索引擎报
2026-06-10
10
导读:路透社和《时代》杂志现在默认阻止AI机器人,仅允许通过白名单批准的爬虫访问,越来越多的出版商增加了对AI内容抓取的限制。

据Digiday报道,路透社和《时代》杂志现已默认阻止AI机器人抓取,仅允许通过白名单审批的爬虫访问。这两家出版商于5月做出该决定,加入了People Inc.和《大西洋月刊》的行列,后者在过去一年内已采用类似策略。

路透社表示,此举并未导致流量损失,反而降低了服务机器人的成本。高管层认为,增加访问摩擦有助于推动AI公司进入许可谈判阶段。

为何黑名单机制失效

robots.txt协议仅在爬虫自愿遵守时有效。Tollbit报告显示,30%的AI机器人抓取行为未遵循明确的robots.txt权限设置。

尽管存在绕过封锁的情况,但规避成本仍是关键制约因素。黑名单只能拦截已知机器人,而白名单机制能更高效地阻断未知爬虫。People Inc.数据显示,切换至白名单后,其拦截的用户代理数量从约2,100个激增至超30,000个。

BuzzStream分析指出,79%的顶级新闻出版商已至少阻止一个AI训练机器人。Anthropic警告称,阻止其搜索机器人将带来可见性成本;英国新行为准则也要求Google提供网站退出AI搜索功能的选项。

出版商的准入评估标准

“默认拒绝”策略将决策重心从“阻止谁”转变为“允许谁”。路透社专业版负责人乔什·伦敦表示,批准机器人的前提是提供“公平价值交换”,具体包括:授权付费内容、回传流量、维持网站运行或支持变现。

目前,Reuters robots.txt文件已列出亚马逊、Google、Bing/Microsoft、Yahoo和OpenAI等获批爬虫,并禁止其他机器人访问网站大部分区域。

策略转变的行业意义

传统爬虫访问遵循“除非明确阻止否则允许”的原则,而路透社和《时代》杂志正在逆转这一默认设置。鉴于无法阻止未知机器人,主动筛选成为必要手段。

封锁虽可能导致AI搜索可见性或推荐流量损失,但出版商需在准入前评估机器人带来的实际价值。这一评估逻辑值得所有出版商在配置robots.txt时参考。

行业趋势与未来挑战

出版商正通过联盟形式强化议价能力。SPUR联盟本月新增30名成员,总数达36个组织,旨在建立共享授权和内容使用标准。联合封锁比单一网站更难被忽视。

然而,该策略对不同规模出版商的影响存在差异。路透社凭借通讯社业务和既有授权协议拥有谈判杠杆,而中小出版商缺乏同等筹码,面临封锁损害可见性且未必能促成谈判的风险。

现有数据显示,AI支付池相对于传统搜索收入仍较小。若交易仅集中于头部媒体,“默认拒绝”可能继续作为大型出版商的专属工具。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 5673
粉丝 0
搜索引擎报 搜索引擎时报
总阅读4.0k
粉丝0
内容5.7k