大数跨境

谷歌:Cloudflare 的 Content Signals Robots.txt 指令无效

谷歌:Cloudflare 的 Content Signals Robots.txt 指令无效 谷歌google快讯
2026-07-06
0
导读:谷歌的 John Mueller 表示,Cloudflare 去年推出的 Content Signals robots.txt 指令“对任何爬虫或大型语言模型(LLM)均无任何影响”。他补充称,该指令

谷歌明确:Cloudflare Content Signals指令对爬虫及LLM无效

针对近期业界关注的Cloudflare Content Signals robots.txt指令,谷歌搜索倡导者John Mueller在Reddit上明确表示,该指令对任何爬虫或大型语言模型(LLM)均无实际影响。他指出,目前没有任何主流爬虫或LLM支持该指令,盲目使用只会导致robots.txt文件臃肿,增加后续维护成本。

我想强调几点关键事实:

  • 谷歌不使用llms.txt或llms-author.txt文件。据我所知,除部分SEO工具外,尚无其他爬虫或LLM确认支持这些文件。
  • “content-signal”robots.txt指令由CDN服务商提出,并非行业标准。爬虫仅会识别并执行其支持的指令,其余内容将被自动忽略。添加此类非标准指令无法产生预期效果。

Cloudflare默认策略调整及应对建议

尽管谷歌未采纳该指令,但Cloudflare已宣布将于2026年9月15日调整默认设置。届时,新接入域名在广告页面中的“训练”和“代理”类别将默认被屏蔽,“搜索”类别则保持允许状态。

数据显示,截至2026年1月,全球约21.3%的网站部署了Cloudflare服务。鉴于这一市场占比,建议站长务必核实自身配置是否符合业务需求。对于依赖AI抓取或内容分发的站点,需提前检查并调整相关设置,避免因默认策略变更影响流量获取。

综上所述,虽然Cloudflare正在推行Content Signals机制,但作为核心搜索引擎的谷歌并未予以支持。站长在优化robots.txt时,应优先遵循主流爬虫规范,避免引入未经广泛验证的非标准指令。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k