
谷歌明确:Cloudflare Content Signals指令对爬虫及LLM无效
针对近期业界关注的Cloudflare Content Signals robots.txt指令,谷歌搜索倡导者John Mueller在Reddit上明确表示,该指令对任何爬虫或大型语言模型(LLM)均无实际影响。他指出,目前没有任何主流爬虫或LLM支持该指令,盲目使用只会导致robots.txt文件臃肿,增加后续维护成本。
我想强调几点关键事实:
Cloudflare默认策略调整及应对建议
尽管谷歌未采纳该指令,但Cloudflare已宣布将于2026年9月15日调整默认设置。届时,新接入域名在广告页面中的“训练”和“代理”类别将默认被屏蔽,“搜索”类别则保持允许状态。
数据显示,截至2026年1月,全球约21.3%的网站部署了Cloudflare服务。鉴于这一市场占比,建议站长务必核实自身配置是否符合业务需求。对于依赖AI抓取或内容分发的站点,需提前检查并调整相关设置,避免因默认策略变更影响流量获取。
综上所述,虽然Cloudflare正在推行Content Signals机制,但作为核心搜索引擎的谷歌并未予以支持。站长在优化robots.txt时,应优先遵循主流爬虫规范,避免引入未经广泛验证的非标准指令。

