Google搜索关系团队负责人John Mueller在10月1日播出的《Search Off the Record》播客中表示,AI训练爬虫通常不提供站点地图提交入口。他建议希望内容被AI系统收录的网站,使用默认文件名(sitemap.xml)或RSS订阅源以便被发现。Mueller透露,其服务器日志已监测到AI爬虫主动访问了站点地图和RSS文件。
私有站点地图与AI爬虫的发现机制
Mueller指出,若网站需保持站点地图私密,可指定非通用文件名、不在robots.txt中声明并直接向Google提交。但此举会导致其他系统无法发现该文件,且Bing等搜索引擎可能也需单独提交。
相比之下,AI训练爬虫缺乏控制台或提交设置。对于希望被AI抓取的内容,建议使用通用命名“sitemap.xml”或专注于RSS订阅源。根据网站地图协议,robots.txt中的Sitemap指令独立于User-agent规则,不绑定特定爬虫;而RSS订阅源因常链接于HTML头部,更易被自动发现。
Mueller证实已在个人服务器日志中观察到AI爬虫访问站点地图及RSS文件的行为,但未透露具体爬虫名称,亦不确定AI公司是否记录此类行为及其数据用途。
Llms.txt并非站点地图的替代品
针对llms.txt能否替代XML站点地图的问题,Mueller将Markdown文件类比为HTML站点地图,明确表示Google系统目前无法将其作为站点地图使用,因其缺乏严格格式规范。
他表示:“我认为希望大于现实。”尽管未来搜索系统或许能读取Markdown文件,但目前尚未实现。他不反对网站尝试,但不建议依赖此方式。此前测试显示,声称支持Markdown的爬虫多为SEO工具;Google AI优化指南也将llms.txt列为无需采用的策略之一。
有效站点地图显示“无法获取”的原因
关于Search Console对有效且公开的站点地图报告“无法获取”的现象,Mueller解释主要源于两方面:一是主机负载过高导致Google系统繁忙无法抓取;二是抓取需求不足,当系统判定无需抓取更多内容时会跳过站点地图。
Mueller强调,抓取需求基于网站质量评估,“这并非纯粹的技术问题”。若Google未检测到值得索引的新重要内容,便不会使用站点地图。Search Console帮助页面亦将低抓取需求列为原因之一,并指出优质内容有助于提升抓取频率。此外,robots.txt屏蔽、处置操作及URL错误也可能导致该状态。
核心要点总结
名称特殊且未在robots.txt中声明的站点地图会对未获提交的系统隐藏。鉴于AI训练爬虫普遍缺乏提交渠道,建议通过默认站点地图名称或RSS订阅源确保内容可被发现,同时在robots.txt中添加Sitemap指令以告知兼容爬虫。
对于站点地图“无法获取”的状态,主机负载与抓取需求均属外部因素,需从内容质量与服务器性能层面排查。
后续建议
Mueller建议站长基于现有文档标准开展工作,而非围绕llms.txt进行规划。同时,推荐通过检查服务器日志来确认AI爬虫对自身网站的实际访问情况。

