
Google新增站点验证爬虫用户代理
Google在其官方爬虫文档中更新了“Google Site Verifier User Agent”条目。该用户代理专用于Search Console及其他Google工具的网站所有权验证,其完整标识为:Mozilla/5.0 (compatible; Google-Site-Verification/1.0)。
忽略robots.txt规则及功能说明
Google明确提示,该爬虫在执行验证任务时会忽略robots.txt协议限制。建议站长关注其在特定场景下的访问行为,确保验证流程顺畅。
官方澄清:非新功能仅为文档更新
针对外界关于新爬虫的猜测,Google搜索倡导者John Mueller澄清表示,该用户代理并非近期推出的新功能,而是长期用于Search Console验证的既有机制。此次变动仅涉及将其正式列入官方帮助文档,以便开发者查阅。

