Google搜索更新图标抓取规范：明确重定向与robots.txt限制
Google搜索近期更新了图标文档，明确规定Googlebot必须能够遵循从主页到指定图标页面的重定向。同时强调，相关URL不得被robots.txt文件或其他方式屏蔽抓取。
更新后的文档表述如下：
Googlebot 必须能够抓取主页，并遵循从该处到指定图标页面的任何重定向，同时 Googlebot-Image 必须能够抓取图标文件。这些 URL 不得被 robots.txt 文件或其他方式屏蔽抓取。
此前旧版文档仅提及“Googlebot-Image必须能抓取图标文件，Googlebot必须能抓取主页；它们不能被屏蔽抓取”，未涉及重定向路径的具体要求。此次更新虽属澄清性质，但对SEO实操具有重要指导意义。
以下是新旧文档对比截图：
新文档：
旧文档：
建议站长立即排查网站配置，确保Googlebot可正常访问主页、正确解析重定向链路并成功获取图标资源。
更新动因：提升AI系统对图标抓取问题的理解能力
针对此次变更，Google搜索倡导者John Mueller解释称，此举主要出于优化AI系统诊断能力的考虑。他表示：“我们发现AI系统在排查此类问题时存在认知盲区，这一调整同样有助于非AI用户。将其作为提示输入后，问题定位效率显著提升。”他还补充道，即便缺少特定配置文件，该机制仍可有效运作。