大数跨境

Google 通过微小改动澄清了对 robots.txt 字段的支持

Google 通过微小改动澄清了对 robots.txt 字段的支持 谷歌google快讯
2024-10-08
0
导读:Google 在括号内添加了大约八个单词,以澄清未在 robots.txt 文档中明确列出的字段不受支持。他们为何这样做?因为 Google 有时会收到相关询问。

Google 更新 robots.txt 文档:明确不支持 crawl-delay 等字段

为减少开发者疑问,Google 在 robots.txt 官方文档的语法部分新增说明,明确指出未在文档中列出的字段(如 crawl-delay)不受支持。此举旨在澄清常见误区,避免无效配置。

文档修订内容对比

新增内容位于语法章节,具体表述为:“其他字段(如 crawl-delay)不受支持”。以下是修改前后的视觉对比:

更新后的文档显示如下:

专家建议与最佳实践

Google Webmaster/Search Console 社区 Silver Product Expert Jaskaran Singh 强调,若使用 crawl-delay 等未获支持的指令,Googlebot 将直接忽略。为确保网站按预期被抓取,应严格遵循官方支持的指令集。

此外,他提出两项实用建议以提升 robots.txt 规范性:

  • 善用注释符号(#)增强文件可读性;
  • 确保所有路径均以斜杠(/)开头,防止解析错误。
【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k