
针对近期SEO行业关于Google爬虫文件大小限制的讨论,Google已更新相关帮助文档并作出澄清。新版文档明确指出,不同文件类型及爬虫项目的抓取限制存在差异。
Google爬虫文件大小限制新规
根据最新文档说明,Google爬虫的默认抓取上限为文件前15MB,超出部分将被忽略。但具体限制会因项目、爬虫类型及文件格式而异:
- 通用限制:Googlebot等爬虫可能对HTML文件设置更小的限制(例如2MB);
- PDF特殊规则:PDF文件的抓取限制通常高于HTML文件。
新旧版本对比
此次更新主要细化了限制条件的描述,明确了“更小限制”的具体场景:
新版本:默认情况下,Google的爬虫和抓取器仅爬取文件的前15MB,超出此限制的内容将被忽略。然而,各个项目可以为它们的爬虫和抓取器以及不同类型的文件设置不同的限制。例如,像Googlebot这样的Google爬虫可能具有更小的文件大小限制(例如2MB),或者为PDF指定比HTML更大的文件大小限制。
旧版本:默认情况下,Google的爬虫和抓取器仅爬取文件的前15MB。超出此限制的内容将被忽略。各个项目可以为它们的爬虫和抓取器以及不同类型的文件设置不同的限制。例如,Google爬虫可能会为PDF指定比HTML更大的文件大小限制。

