
Google明确爬虫15MB抓取限制适用范围
Google近日更新了Googlebot帮助文档,进一步澄清了15MB抓取大小限制的适用规则。该限制不仅针对HTML主文件,同样适用于HTML中引用的JavaScript、CSS等独立子资源的每次抓取。
此前,关于此限制的信息曾在SEO行业引发广泛关注与担忧。此次更新旨在消除歧义,确保网站管理员准确理解爬虫机制。
官方文档更新要点
更新后的帮助文档明确指出:
Googlebot可抓取HTML文件或基于文本的文件的前15MB。HTML中引用的每个资源(如CSS和JavaScript)均会被单独抓取,且每次抓取均受相同的文件大小限制。超出前15MB的部分将被停止抓取,索引时仅考虑前15MB内容。该限制适用于未压缩数据。其他Google爬虫(如Googlebot Video和Googlebot Image)可能设有不同限制。
对比此前版本,新版文档删除了“图像、视频”等非文本资源的列举,更精准地聚焦于支持基于文本的文件类型,强调了JS和CSS文件的独立抓取限制。
专家建议与社区反馈
Google搜索倡导者Gary Illyes在LinkedIn上补充强调,15MB的资源抓取阈值同样适用于JavaScript文件。若JS文件超过该体积,可能导致网站在Google搜索中遭遇收录或排名问题。他直言:“确实存在大于15MB的JavaScript资源,但这并非良好的开发实践。”
针对此事,SEO社区也进行了讨论。John Mueller曾指出,15MB对于单个资源而言已是相当大的容量,并提醒从业者注意区分“抓取流量”与“索引处理”是两个独立的环节,避免因资源过大而浪费宝贵的抓取预算。

