大数跨境

Google 澄清其 15MB Googlebot 限制适用于每个单独的子资源

Google 澄清其 15MB Googlebot 限制适用于每个单独的子资源 谷歌google快讯
2023-03-20
0
导读:Google 已更新关于爬取的 Googlebot 帮助文档,以澄清 15MB 的抓取大小限制同样适用于 HTML 中引用的各个单独子资源的每次抓取,例如 JavaScript 和 CSS 文件。

Google明确爬虫15MB抓取限制适用范围

Google近日更新了Googlebot帮助文档,进一步澄清了15MB抓取大小限制的适用规则。该限制不仅针对HTML主文件,同样适用于HTML中引用的JavaScript、CSS等独立子资源的每次抓取。

此前,关于此限制的信息曾在SEO行业引发广泛关注与担忧。此次更新旨在消除歧义,确保网站管理员准确理解爬虫机制。

官方文档更新要点

更新后的帮助文档明确指出:

Googlebot可抓取HTML文件或基于文本的文件的前15MB。HTML中引用的每个资源(如CSS和JavaScript)均会被单独抓取,且每次抓取均受相同的文件大小限制。超出前15MB的部分将被停止抓取,索引时仅考虑前15MB内容。该限制适用于未压缩数据。其他Google爬虫(如Googlebot Video和Googlebot Image)可能设有不同限制。

对比此前版本,新版文档删除了“图像、视频”等非文本资源的列举,更精准地聚焦于支持基于文本的文件类型,强调了JS和CSS文件的独立抓取限制。

专家建议与社区反馈

Google搜索倡导者Gary Illyes在LinkedIn上补充强调,15MB的资源抓取阈值同样适用于JavaScript文件。若JS文件超过该体积,可能导致网站在Google搜索中遭遇收录或排名问题。他直言:“确实存在大于15MB的JavaScript资源,但这并非良好的开发实践。”

针对此事,SEO社区也进行了讨论。John Mueller曾指出,15MB对于单个资源而言已是相当大的容量,并提醒从业者注意区分“抓取流量”与“索引处理”是两个独立的环节,避免因资源过大而浪费宝贵的抓取预算。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 9318
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读496
粉丝0
内容9.3k