
Google页面抓取上限约为10MB
Google搜索倡导者John Mueller在近期的Google Hangout中明确表示,Google每页最多可抓取约10兆字节(10MB)的内容。若网页体积超过该阈值,建议确保核心内容控制在10MB以内,以保证被正常索引并在搜索结果中展示。值得注意的是,Google的单页抓取数据量上限随时间推移呈持续上升趋势。
显然,我们能够下载的页面大小存在限制。我认为该限制约为10兆字节。因此,如果您的内容包含在这10兆字节以内,我们就能识别它并在搜索结果中展示。
10MB限制主要适用于Search Console工具
针对上述抓取上限的适用范围,John Mueller后续澄清指出,10MB的限制主要针对Google Search Console(SC)工具中的“网址检查”等功能,并非绝对的全网抓取硬性标准。
据我所知,10MB的限制仅适用于SC工具。

