Google 近日更新了 Googlebot 文档，进一步澄清了文件大小限制的相关规定。此次调整将原本位于 Googlebot 页面的通用默认限制移至更广泛的爬虫基础设施文档中，同时优化了 Googlebot 页面关于自身特定限制的说明。
文档更新详情
根据 Google 文档更改日志，本次更新主要包含两项内容调整：
- 通用限制迁移：原 Googlebot 页面中的默认文件大小限制已转移至爬虫基础设施文档。这是因为该限制适用于 Google 所有爬虫和抓取器，而非仅针对 Googlebot。
- 特定限制明确：随着通用值移出，Googlebot 页面现专注于描述针对 Google Search 的特定限制。目前规定如下：
- 爬虫基础设施默认上限为 15 MB；
- Googlebot 对支持的文件类型限制为 2 MB；
- PDF 文件在用于 Google 搜索抓取时限制为 64 MB。
需注意，HTML 中引用的 CSS、JavaScript 等资源均单独获取并计算大小。
政策调整背景与意义
此次文档重组延续了 Google 自 2025 年底以来的策略调整。由于 Google 爬虫基础设施不仅服务于搜索，还涵盖 Shopping、News、Gemini 及 AdSense 等产品，Google 已将核心爬虫文档从 Search Central 迁移至独立网站，并陆续发布了分层导航指南和抓取预算优化等内容。
关于 15 MB 的限制最早于 2022 年被正式记录，John Mueller 当时确认该限制已实施多年，仅为补充文档说明。此前，因不同文档对限制的描述存在差异，给站长管理抓取预算或排查索引问题带来困扰。此次更新通过区分“基础设施默认值”与“Googlebot 特定值”，使规则更加清晰透明。
未来展望
通过将通用抓取器默认值与特定产品文档分离，Google 提升了文档的可维护性。这一架构调整表明，未来随着新抓取器和获取器的推出，相关技术文档将能更快速、准确地进行更新与发布。