Google 近日更新了 Mediapartners-Google 爬虫文档,澄清了该爬虫与广告产品的关联范围。网站所有者、发布者及 SEO 人员需密切关注此项变更,尤其是涉及 robots.txt 配置或用户代理设置的相关操作。
文档更新要点
此次更新将 Mediapartners-Google 的描述从单一 AdSense 场景泛化至更广泛的 Google Ads 产品体系。文档措辞调整如下:
原表述:针对 Mediapartners-Google 用户代理的爬取偏好会影响 Google AdSense。AdSense 爬虫会访问参与站点,以便为其提供相关广告。
新表述:Mediapartners-Google 爬虫会访问参与站点以投放相关广告。针对该用户代理的爬取偏好会影响各类广告相关 Google 产品(例如 Google AdSense 和 Google Ad Manager)。
适用范围扩大但细节未明
新版文档扩展了 Mediapartners-Google 的服务范畴,但仅列举了 AdSense 和 Ad Manager 作为示例,并未提供完整清单。目前尚不明确该变更是否涵盖 Google Marketing Platform、Local Services Ads 及 Google AdMob 等其他广告服务。

