大数跨境

Google:禁止抓取操作类网址(立即购买、注册等)

Google:禁止抓取操作类网址(立即购买、注册等) 谷歌google快讯
2024-06-13
0
导读:Google 发布了一则公益公告,建议网站管理员禁止 Googlebot 抓取其操作类网址。Google 的 Gary Illyes 在 LinkedIn 上发帖称:“你真的应该禁止抓取你的操作类网址

Google建议禁止抓取操作类URL以节省服务器资源

Google近日发布公益公告,建议网站管理员通过robots.txt禁止Googlebot抓取“加入购物车”、“加入愿望清单”等操作类URL。Google技术专家Gary Illyes指出,爬虫无法执行购买或订阅等交互操作,抓取此类页面对索引毫无价值,反而会占用大量服务器资源。

为何需要屏蔽操作类URL

我们收到的关于爬取的常见投诉是,我们爬取的内容过多,占用了服务器过多的资源(尽管不会引起其他问题)。查看投诉中涉及的网站,我们发现过于频繁地出现了诸如“加入购物车”和“加入愿望清单”之类的操作类网址。这些对爬虫毫无用处,而且你可能也不希望它们被爬取。

对于包含add_to_cart、add_to_wishlist等参数的动态链接,建议直接在robots.txt文件中添加Disallow规则进行屏蔽。虽然将请求转换为HTTP POST方法也能起到一定限制作用,但需注意部分爬虫仍支持POST请求,因此robots.txt仍是更稳妥的解决方案。

注意事项与背景补充

此前曾有报道指出,Googlebot会将商品加入购物车以验证定价准确性,这属于商家购物体验评分功能的一部分。因此,在实施屏蔽策略时,建议站长根据实际业务需求审慎评估,避免误伤必要的验证机制。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 17527
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读564
粉丝0
内容17.5k