大数跨境

AWS S3 阻止了 Googlebot 抓取我的图片 URL——这是我的恢复过程

AWS S3 阻止了 Googlebot 抓取我的图片 URL——这是我的恢复过程 谷歌google快讯
2024-08-27
0
导读:今年六月中旬,我注意到 Google 在 Google 搜索和 Discover 中未展示我的许多图片,同时也有部分读者向我指出了这一点。于是,我使用了便捷的 Google 搜索控制台 URL 检查工

AWS S3故障致图片索引受阻:展示量骤降83%的案例分析

今年6月中旬,Google搜索及Discover中的图片展示量出现异常下滑。经使用Google搜索控制台URL检查工具排查,发现托管于AWS S3的图片URL阻止了Googlebot爬取。此次故障导致图片在Google搜索和图片搜索中的展示量下降83%,相关网站点击量下跌76%。尽管数周后数据有所回升,但截至目前,图片展示量仍较故障前低约16%,点击量低26%。

流量波动与恢复情况监测

Google搜索控制台数据显示,流量自6月15日左右开始急剧下降,直至7月8日前后才逐步回升。然而,即便经过两个月时间,图片流量仍未完全恢复至AWS故障前的正常水平。

故障根因:S3误拦截Googlebot

当Googlebot尝试访问S3上的图片URL时,服务器返回404错误;但通过普通浏览器访问同一URL却能正常加载。这些已稳定运行十年的图片URL突然被AWS拦截,疑似为大规模服务变更所致。鉴于大量网站依赖S3存储资源,Googlebot可能因此收到海量404响应。以下为故障期间Googlebot抓取时的实际反馈:

AWS在数日后修复了该问题,抓取状态恢复正常:

以下是Google Search Console URL检查工具中显示的故障状态与正常状态对比:

正常状态应如下所示:

解决方案:迁移至AWS CloudFront

为解决根本隐患,决定将图片存储从AWS S3迁移至AWS CloudFront。虽然S3端的Googlebot抓取问题现已解决,但出于稳定性考虑,不再继续使用S3直接存储图片。自6月下旬起,所有新上传的图片均已切换至CloudFront,旧图片因AWS已修复问题而予以保留。

需明确的是,此事件并非Google算法Bug,而是由AWS侧变更引发的S3对Googlebot的误拦截。尽管问题已解决,但对SEO造成的长期影响仍需观察。过去五周的数据趋于平稳,预计未来不会出现大幅波动。

最新进展:流量全面恢复

截至10月15日更新,图片流量不仅已完全恢复,且表现优于故障前水平。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k