
近期市场流传“Reddit阻止Google搜索抓取和索引”的说法,经核实该消息并不属实。尽管从普通用户视角查看Reddit的robots.txt文件似乎屏蔽了所有搜索引擎,但通过Google富媒体结果测试工具模拟Google IP访问时,结果显示Google仍被允许正常抓取。



Reddit并未屏蔽Google搜索
所谓“屏蔽”仅是表面现象。实际上,Reddit依赖Google获取海量流量及相应收益,主动屏蔽Google不符合其商业逻辑。相关调查证实,Reddit仅针对特定非主流爬虫(如008、voltron等)设置了Disallow规则,而对Google保持开放访问权限。
这是他们向 Google 展示的内容:
# 我们的 robots.txt 适用于搜索引擎
# 80legs
User-agent: 008
Disallow: /
# 80legs 的新爬虫
User-agent: voltron
Disallow: /
User-Agent: bender
Disallow: /my_shiny_metal_ass
User-Agent: Gort
Disallow: /earth
User-agent: MJ12bot…
综上所述,Reddit在Google搜索中的收录与排名机制未受影响,相关内容仍将保持正常的搜索可见性。

