大数跨境

Google 每天检查 40 亿个主机名以获取 robots.txt

Google 每天检查 40 亿个主机名以获取 robots.txt 谷歌google快讯
2023-12-27
0
导读:你知道吗?Google Search 每天大约会检查 40 亿个主机名,用于 robots.txt 目的。Gary Illyes 在 12 月的《Search Off The Record》播客中表示

Google每日检查约40亿主机名robots.txt

Google搜索倡导者Gary Illyes在12月《Search Off The Record》播客中透露,Google每天需针对robots.txt协议检查约40亿个主机名。基于此数据推算,全球网站数量可能已远超40亿个。

播客核心对话摘要

Illyes指出,考虑到robots.txt缓存机制及大量子目录的存在,实际网站规模庞大。当被问及其中有多少站点接入Search Console时,他并未直接回应,但强调了技术实施的复杂性。

Illyes表示,面对如此海量的主机名与子目录,制定任何新措施或退出机制都必须极其审慎,避免给发布商带来过大负担。尽管外界对缺乏现成解决方案感到沮丧,但这并非可以掉以轻心的简单问题。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k