
Google每日检查约40亿主机名robots.txt
Google搜索倡导者Gary Illyes在12月《Search Off The Record》播客中透露,Google每天需针对robots.txt协议检查约40亿个主机名。基于此数据推算,全球网站数量可能已远超40亿个。
播客核心对话摘要
Illyes指出,考虑到robots.txt缓存机制及大量子目录的存在,实际网站规模庞大。当被问及其中有多少站点接入Search Console时,他并未直接回应,但强调了技术实施的复杂性。
Illyes表示,面对如此海量的主机名与子目录,制定任何新措施或退出机制都必须极其审慎,避免给发布商带来过大负担。尽管外界对缺乏现成解决方案感到沮丧,但这并非可以掉以轻心的简单问题。

