大数跨境

约翰·穆勒的网站从谷歌搜索结果中消失

约翰·穆勒的网站从谷歌搜索结果中消失 谷歌google快讯
2024-03-13
0
导读:SEO 社区的所有人都在讨论约翰·穆勒的网站不再出现在谷歌搜索结果中的情况。看起来它已被去索引并从谷歌完全移除。问题是为什么?

近期,谷歌搜索发言人约翰·穆勒(John Mueller)的个人网站 johnmu.com 被曝从谷歌搜索结果中完全移除。作为SEO领域的权威人物,其个人站点遭遇去索引引发了行业广泛关注。经测试,执行 site:johnmu.com 指令无任何结果返回,表明该站点已被彻底去索引。

事件经过与初步排查

针对此次异常,SEO从业者首先检查了 robots.txt 文件及元标签设置。尽管无法直接查看其Google Search Console后台确认是否存在手动操作,但多方迹象显示该站点确实受到了影响。约翰·穆勒本人也在社交媒体上幽默回应了这一突发状况,并表示正在积极处理。

去索引原因:robots.txt 文件中的技术隐患

约翰·穆勒随后在LinkedIn详细解释了问题根源。他指出,虽然 robots.txt 文件本身符合规范且爬虫理论上应能正确处理,但文件中隐藏的技术细节导致了意外后果。

双UTF BOM字节顺序标记问题

文件顶部存在双重UTF BOM(字节顺序标记)。对于robots.txt而言,若首行指令前意外出现第二个BOM,系统会将其视为指令的一部分,导致该指令失效。虽然顶部的注释通常会被忽略或可替换为空行,但这一隐蔽错误仍可能干扰解析器的正常读取。

Disallow指令与文件长度风险

文件中包含 "disallow: /robots.txt" 指令,旨在防止该文件被索引,这本身不会导致全站去索引。然而,由于该文件包含了大量用于测试RFC9309标准的测试数据,体积较大。当解析器在特定位置截断长文件时,若恰好在关键规则处中断,可能导致解析逻辑混乱。尽管同时存在 allow 和 disallow 规则时允许规则优先,但在极端截断情况下仍可能引发解析僵局。

问题解决与恢复情况

约翰·穆勒透露,通过Search Console工具进行调整后,页面虽已在索引库中但处于隐藏状态。美东时间3月14日下午1点,johnmu.com 已重新出现在谷歌搜索结果中,证实问题得到解决。

值得注意的是,直到数日后他才收到Search Console的相关通知。此次事件再次提醒站长,即使是微小的技术细节如BOM字符或超长文件截断,也可能对网站索引产生重大影响,保持配置文件的简洁与规范至关重要。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k