Google 10月23日更新URL与robots.txt技术指南：连字符、下划线和百分号编码，正在影响网站抓取规则的准确性

官方更新日期：2026年10月23日 · 监测日期：2026年10月24日（北京时间）

官方来源：Google Search Central Documentation Updates、Google Crawling Infrastructure Changelog

更新性质：URL结构最佳实践与robots.txt技术规范说明更新。非排名算法更新，未宣布新增抓取或索引机制。

2026年10月23日，Google在两份官方技术文档更新日志中，分别记录了与网站URL管理有关的调整。

第一项涉及URL结构。Google进一步解释，为什么建议在URL中使用连字符（-）分隔单词，而不是下划线（_）。

第二项涉及robots.txt。Google补充建议，在Allow和Disallow规则路径中使用百分号编码（Percent-Encoding），以提高与第三方工具及服务之间的兼容性。

Google明确说明，这两次文档调整都是为了与官方视频系列《The Non-Canonical Cabinet》的内容保持一致。 

这不是新的Core Update，也不是Google宣布开始处罚使用下划线的网站。

但对于使用WordPress、拥有大量产品页面、多语言目录和自动化发布流程的外贸独立站，这次更新值得认真理解。

因为它涉及两个容易被忽视的技术问题：搜索引擎如何识别URL中的词语边界，以及网站如何准确表达允许和禁止抓取的路径。

一、Google为什么再次强调使用连字符，而不是下划线？

Google在10月23日的Search Central更新日志中，将第一项变化命名为：

Updated guidance on crawlable URL structures.

官方说明，此次更新主要是澄清URL中使用连字符和下划线分隔单词的指导原则。

Google在《URL structure best practices for Google Search》中建议，URL中的多个单词应尽可能使用连字符分隔。

例如：

推荐

https://example.com/portable-ferris-wheel/

不推荐

https://example.com/portable_ferris_wheel/

Google给出的理由是，连字符能够更清楚地表示单词之间的边界。

而下划线在许多编程语言中，通常用于连接应当作为一个整体理解的概念。例如format_date这样的函数名称。

因此，Google建议在URL中使用连字符，帮助用户和搜索引擎更容易识别其中的不同概念。

但这里需要明确：Google并没有宣布下划线URL无法被索引，也没有说明仅仅替换分隔符就能够提高排名。

二、为什么这对外贸独立站具有实际意义？

外贸网站通常包含大量英文产品名称。

例如工业设备网站可能有：

portable-ferris-wheel

trailer-mounted-carousel

electric-control-system

amusement-ride-installation

这些URL不仅是页面地址，也能向访问者表达页面大致讨论的对象。

如果URL使用难以理解的编号，或者把多个英文单词完全连接起来，虽然不一定阻止Google抓取，但会降低URL的可读性。

对于新建网站，最合理的做法是从一开始建立统一规则。

例如产品页面采用：

/products/portable-ferris-wheel/

技术文章采用：

/guides/ferris-wheel-installation/

项目案例采用：

/projects/christmas-market-rides/

这样既有利于内容管理，也能够让网站目录结构保持清晰。

但这并不意味着URL越长、包含的关键词越多就越好。

Google在同一份官方指南中还建议使用简洁、具有描述性的URL，避免不必要的参数，并让URL符合实际受众的语言习惯。

对于外贸企业，URL应该首先准确表达页面内容，而不是成为堆积关键词的位置。

三、已经收录的下划线URL，需要立即全部修改吗？

不需要。

这是此次更新最重要的风险边界之一。

假设某个产品页面已经使用：

/portable_ferris_wheel/

并且获得稳定的Google搜索流量和客户询盘。

仅仅因为10月23日的文档更新，就把它修改成：

/portable-ferris-wheel/

并不一定能够带来实际收益。

相反，如果修改过程中没有正确处理旧URL，可能造成404、内部链接失效、Canonical不一致，以及短期抓取和索引波动。

Google此次提供的是URL命名最佳实践，而不是要求现有网站进行强制迁移。

因此，对于已经正常收录、运行稳定的页面，更合理的策略是保持现状。

如果企业本来就计划重构URL体系，再按照Google推荐的连字符规则设计新地址，并同步处理301重定向、内部链接、Canonical、Sitemap及多语言页面关联。

不要把一次文档说明更新，误解成必须立即执行的全站URL迁移任务。

四、第二项更新：robots.txt规则路径建议使用百分号编码

10月23日，Google Crawling Infrastructure Changelog还记录了另一项变化：

Updated guidance on robots.txt specifications.

官方说明，此次在robots.txt规范解释中补充了对规则路径进行百分号编码的建议。

百分号编码是URL处理中的一种标准表示方式。

例如，一个包含日文字符的路径，可以直接使用原始UTF-8字符，也可以使用对应的百分号编码形式。

Google官方文档给出了如下两种写法：

以及：

Google明确说明，这两种写法在其robots.txt解析器中会被视为等价。

原因是Google会按照相关标准，将原始UTF-8规则路径转换为适当的百分号编码形式，再进行匹配。

因此，此次更新不是说Google突然不再支持中文、日文等非ASCII字符。

恰恰相反，Google明确确认其系统可以正确解析原始UTF-8字符。

新增建议的重点是：使用百分号编码，可以让robots.txt文件更容易被第三方工具和服务正确处理。

五、robots.txt编码问题为什么容易被忽视？

对于只有英文URL的普通企业网站，这项变化可能并不明显。

但对于包含中文、日文、阿拉伯文或其他非ASCII路径的网站，情况有所不同。

例如，一个中文网站存在以下目录：

https://example.com/产品资料/

对应的百分号编码路径可以表示为：

如果企业确实希望禁止Googlebot抓取这一目录，可以根据实际需求设置相应的Disallow规则。

Google能够处理符合规范的原始UTF-8路径，但在CDN、WAF、自动化部署工具或其他系统之间传递规则时，不同工具对字符编码的处理方式可能存在差异。

采用标准百分号编码，有助于减少这些兼容性问题。

不过，实际配置时还需要避免错误的二次编码。例如，把已经编码的%E4再次错误处理成%25E4，可能改变规则所表达的路径。

因此，技术团队应该根据真实URL验证规则，而不是只看robots.txt文件表面上是否符合某种写法。

六、Google还明确了robots.txt路径匹配的技术边界

Google最新规范说明，Allow和Disallow规则会根据URL路径进行匹配。

路径具有大小写敏感性。

例如：

/Products/

与：

/products/

不应被简单假设为相同路径。

Google还说明，规则冲突时会优先采用更具体的匹配规则；在同等优先级冲突时，采用限制较少的规则。

这对企业网站尤其重要。

例如，网站希望限制某些动态搜索结果页面的抓取，却同时允许正常产品目录被Google访问。

如果robots.txt规则设计过于宽泛，就可能意外阻止重要产品页面。

反过来，如果规则过于宽松，又可能让Googlebot不断访问筛选、排序或其他低价值参数URL。

因此，robots.txt优化的关键并不是增加更多Disallow指令，而是保证每条规则都对应真实的URL结构和明确的抓取目标。

七、robots.txt不能替代noindex，更不能替代访问权限控制

此次更新还有一个容易被错误延伸的地方。

robots.txt主要用于管理爬虫访问。

如果某个URL被禁止抓取，Google可能无法读取页面正文，也可能无法读取其中的noindex标签。

但Google仍然可能通过其他网站或页面发现该URL，并在某些情况下展示URL本身。

因此，不能认为：

Disallow等于删除索引。

同样，也不能认为禁止Googlebot抓取某个目录，就意味着该目录中的资料已经受到安全保护。

对于客户合同、内部报价、技术机密和其他非公开资料，企业仍然需要真正的身份认证或访问控制。

这与URL是否采用百分号编码，是两个不同层面的问题。

八、这两项更新对SEO、GEO和AI搜索有什么影响？

从官方证据来看，此次更新主要属于技术SEO文档维护。

Google没有宣布新的AI Overviews或AI Mode排名规则。

也没有宣布使用连字符的网站会获得额外AI搜索曝光，或者采用百分号编码的robots.txt能够提升GEO表现。

但两项更新仍然具有基础设施意义。

搜索引擎需要通过URL发现网页，并根据网站提供的抓取规则决定能否访问相关资源。

如果URL结构混乱，或者robots.txt错误阻止了重要内容，那么页面就可能在搜索发现和抓取阶段遇到问题。

这也会间接影响网站参与需要相关网页被发现和处理的搜索体验。

不过，这种影响来自既有的抓取与索引机制，而不是10月23日新增了某种AI搜索排名因素。

九、对外贸独立站的风险判断

此次两项文档更新本身的直接风险较低。

Google没有宣布必须迁移现有URL，也没有要求所有网站重新编写robots.txt。

截至本次核验，Google Search Status Dashboard显示没有正在发生的官方搜索系统事故，最新状态时间为2026年10月23日18:10 PDT。

但对于以下网站，值得安排技术检查：近期进行过URL重构的网站、使用多语言目录的网站、存在大量筛选参数的产品站，以及通过插件或自动化系统动态生成robots.txt的网站。

真正需要关注的风险，是错误配置造成重要URL无法被正常抓取，或者在不必要的URL迁移中破坏原有搜索可见性。

十、企业现在最值得执行的工作

对于新建WordPress网站，建议继续使用描述性英文Slug，并以连字符分隔单词。

对于已经运行稳定的网站，不建议仅为了替换下划线而批量修改URL。

对于包含非ASCII路径的多语言网站，应当检查robots.txt是否采用有效的UTF-8编码，相关Allow和Disallow规则能否正确匹配实际路径。

如果robots.txt由WordPress插件、CDN或其他服务动态生成，还应核对最终公开文件，而不只是检查后台配置。

对于存在大量筛选、排序和参数URL的电商或工业产品网站，应当重点检查抓取规则是否准确，避免低价值URL消耗过多抓取资源，同时确保产品页和解决方案页没有被误拦截。

所有配置修改都应先在测试环境或针对代表性URL验证，再部署到生产网站。

结论：URL规则不是新的排名捷径，而是搜索基础设施的一部分

2026年10月23日，Google分别更新了URL结构最佳实践和robots.txt规范解释。

第一项强调使用连字符清晰分隔URL中的单词。

第二项建议在robots.txt规则路径中使用百分号编码，以改善与第三方工具和服务的兼容性。

两项变化都没有宣布新的排名算法，也不构成必须立即改造网站的技术要求。

对外贸独立站而言，真正值得长期坚持的是：

让URL清晰、稳定、可理解，让抓取规则准确、可验证，并避免不必要的技术变更。

一个网站能否持续获得有效搜索曝光，不取决于某个分隔符是否被包装成SEO技巧，而取决于内容是否具有实际价值，以及搜索引擎能否稳定地发现、访问和理解这些内容。