Google搜索倡导者John Mueller近日明确表示，URL中的原始方括号与其百分号编码版本（%5B和%5D）属于不同的URL。尽管过去可能存在误解，但Google实际上会抓取这两个版本。若发现两者内容相同，搜索引擎将进行去重并选择其一。Mueller建议站长在所有链接、规范标签（canonical）、站点地图及结构化数据中保持格式统一。该规则同样适用于空格、加号及其编码形式。
编码方括号被视为不同URL的技术依据
Mueller指出，这一差异源于URI语法互联网标准RFC 3986。根据该标准第2.2节，方括号和加号属于保留字符集，将保留字符替换为百分号编码后的URI并不等效。此外，RFC 3986规定方括号仅用于包裹IPv6地址的主机名部分，因此在查询字符串中使用原始方括号在技术上也是无效的。
针对前Google员工Vanessa Fox关于“?filter[]=123”与“?filter%5B%5D=123”是否等同的提问，Mueller通过JavaScript检查证实两者返回false。但他同时强调，编码内的大小写不影响等效性，“%5B”与“%5b”遵循十六进制字符规定，视为同一URL。
Google的去重机制与最佳实践
当服务器对原始形式和编码形式返回相同页面时，Google会在内容甚至校验和层面判定其为“软等价”，进而执行去重操作。然而，浏览器可能会自动对用户输入的括号进行编码，而JavaScript等代码请求则可能原样发送。
为避免潜在问题，Mueller强烈建议在URL中使用括号时务必进行编码：“始终对其进行编码，永远不要直接显示[]。”这符合Google URL结构文档的要求，即支持IETF STD 66定义的URL标准，且保留字符必须使用百分号编码。
现有网站的处理建议与风险提示
对于已长期使用原始括号表示法且索引正常的网站，Mueller表示不必急于修改，因为转换成本较高且预计不会引发严重问题。但他明确不建议新网站采用此种结构。
关键注意事项包括：
- 内部一致性：需格外检查所有内部链接、rel=canonical标签及结构化数据元数据，确保指向同一版本的URL。
- 其他爬虫兼容性：鉴于Google十多年前曾遇到相关字符处理问题，其他爬取或索引程序可能无法像Google一样精确遵循此逻辑。
为何保持URL格式统一至关重要
若存在多个包含相同内容的URL版本，Google虽会自动选择其一，但结果未必符合预期。通过统一使用编码格式或原始格式，可提高搜索引擎选择的准确性。按照官方文档要求对括号进行编码是最佳解决方案。对于继续使用原始括号的存量网站，核心任务是确保内部链接与元数据的指向一致性。
未来展望与工具排查
Mueller建议站长主动检查重要爬取器和抓取器对带括号URL的处理方式，因为部分第三方工具可能缺乏Google般的精确度。此外，截至10月20日，涉及robots.txt话题的Google视频系列“非规范柜”第二期尚未发布，相关信息有待后续更新。