Google 正在测试 Web Bot Auth 实验性协议，旨在帮助网站验证自动流量来源的真实性。该协议为网站所有者提供了一种可靠方法，用以区分合法自动流量与伪装身份的机器人。目前，Google 已发布开发者支持页面，介绍如何在实验阶段使用该协议验证请求。
Web Bot Auth 技术原理
Web Bot Auth 在技术上被称为 HTTP Message Signatures Directory（HTTP 消息签名目录）。这是一项提议的技术标准，旨在实现网络服务间的信任自动化。它允许网站识别经过验证的自动服务，无需各方事先手动交换安全密钥。
与传统依赖名称、User-Agent 字符串或私有设置的方式不同，该协议提供了一种标准化的凭证展示机制。网站可通过可重复的方法检查自动请求是否具备有效验证。需注意的是，Web Bot Auth 仅用于确认机器人身份的真实性，不直接判定其好坏，但能为网站所有者提供更强的身份验证信号。
加密验证提升识别可靠性
加密机制是防止身份伪造的关键。恶意机器人常通过复制名称或 User-Agent 冒充合法爬虫，而 Web Bot Auth 要求机器人在显示身份标签的同时，必须提供网站可验证的加密凭证证明。
这种基于加密凭证的验证方式，比单纯依赖自我声明更安全可靠。它为网站提供了决策基础：允许通过验证的自动化服务，拦截无法证明身份的请求。尽管协议本身不自动执行放行或阻断策略，但能显著提升网站识别机器人的准确性。
当前处于实验阶段的注意事项
作为实验性协议，Web Bot Auth 类似于“白名单”机制，有助于隔离不受信任的爬虫。但目前仅部分流量（如 Google-Agent）适用，且 Google 尚未对所有请求进行签名。因此，缺少签名并不等同于恶意流量。
建议网站所有者在部署该协议时，继续结合 IP 地址和反向 DNS 解析进行验证，避免误阻尚未迁移的合法流量。
三步标准化发现流程
新标准通过以下三步流程取代了传统的手动配置：
- 标准化密钥文件：采用通用格式 JSON Web Key Set (JWKS) 存储密钥，确保所有服务器均可读取。
- 固定访问地址：定义特定路径 /.well-known/ 作为密钥存放的“主页”，便于统一检索。
- 自我标识请求：在 HTTP 请求中新增 Signature-Agent 头部，如同数字名片般指引接收方定位发送方的密钥目录。
对自动化服务与网站的价值
Web Bot Auth 降低了网站与自动化服务间手动配置的复杂度，使机器人验证更易扩展。同时，它为自动化服务提供了应对安全变更的一致性方案，有效避免因细节调整导致的验证中断。
使用建议与反馈渠道
Google 强调该标准仍为提案状态，可能发生变化。官方文档明确指出：
并非所有 Google 用户代理都已启用 Web Bot Auth；Google 尚未对该协议下的每个请求进行签名。建议在逐步推出签名流量期间，继续依赖 IP 地址、反向 DNS 及 User-Agent 字符串进行辅助验证。
若希望将实验性 AI 代理列入白名单，开发者或系统管理员可通过以下方式实施：
- 使用支持 Web Bot Auth 的产品或服务；
- 自行验证请求。
该协议致力于通过不可伪造的加密机制简化机器人识别与控制，改善当前机器人爬取失控的现状。Google 鼓励感兴趣的用户咨询网络托管提供商的支持计划，关注 Web Bot Auth 工作组的最新动态，并通过官方反馈表单提交意见。