大数跨境

Google 和 Bing 代表出席都柏林 IETF 会议,旨在改进爬虫与 AI 控制

Google 和 Bing 代表出席都柏林 IETF 会议,旨在改进爬虫与 AI 控制 谷歌google快讯
2024-11-08
0
导读:本周,Google 的 Gary Illyes 和 John Mueller,以及 Bing 的 Fabrice Canel 和其他可能来自这些搜索引擎的代表在都柏林停留,参加 IETF 121 都柏

本周,Google 的 Gary Illyes、John Mueller 与 Bing 的 Fabrice Canel 等搜索引擎代表齐聚都柏林,参加 IETF 121 会议。此次参会旨在推动 Robots Exclusion Protocol(机器人排除协议)的改进,重点聚焦于提升爬取效率及新增 AI 内容管控措施。

IETF 121 会议核心议题:优化爬虫协议与AI治理

Gary Illyes 此前曾在《Search Off The Record》播客中提及 IETF 相关工作。近期,John Mueller 在 LinkedIn 确认其出席都柏林会议,Fabrice Canel 亦证实到场并参与了非正式 SEO 交流活动。会议期间展示了多项关键提案,为搜索引擎抓取策略调整提供了重要线索。

管理 AI 内容使用的协议扩展

Fabrice Canel 提交了题为“用于管理 AI 内容使用的 Robots Exclusion Protocol 扩展”的文件。该文档对 RFC9309 进行了补充,明确指定了控制人工智能领域内容使用的新规则,旨在规范 AI 模型对网页内容的访问与训练行为。

基于访问目的的用户代理扩展

Gary Illyes 发布了《机器人排除协议用户代理目的扩展》。该提案在现有基于产品令牌前缀匹配或全局通配符匹配的基础上,新增了基于客户端访问服务目的的自动客户端规则,使网站能更精准地识别和管理不同用途的爬虫请求。

URI 级别控制与标头标准化

Gary Illyes 还提交了《机器人排除协议 URI 级别控制扩展》。该文档通过应用层标头和 HTML 元标签增强了 URI 级别的细粒度控制能力。同时,将相关响应标头从实验性空间(X-前缀)移出以实现标准化,并定义了多标头的可组合性,解决了此前无法组合使用的问题。

行业展望:参与标准制定塑造下一代互联网

上述提案均于 2024 年 10 月作为草案提交,反映了 Google 和 Bing 在提升抓取效率及应对 AI 挑战方面的技术方向。John Mueller 在会后呼吁技术人员积极参与标准组织工作,强调万维网的演进依赖于细节打磨,鼓励从业者投身其中,共同塑造下一代互联网基础设施。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k