据报道，Meta正为其AI聊天机器人构建独立搜索引擎索引，旨在减少对Google生成式AI摘要的依赖。此举标志着Meta AI正迈向完全自主的AI搜索新阶段。
Meta-ExternalAgent爬虫引发关注
自今年夏季起，Meta通过名为“Meta-ExternalAgent”的用户代理大规模爬取互联网。多个论坛反馈该机器人存在过度请求现象，有Hacker News用户称收到高达5万次请求。尽管文档声明遵守robots.txt协议，但WebmasterWorld社区指出该机器人实际并未访问过该文件。
目前推测该爬虫早期版本尚未成熟，近期异常行为已有所缓解。其核心目标是抓取网页内容以生成搜索结果摘要，从而降低对Google和Bing等外部搜索引擎的依赖。
构建自有索引挑战Google搜索地位
现有迹象表明，Meta正通过自建搜索索引强化Meta AI能力，这或将成为向Google发起AI搜索竞争的前奏。据The Verge援引The Information报道，Meta正在爬取网站数据，用于在Meta AI中提供实时事件的AI生成摘要。
当前Meta AI虽呈现搜索引擎形态，但仍部分依赖Google索引。例如在查询世界系列赛第四场比赛时，系统生成的摘要包含准确信息并附带Google链接。
Meta AI结果展示与来源溯源
结果显示，Meta AI在提供答案的同时仍引用Google作为信息来源。
Meta AI结果特写截图
点击“查看来源”按钮后，弹窗内直接跳转至Google搜索结果页面。
Meta AI “查看来源”弹窗截图
