大家好，我是 SEO 小平。近期在利用 Codex 和 Hermes Agent 等工具部署网站时，我习惯使用 Screaming Frog 进行全站 SEO 诊断，并配合谷歌官方 pagespeed.web.dev 优化工具提升用户体验。
值得注意的是，谷歌最近在其检测工具中新增了针对 AI 智能体的体验标准——“智能体浏览”。
此前谷歌官方曾明确表示 llms.txt 并非 SEO 或 GEO 排名因素，且搜索引擎爬虫极少抓取该文件。为何如今谷歌检测工具又将其纳入优化标准？以下为您深度解析。
一、谷歌立场看似矛盾，实则是团队职能不同
许多人误以为“谷歌”代表单一声音，实则其内部团队职能独立且目标各异。
搜索团队：llms.txt 不影响收录与排名
负责搜索抓取与排名算法的团队态度始终如一：谷歌搜索体系（含传统搜索结果及 AI Overviews 生成式搜索）不使用、不依赖、也不参考 llms.txt 进行排名。
原因很简单：搜索引擎的核心是公平评判全网内容质量。若仅凭站长提供的“自我介绍”赋予权重，该文件极易沦为堆砌关键词的作弊工具，重蹈 keywords 元标签被淘汰的覆辙。谷歌具备强大的页面解析能力，可直接读取网页真实内容，无需额外摘要。因此，试图通过 llms.txt 提升搜索流量或 AI 搜索曝光，纯属徒劳。
Lighthouse 团队：关注 AI 代理的浏览体验
PageSpeed 背后的 Chrome/Lighthouse 团队核心指标从来不是排名，而是浏览体验。过去关注真人用户的加载速度与交互流畅度，如今新增了一项：AI 代理访问网站的效率。
什么是 AI 代理（AI Agent）？
即当前广泛使用的 Claude Code、Codex、Hermes 等工具。它们是未来能替代用户执行任务的 AI：如替采购商寻找供应商、替消费者比价下单、替用户调研对比资料。与真人不同，AI 代理厌恶冗余内容、忌惮算力消耗且容易定位出错。
对它们而言，llms.txt 犹如一张精简导览图，清晰标注首页、产品页及联系方式位置。有了这张图，AI 无需全站爬取即可高效获取信息，节省时间与算力，降低出错率。
结论非常明确：
- 想靠它提升搜索排名？无效，无需投入精力。
- 想让未来的 AI 代理更顺畅地访问网站？有效，但优先级适中。
二、llms.txt 的本质：网站的“导览手册”
若将 llms.txt 与大家熟悉的 robots.txt 对比，其定义一目了然：
- robots.txt：网站的“门禁规则”。强制规定爬虫可进入与禁止进入的区域，合规爬虫必须遵守。
- llms.txt：网站的“导览手册”。在 AI 进入网站后，引导其快速定位核心内容与重点页面，仅起辅助作用，不具备强制性。
这是一个置于网站根目录的普通 Markdown 文件，通过标题、链接和简短描述梳理核心业务与重点页面。AI 读取后，数秒内即可理解网站主旨及关键路径，无需解析充斥导航、广告及冗余代码的 HTML 页面。
三、PageSpeed"AI 检测”的核心指标解析
此次新增的“智能体浏览”检测主要涵盖两大类内容，站长可根据自身情况针对性优化。
第一类：基础优化项，维持现状即可
这三项本是常规优化指标，只是从“对人友好”延伸至“对 AI 友好”，大多数网站已达标。
- 无障碍功能树格式正确
指语义化 HTML、规范的标签结构及正确的 ARIA 属性。这不仅利于屏幕阅读器和 SEO 基础分，也是 AI 代理识别按钮、表单及标题的依据。保持现有规范即可让人与 AI 共同受益。 - Cumulative Layout Shift (CLS) 布局稳定性
作为 Core Web Vitals 的经典指标，衡量页面加载时元素是否跳动。对真人是体验问题，对 AI 则是致命缺陷：若 AI 计算坐标点击“提交询盘”时页面突然插入广告导致按钮移位，将直接导致操作失败。保持 CLS 在优秀区间即可。 - llms.txt 符合规范
此为可选项目，缺失不会扣分（显示“不适用”）。但若部署该文件，格式必须规范：需包含且仅包含一个一级标题，链接采用标准 Markdown 格式，内容长度适中，否则检测会报错。
第二类：开发中项目，暂不计分
剩余三项涉及 WebMCP 相关标准，官方明确标注“仍在开发中，可能会变化”，且目前不计入评分。
WebMCP 可理解为给网站表单、按钮及功能模块贴上"AI 可识别标签”。未来 AI 代理无需猜测输入框或提交键的位置，只需读取标签即可知晓如何填写询盘表单并提交。
这对独立站未来想象空间巨大，可实现 AI 客户自动发询盘、查价格。但在标准未定、不计分且无实际流量影响的当下，无需急于全站改造，仅需选取核心表单测试了解规则即可。
四、落地实操：三种建站场景避坑指南
关于是否部署 llms.txt，建议务必执行。该技术门槛低、成本几乎为零，利用 ChatGPT、Claude、Gemini 或 Codex 等工具几分钟即可完成。随着 AI Agent 在写站、 coding、市场调研及数据抓取中的深度应用，现代网站正逐渐转变为“写给 AI Agent 看”的形态。因此，首要任务是让 AI Agent 能够“看见”并理解你的网站。
针对不同建站场景，具体做法如下：
1. WordPress 站点：Yoast 一键生成，需人工复核
自 Yoast SEO 25.3 版本起，已原生集成 llms.txt 生成功能。后台路径为"Yoast SEO → 设置 → 站点功能 → AI 工具”，开启开关即可自动生成。
需注意以下两点：
- 自动内容未必精准：默认抓取基石内容、最新文章及热门分类，可能包含大量无关博客内容。B2B 独立站建议切换至手动模式，仅保留首页、核心产品页、关于我们、联系我们及 FAQ 等高价值页面，避免稀释重点。
- 生成不等于过检：早期版本生成的链接格式或标题层级可能存在瑕疵。开启功能后，务必访问
你的域名/llms.txt，确认格式规范无误。
2. 自研开发站点：AI 辅助生成，三步核对
无论使用 Astro、Next.js 或其他框架，只需将网站结构与核心页面链接提供给 Claude、Codex 等工具，几分钟即可生成规范初稿。
生成后人工核对以下三点，可规避 90% 的问题：
- 开头有且仅有一个 H1 标题（品牌名或站点名）；
- 所有链接均采用
[页面名称](url)的标准 Markdown 格式，严禁直接裸露 URL； - 仅收录公开可访问页面，杜绝混入后台、内网或测试页链接。
全流程耗时约 10 分钟，工作量极小。
3. Shopify 站点：平台原生适配，无需手动创建
Shopify 已于 2026 年 5 月全站上线 AI 代理适配体系，超越了单纯的 llms.txt。
目前访问 Shopify 站点的/llms.txt会自动重定向至/agents.md。这是平台官方的 AI 代理说明文件，默认同步店铺名称、核心品类及产品目录索引，商家无需手动创建。