最新版 Yoast 新增 llms.txt 迎接AI爬虫

Yoast SEO插件新增llms.txt一键生成功能，是否值得使用？

近期在教学过程中发现，Yoast SEO插件最新版本已支持llms.txt文件的一键生成。与网站的XML站点地图类似，这一功能无需复杂操作即可完成，节省手动编辑的时间和精力。

Yoast官方亦上传了用于AI爬虫抓取的llms.txt文件供参考（链接）。但请注意，仅限最新版Yoast插件支持此功能。

虽然该功能使用便捷，但从SEO专业角度来看，其实际效用仍存疑虑。llms.txt旨在帮助大型语言模型（LLM）更高效地读取网页内容，剥离无关代码噪音。然而，主要AI厂商如谷歌、OpenAI及Anthropic均未将其纳入正式抓取标准中。

主流AI平台对llms.txt的态度

• 谷歌（Gemini）： 明确表示当前没有任何AI系统实际使用llms.txt，甚至怀疑该文件的未来普及可能性。
• OpenAI（ChatGPT）： 其爬虫文档（如GPTBot）未提及该文件标准。
• Anthropic（Claude）： 虽在其网站内部使用该文件，但官方政策仍未承认其作为控制外部网站的标准机制。

核心建议

• 关注内容质量与HTML结构化：使用正确的标题标签（H1/H2等）、语义化标签和结构化数据（Schema.org）比依赖单一文本文件更为重要。
• 若Yoast插件可自动生成，不妨添加上。尽管效果未知，但无负面影响。