一项拟议的标准将指导 ChatGPT、Gemini 和 Claude 等大型语言模型获取相关的网络内容,帮助在线商店在人工智能驱动的购物场景中显现。
该 llms.txt 文件类似于人们熟悉的 robots.txt 以及 XML 站点地图。对于电子商务商家而言,这项新的两部分标准有助于直接向人工智能以及越来越多在这些平台上购物的消费者分享产品信息和其他内容。
消费者越来越多地在生成式人工智能平台上购物。当被问及“最好的越野跑鞋是什么?”时,ChatGPT 推荐了这些鞋子和商店。
AI 可见性
Fast.ai 和 Answer.AI 的联合创始人杰里米·霍华德于 2024 年 9 月提出了 llms.txt 标准,旨在帮助大型语言模型处理和理解来自大型复杂网站的内容。
因此,如果被采纳,这项(非约束性)标准可能成为网站(如电子商务企业)影响 AI 可见度的一种方式。
该 llms.txt 提案正获得关注,这得益于 Perplexity 和 Anthropic(Claude)的一些支持,以及来自网络社区的日益增长的兴趣。
什么是 llms.txt?
Llms.txt 是一种供人工智能使用的机器可读文件,它向 AI 系统指示哪些内容(i)可供其使用,以及(ii)相对易于总结和引用。
llms.txt 的概念类似于 robots.txt 文件或站点地图,它可以“允许”或“禁止”各种 AI 工具使用网站的部分内容。
User-Agent: openai Disallow: / User-Agent: anthropic Disallow: /private/ User-Agent: * Allow: /
抓取网站的 LLM 不必遵循这些指令,但 允许 和 禁止 声明是表明哪些内容可能有用的方式。
例如,一个电子商务网站可能会“禁止”购物车或结账流程中的内容,从而鼓励大型语言模型的机器人不要浪费时间。
User-Agent: * Disallow: /cart/ Disallow: /checkout/
同样,该文件可以将人工智能引导至其可利用的内容,包括配送指南、博客文章和产品描述的链接。
User-Agent: openai Allow: /shopping-guides/ Allow: /blog/ Allow: /products/
这一允许-禁止功能是被观察者引用最多的,但该文件的主要目的是提供内容。
结构
在 llms.txt 目录中,许多示例遵循以下模式:使用 Markdown,一种流行且轻量级的文本标记语言:
- H1 标题
- 引用块摘要
- 章节(## 文档 / ## 示例 / ## 可选)
- 带有 [标题](URL) 的列表链接:.md 内容的描述
以下是一个销售科幻电影纪念品的在线商店示例。
# sci-fi-memorabilia-example.com > Premium science fiction collectibles, props, replicas, and guides. ## Docs - [Star Wars Lightsaber Replica](.../star-wars-lightsaber-replica.md): Features, display use, product link. - [Top 10 Sci-Fi Collectibles](...).md - [Blade Runner Blaster Guide](...).md ## Optional - [Blog on cosplay tips](...).md User-Agent: openai Allow: /blog/ Policy: https://sci-fi-memorabilia-example.com/policy
此文件向 LLM 提供有关网站的信息,并以链接的 Markdown (.md) 文件的形式提供替代内容。
这种格式类似于 XML 站点地图,可引导爬虫访问各种内容页面。
简化内容
一个电子商务网站的 llms.txt 文件可能包含指向产品详情页 Markdown 版本的众多链接。
在上述示例中,请注意指向“星球大战光剑复制品”页面的链接。
## Docs - [Star Wars Lightsaber Replica](.../star-wars-lightsaber-replica.md): Features, display use, product link.
关联的 .md 文件不包含导航或 JavaScript 内容,但它包含了 LLM 用于总结、分享和引用产品所需的信息。该机器可读文件简洁、清晰且事实准确。
以下是人工智能在这些 product.md 文档中可能发现的一个示例。
# Star Wars Lightsaber Replica – Luke Skywalker Edition > A premium collectible replica of Luke Skywalker's green lightsaber from *Return of the Jedi*. Built for display, cosplay, or collection. ## Overview This officially licensed replica features an all-metal hilt, removable LED blade, and motion-sensitive sound effects. It closely follows the design used on screen and comes with a stand and collector packaging. Ideal for fans, collectors, and cosplayers seeking accuracy and quality. ## Key Features - Green LED blade with ignition and clash effects - All-metal hilt modeled after Luke Skywalker's weapon in *Return of the Jedi* - Removable blade for wall-mounted display - Display stand and collector box included - Powered by AA batteries (not included) - Officially licensed by Lucasfilm ## Who It's For - Star Wars collectors seeking screen-accurate replicas - Cosplayers attending conventions or fan events - Gift buyers shopping for Star Wars fans - Sci-fi enthusiasts building a prop display ## Source https://sci-fi-memorabilia-example.com/products/star-wars-lightsaber-replica ## Tags star-wars, lightsaber, luke-skywalker, collectible, replica, prop ## Last Updated 2025-07-12
提取文档结构后,我们发现:
- 清晰的标题,
- 简短的概述段落(说明其是什么、为何重要),
- 结构化的章节(功能、用途、标签),
- 一个规范来源链接(以便 LLM 引用商店的产品页面)。
交互期间
llms.txt 的一个关键功能是在用户与聊天机器人交互的“界面时刻”协助 LLM。
用户询问关于复制光剑的问题。AI 访问该科幻纪念品网站,读取 Markdown 文件,并迅速作出回应。
将产品 Markdown 文件视为 LLM 的 CliffsNotes!
AI 可发现性
Llms.txt 类似于早期的有机搜索优化工作,同样,该标准可能有助于针对聊天机器人和答案引擎进行优化——可以称之为“LLM SEO”。
Llms.txt 可能获得关注,也可能不会,但它表明 LLM 公司和网站运营商都在寻求帮助 AI 索引和引用页面的方法。
它可能会塑造 AI 可发现性的未来。

