一项研究展示了德国在线商店在多大程度上为人工智能搜索做好了准备。仅商店系统本身就能产生很大影响。
柏林的SCM Creative Management机构调查了德国在线商店为人工智能搜索做好准备的程度。这种搜索方式正变得越来越重要,因为它们在Google和其他搜索引擎上的自然可见度持续下降。
这项名为《德国在线商店的人工智能准备情况,2026年11月》的研究基于来自德国访问量最高的10,000个网站(“顶级商店”)的1,505家商店的数据。此外,还从第10,001名到第100,000名的商店中随机抽取了1,000家商店(“广泛范围”)。数据收集截止日期为2026年10月31日。
近三分之一的顶级商店拥有有效的 llms.txt 文件
研究检查了哪些商店提供 llms.txt 文件、谁生成了该文件,以及谁通过 robots.txt 阻止 AI 爬虫。llms.txt 是 2024 年提出的一个建议:它是网站根目录下的一个文本文件,用于向语言模型总结网站上可找到的内容。它并非强制性标准。
根据研究结果,在 1,480 家顶级商店中,有 557 家(37.6%)明确提供了有效的文件。在更广泛的样本中,这一比例为 46.6%。并非所有响应都被计入统计。在 631 家顶级商店中,有 67 家在访问 /llms.txt 时返回的是 HTML 页面而非文本文件,此类情况未被计入有效结果。
Shopify 推高了比例
63.9% 的有效文件来自某个平台或插件,几乎都来自 Shopify。据 SCM 称,该平台会为每个商店自动生成 llms.txt 文件。在顶级商店中的 Shopify 商店里,96.6% 拥有有效文件,而其他所有商店的比例仅为 16.8%。研究作者此前预计这一比例不到 10%。
主要限制的是训练用途
9.2% 的顶级商店在 robots.txt 中至少屏蔽了十一种被评估的 AI 爬虫之一,在更广泛样本中这一比例为 5.5%。124 家顶级商店屏蔽了用于训练的爬虫,但未屏蔽用于搜索的爬虫。反之则仅有两家。受影响最频繁的是:
- CCBot (7,1 Prozent)
- GPTBot (5,8 Prozent)
- ClaudeBot (5,2 Prozent)
最多只有 0.7% 的顶级商店屏蔽搜索爬虫,最多只有 0.8% 屏蔽按用户请求执行的爬虫。这一比例实际上是一个下限:那些屏蔽所有机器人的商店也会屏蔽本研究的机器人,因此不会被计入统计。
商家可以检查的内容
- llms.txt:在浏览器中访问 your-shop.de/llms.txt。对于 Shopify 商店,该文件通常已经存在。
- 内容:模板以平台视角描述商店。商家需自行判断这是否符合其自身品牌形象。
- robots.txt:明确决定是否允许 AI 爬虫用于训练、搜索或两者兼用。过时的名称已不再起作用。
- 主机提供商或CDN:某些服务提供商会在网络上屏蔽AI爬虫,而这一情况并未在robots.txt中注明。

