大数跨境

AI 推荐结果几乎每次查询都会变化:Sparktoro

AI 推荐结果几乎每次查询都会变化:Sparktoro 搜索引擎报
2026-01-30
0
导读:SparkToro 的研究发现,当使用相同的提示词时,AI 工具在超过 99% 的情况下会生成不同的品牌推荐列表。

SparkToro 最新报告显示,AI 工具在回答同一问题时,品牌推荐列表具有高度随机性。数据显示,ChatGPT 或 Google AI Overviews/AI Mode 在重复运行相同提示词时,返回完全一致品牌列表的概率不足1%。

该研究由 SparkToro 联合创始人 Rand Fishkin 与 Gumshoe.ai 创始人 Patrick O’Donnell 联合开展。团队于去年11月至12月期间,组织数百名志愿者在 ChatGPT、Claude 及 Google AI Overviews(未触发时改用 AI Mode)上执行了2,961次测试。

核心数据发现

研究选取厨师刀、耳机、癌症护理医院、数字营销顾问及科幻小说等12个跨品类关键词进行测试,每个提示词在各平台重复运行60至100次。结果显示,几乎所有回复在品牌名单、排序逻辑及返回数量三个维度上均存在差异。

Rand Fishkin 指出:“向 AI 询问百次品牌推荐,几乎每次得到的都是独一无二的结果。”

尽管 Claude 在生成相同列表方面表现出稍高的一致性,但其排序稳定性依然较低。目前没有任何主流 AI 平台达到可靠的可重复性标准。

用户提示词的语义差异

研究进一步分析了真实用户的提问习惯。在针对“旅行耳机”的测试中,142名参与者撰写的提示词语义相似度仅为0.081。Fishkin 将其比作“宫保鸡丁与花生酱”,即仅共享核心意图,具体表述截然不同。

尽管输入端差异巨大,AI 输出的品牌仍集中在特定范围内。在994次关于耳机的多样化回复中,Bose、Sony、Sennheiser 和 Apple 的出现频率高达55%-77%,显示出相对稳定的头部品牌池。

对 AI 可见性追踪的启示

鉴于结果的随机性,“AI 排名位置”作为单一指标的价值受到质疑。Fishkin 直言,宣称能提供精确“AI 排名”的工具缺乏可信度。相比之下,品牌在多次相似查询中的“出现频率”更具参考价值:在云计算等红海市场,头部品牌曝光稳定;而在科幻小说等宽泛领域,结果则更为分散。

这一结论与此前 Ahrefs 的报告相互印证。Ahrefs 数据显示,Google AI Mode 与 AI Overviews 在同一查询下引用不同来源的比例达87%。综合来看,无论是跨平台对比、平台内功能差异还是重复查询,AI 推荐系统在各个层面均存在显著波动。

研究方法论说明

本研究虽与 AI 追踪服务商 Gumshoe.ai 合作,但 Fishkin 已披露利益相关并坦承初始假设是“AI 追踪可能毫无意义”。为确保反映现实世界情况,调查未对用户 AI 设置进行标准化处理。完整方法论及原始数据已在公开网站发布。

需注意的是,该报告并非同行评审的学术研究。作者承认现有方法论存在局限,并呼吁行业开展更大规模的后续验证工作。

未来展望与建议

目前尚不确定需要多少次查询才能获得可靠的可见性基准,API 调用与手动提示的差异也有待验证。企业在评估 AI 追踪工具时应保持审慎,要求供应商透明展示其计算方法论及数据处理过程,避免盲目采信单一排名数据。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 986
粉丝 0
搜索引擎报 搜索引擎时报
总阅读129
粉丝0
内容986