一项发布于arXiv的最新预印本研究探讨了调整搜索结果中来源顺序对AI搜索引用的影响。研究发现,原始数据中排名第一的结果被引用频率约为第五名的两倍;但在调换匹配来源顺序后,该影响显著减弱甚至归零。该研究基于GPT-5.4搜索代理与Exa搜索引擎,采用离线对话重放模式,未涉及实时网页编辑。
测试方法设计
研究人员向GPT-5.4代理输入130个常见问题,要求其执行独立网络搜索并记录消息及结果。从转录文本中筛选出支持同一事实且出现在相同搜索结果中的页面组合,以排除内容相关性干扰,确保引用差异仅源于模型对来源的认可度分配。最终确定113对有效样本,经人工核查确认其中103对为真实匹配。
实验通过四种方式重放对话:将配对页面分别置于上下位置,并以纯段落或结构化(含标题、列表、表格)形式展示文本,仅重新生成最终答案。测试文本由AI重写原始页面生成,主要由Grok 4.3完成,GPT-5.4作为备用,并经独立审核确保事实一致。需注意,该测试比较的是两个重写版本的效果,并未完全隔离格式差异的影响。
原始位置差距大于交换效应
在初始搜索结果中,首位页面被引用率为85.1%,第五位仅为42.8%,两者相差42.3个百分点。此处的“位置”特指Exa单次搜索返回结果的排序,而非Google排名或实时网络位置。由于搜索引擎通常将高相关度页面置顶,原始差距同时反映了位置优势与内容质量。
当研究人员将页面在配对中向上移动时,其被引用概率增加7.9个百分点,但经多重检验校正后不具备统计显著性。另一组56对的纯顺序交换测试显示,效应估计值为0.0点(95%置信区间为-5.4至+5.4)。这表明虽然位置在某些情境下影响引用,但基于原始位置数据的平均值并不稳定可靠。
结构化重写获得更多认可
相较于纯段落形式,带有标题和列表的结构化重写页面平均每份答案多获得0.50个引用标记(95%置信区间为0.20至0.84)。尽管总引用数未变且另一页面引用量基本持平,但这表明引用更集中于结构化页面。结构化文本使页面被引用的可能性提高4.5个百分点,但该结果尚不具决定性,因研究仅能可靠检测约8.5个百分点以上的效应。
在严格控制变量仅调整布局的测试中,全量数据显示引用率提升,但在子集测试中效果出现反转。作者强调,这应被视为对归因敏感性的警示,而非确定的优化策略。
模型随机性导致结果波动
使用相同输入重测120个响应后发现,目标页面是否被引用的结论在15%的案例中发生变化。平均计数效应在重跑中保持一致,估计单次运行效应的变异约有45%源于模型随机性。建议在进行引用测试时多次重跑并报告结果一致性。此前SparkToro的报告也指出,相同提示下ChatGPT和Google AI概览生成相同品牌列表的概率不足1%。
研究局限与行业启示
本次测试显示的原始位置差距远大于顺序交换的平均效应。结合Ahrefs五月报告(含JSON-LD结构化数据的页面被AI引用可能性高出三倍,但添加该数据并未直接增加引用),当前单一答案作为判定引用得失的基础较为薄弱。此外,由于本研究仅针对已检索文本进行重写,排除了爬取与排名过程,无法证实格式化实时页面能否直接提升引用率。
未来研究方向
研究人员在Grok 4.3上复现了保存的搜索,发现结构化重写倾向一致,但其首次回复遵循正确引用格式的比例不足一半。未来研究需扩大测试频次,探索不同搜索引擎提供商与模型,并重点关注引用发生频率及页面被引用的确定性。

