针对皮尤研究中心关于Google AI摘要的研究，业界对其方法论提出质疑。相关分析指出，该研究在AI摘要生成机制、样本量及统计可靠性等方面存在缺陷，导致结论有效性存疑。
Google官方回应：研究方法论存在偏差
Google发言人发表声明指出，皮尤的研究未能真实反映用户与AI摘要及标准搜索的实际互动模式。Google强调，用户正积极采用AI功能并提出更多问题，这反而为内容创作者创造了新的连接机会。
“人们正转向由AI驱动的体验，Search中的AI功能使人们能够提出更多问题，为人们连接网站创造了新的机会。这项研究使用了有缺陷的方法论和有偏差的查询集，不能代表Search流量。我们每天持续将数十亿次点击导向网站，并未观察到如所建议的那样在总体网络流量上出现显著下降。”
样本量过小缺乏代表性
前Bing员工Duane Forrester指出，皮尤研究的采样规模（900多名成年人和66,000个搜索查询）相对于Google每月近5000亿次的查询总量而言微不足道。仅基于0.0000134%的样本提取见解，在技术上属于不可忽略的舍入误差，难以真实反映现实世界的搜索情况。
统计数据可靠性评级偏低
根据皮尤研究中心方法论页面披露的数据，各年龄组统计结果的误差范围较大，整体可靠性不足：
- 18-29岁年龄组：误差±13.7个百分点，可靠性低；
- 30–49岁年龄组：误差±7.9个百分点，中等可靠性但范围仍宽；
- 50–64岁年龄组：误差±8.9个百分点，中低可靠性；
- 65岁及以上人群：误差±10.2个百分点，可靠性较低。
鉴于较高的误差范围，这些数据更宜被视为粗略估计，而非精确的现实世界反映。
跨月对比忽视AI搜索动态性
皮尤研究将用户3月的实际搜索查询与研究人员4月抓取的结果进行对比，这一方法存在根本性问题。Google AI摘要具有高度动态性，触发类型、细分领域突出度及用户趋势均随时间变化，且系统会优先展示视频和新闻等新鲜内容。因此，不同月份的搜索结果不具备可比性。
同一查询在不同浏览器呈现差异
AI概览不仅因用户而异，甚至在同一用户的不同浏览器环境下也会产生截然不同的结果。以下截图展示了针对“OpenAI 中的 RLHF 训练是什么？”这一查询的差异：
通过 Vivaldi 浏览器访问 Google AIO
通过 Chrome Canary 浏览器访问 Google AIO
如图所示，右侧链接列表、AI摘要内容及内嵌链接均不相同，进一步证实了跨时段静态比较方法的失效。
出版商流量波动源于搜索结果动态化
传统SEO习惯于静态排名位置，但Google AI概览展示的是动态结果。对于完全相同的查询，前排展示的站点可能各不相同。这实际上是Google响应行业诉求、扩大网站曝光范围的体现。出版商感知的流量不一致，正是搜索结果从静态向动态转变过程中的正常现象。