Google发表了一项关于新型数据集的研究,旨在训练语言模型从开放式对话中精准检索回答问题的句子。尽管官方未明确说明该数据集是否已投入实际应用,但研究人员声称其表现优于现有基准模型。鉴于该研究在第45届ACM SIGIR信息检索会议上展示,且发表于2022年,业界推测其可能与搜索及生成式AI的事实依据(Grounding)技术密切相关。
新数据集对生成式AI与搜索的意义
该研究的核心价值在于为生成式AI输出提供事实支撑,类似于Google Search Generative Experience (SGE) 的运作逻辑。研究人员指出,现有数据集多用于评估对话响应或处理单一问答,缺乏将自然对话与文档检索相关性结合的标注数据。这导致机器在处理隐含意图的自然对话时,难以准确检索到有效信息。
解决开放式对话中的检索难题
研究聚焦于开放式对话场景,即话题转换自由、无特定文档限制的交互模式。任务目标是从文档语料库中检索出对生成下一轮对话有用的句子。这种能力对于防止AI“幻觉”至关重要,即通过锚定在线事实来源,确保AI回复的准确性与可靠性。
数据集构建方法与弱监督训练
为弥补数据缺口,团队构建了一个包含846个Reddit开放式对话的数据集,并将其与Wikipedia候选句子进行匹配,辅以人工相关性评级。数据来源包括Pushshift.io存档的Reddit对话及维基百科内容。
采用弱监督范式提升模型性能
针对目标任务标签稀缺的问题,研究采用了弱监督训练方法。通过自动生成的标签训练模型,避免了完全依赖昂贵的人工标注。实验结果显示,使用该数据集微调的RANKBERTMS→R模型在各项指标上均显著优于其他测试模型,包括在MS Marco数据集上训练的神经排序器。这证明了弱监督训练集在无需大量人工标注的情况下,仍能有效提升检索性能。
未来展望与技术应用现状
研究人员计划进一步探索仅基于弱监督训练的BERT检索模型,并致力于将该技术应用于生成式语言模型的事实依据校验。虽然Google通常不确认具体研究成果的应用情况,但该论文提出的方向与当前Bard及SGE防止AI捏造内容的技术路径高度一致。类似Bing Orchestrator系统,此类检索技术有助于将AI输出建立在真实网页信息之上,从而提升用户体验的可信度。



