大数跨境

微软研究院:用于答案排名的生成式检索

微软研究院:用于答案排名的生成式检索 搜索引擎报
2023-09-14
0
导读:微软研究院发布了一款新的对话式问答模型的详细信息,这可能指向网络搜索的未来

微软推出新型对话式问答模型GCoQA(Generative Retrieval for Conversational Question Answering),在速度与准确性上优于现有方法,同时显著降低资源消耗。该模型采用创新的“生成式检索”段落排名机制,研究人员计划进一步探索其在通用网络搜索中的应用潜力。

GCoQA核心原理:基于标识符的生成式检索

GCoQA利用自回归语言模型预测内容,其核心在于使用“标识符字符串”作为文档段落的表征形式。在维基百科数据集实验中,模型通过页面标题识别文档主题,利用章节标题定位段落内容,将结构化信息编码为映射到具体段落的标识符。检索到的段落随后输入另一自回归模型以生成最终答案。

分层束搜索排序机制

检索阶段采用“束搜索”技术生成多个标识符候选项,并依据语言模型分数进行排序,形成自然的段落优先级列表。这一过程本质上是“分层搜索”:先按页面主题筛选,再依章节标题对页内段落精排,确保上下文相关性。

性能优势:效率与精度的双重突破

对比测试显示,GCoQA有效克服了传统方法的瓶颈。其内存占用仅为当前主流模型的十分之一,推理速度显著提升,大幅增强了实际部署的便捷性。

得益于解码器模块中的细粒度交叉交互,GCoQA能更精准地关注对话上下文,在实际应用中兼具低内存消耗与高推理效率。

当前局限性与泛化挑战

尽管表现优异,GCoQA仍面临落地障碍。首先,“束搜索”限制了大规模段落的召回能力,且增大束宽会导致模型减速;其次,模型高度依赖规范的标题结构,而互联网大量网页缺乏准确的章节标注,导致其在非学术场景下的有效性存疑。

GCoQA严重依赖问题与段落标识符间的语义匹配。现实场景中问题的歧义性及标识符缺失,使其泛化能力仍需进一步验证。

未来研究方向与行业价值

研究团队提出两大优化路径:一是拓展生成式检索在无法直接获取标题标识符的广泛Web搜索场景中的应用;二是探索将段落检索与答案预测整合至单一生成模型,以深化内部关联理解。

目前,相关论文《用于对话式问答的生成式检索》已在GitHub开源。虽然GCoQA短期内未必直接应用于搜索引擎,但其展示了生成式模型重塑网络搜索的技术范式,为下一代智能检索系统提供了重要前瞻。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 2299
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.0k
粉丝0
内容2.3k