大数跨境

杰夫·迪恩:将谷歌搜索与大型语言模型的上下文学习相结合

杰夫·迪恩:将谷歌搜索与大型语言模型的上下文学习相结合 谷歌google快讯
2025-02-17
0
导读:达瓦克什·帕特尔采访了谷歌的杰夫·迪恩和诺姆·沙泽尔,他提出的一个问题是将谷歌搜索与上下文学习合并或结合会是什么样子。这得到了杰夫·迪恩引人入胜的回答。

达瓦克什·帕特尔在采访谷歌首席科学家杰夫·迪恩(Jeff Dean)与诺姆·沙泽尔时提出核心议题:将谷歌搜索与上下文学习相结合,将会呈现何种形态?杰夫·迪恩对此给出了深入解答。

核心概念界定

在探讨具体技术融合前,需明确两个关键术语:

  • 上下文学习(Context Learning):又称少样本学习或提示工程。通过在输入提示中提供示例或指令引导大语言模型响应,利用模型即时理解并适应查询上下文模式的能力。
  • 上下文窗口(Context Window):指模型单次处理或“记忆”的文本量(以Token计)。更大的上下文窗口意味着AI能处理更长输入,并将更多信息纳入输出决策。

搜索广度与模型深度的融合愿景

现有技术的互补性分析

针对“合并搜索与上下文学习”的提问,杰夫·迪恩指出当前模型虽表现优异,但仍存在幻觉与事实准确性问题。这源于训练数据规模庞大(数万亿Token),参数压缩导致信息模糊。相比之下,上下文窗口内的信息因Transformer注意力机制而精确清晰,模型能精准定位特定文本、视频帧或音频内容。

目前模型已支持数百万Token上下文,可处理数百页PDF、数十篇论文或数小时音视频。但理想状态是模型能关注数万亿Token,即覆盖整个互联网索引或个人全量数据(邮件、文档、照片等),在授权下辅助复杂任务。

算力挑战与技术突破路径

实现上述愿景面临巨大计算挑战。朴素注意力算法复杂度呈二次方增长,仅靠硬件堆叠无法扩展至数万亿Token级别。必须通过算法近似,使模型在概念上具备处理海量Token的能力。例如,为开发者提供全量代码库上下文,或将全球开源代码纳入模型视野。

杰夫·迪恩透露了多种公开的技术探索方向,包括各类密集检索方法、TreeFormer架构、高召回率近似Top-K估计,以及KV缓存量化技术等。这些方法的结合有望突破算力瓶颈,推动搜索与深度推理的真正融合。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k