
达瓦克什·帕特尔在采访谷歌首席科学家杰夫·迪恩(Jeff Dean)与诺姆·沙泽尔时提出核心议题:将谷歌搜索与上下文学习相结合,将会呈现何种形态?杰夫·迪恩对此给出了深入解答。
核心概念界定
在探讨具体技术融合前,需明确两个关键术语:
- 上下文学习(Context Learning):又称少样本学习或提示工程。通过在输入提示中提供示例或指令引导大语言模型响应,利用模型即时理解并适应查询上下文模式的能力。
- 上下文窗口(Context Window):指模型单次处理或“记忆”的文本量(以Token计)。更大的上下文窗口意味着AI能处理更长输入,并将更多信息纳入输出决策。
搜索广度与模型深度的融合愿景
现有技术的互补性分析
针对“合并搜索与上下文学习”的提问,杰夫·迪恩指出当前模型虽表现优异,但仍存在幻觉与事实准确性问题。这源于训练数据规模庞大(数万亿Token),参数压缩导致信息模糊。相比之下,上下文窗口内的信息因Transformer注意力机制而精确清晰,模型能精准定位特定文本、视频帧或音频内容。
目前模型已支持数百万Token上下文,可处理数百页PDF、数十篇论文或数小时音视频。但理想状态是模型能关注数万亿Token,即覆盖整个互联网索引或个人全量数据(邮件、文档、照片等),在授权下辅助复杂任务。
算力挑战与技术突破路径
实现上述愿景面临巨大计算挑战。朴素注意力算法复杂度呈二次方增长,仅靠硬件堆叠无法扩展至数万亿Token级别。必须通过算法近似,使模型在概念上具备处理海量Token的能力。例如,为开发者提供全量代码库上下文,或将全球开源代码纳入模型视野。
杰夫·迪恩透露了多种公开的技术探索方向,包括各类密集检索方法、TreeFormer架构、高召回率近似Top-K估计,以及KV缓存量化技术等。这些方法的结合有望突破算力瓶颈,推动搜索与深度推理的真正融合。

