大数跨境

Google 的思维链提示技术可提升当前最佳算法的性能

Google 的思维链提示技术可提升当前最佳算法的性能 搜索引擎报
2022-05-13
0
导读:Google 公布了一项突破性技术的细节,该技术显著提升了 Google 最新前沿算法的能力

Google宣布在自然语言处理领域取得突破性进展,推出“思维链提示”技术。该研究显著提升了PaLM和LaMDA等先进语言模型的性能水平。

LaMDA与PaLM模型架构

本次研究基于两种核心语言模型:专注于对话应用的LaMDA,以及遵循Pathways AI架构的PaLM。

LaMDA专为对话搜索、语音助手等场景设计。PaLM则采用Pathways AI架构,旨在训练模型学习解决问题的通用能力。与传统机器学习模型仅能解决特定任务不同,Pathways架构使模型能够处理未见过的复杂问题,并能结合现有技能高效学习新任务。

“我们希望训练一个模型,使其不仅能处理多项独立任务,还能利用并结合其现有技能,更快、更有效地学习新任务。”

思维链提示的核心突破

研究论文指出,思维链推理实现了三项关键突破:

  1. 允许语言模型将复杂多步骤问题分解为一系列可执行的中间步骤;
  2. 提升模型内部流程的可解释性,便于工程师定位并修复错误;
  3. 具备解答数学应用题及常识推理的能力,原则上可解决人类能处理的任何文字类问题。

多步推理任务示例

以下为模型执行多步推理的典型示例:

问:食堂有23个苹果。如果他们用20个做午餐,又买了6个,那么他们现在有多少个苹果?

答:食堂最初有23个苹果。他们用20个做了午餐,剩下23 – 20 = 3个。又买了6个苹果,所以现在有3 + 6 = 9个。答案是9。

尽管PaLM已具备解释笑话等高阶能力,但思维链提示仍使其性能获得显著提升。Google表示,该方法利用语言特性,适用于任何人可通过语言解决的问题。研究发现,随着模型规模扩大,标准提示效果增长有限,而思维链提示则能带来显著的积极增益。

测试结果与性能表现

研究使用GSM8K和MultiArith两个数学应用题数据集对LaMDA和PaLM进行了测试。

在LaMDA模型上,单纯扩展规模带来的改进适中,但结合思维链提示后得分显著提高。在GSM8K数据集上也观察到了适度改进。

PaLM模型的表现更为突出:

图表显示,PaLM结合思维链提示进行扩展后,在MultiArith和GSM8K数据集上均获得巨大增益。研究人员称该结果达到了新的最先进水平。

“在GSM8K数据集上,当参数量扩展至540B时,PaLM展现出卓越性能。将思维链提示与540B参数PaLM结合,实现了58%的新最先进水平,超越了此前GPT-3 175B微调方案的55%。此外,通过自一致性方法(即广泛生成推理过程并取多数投票),准确率可进一步提升至74%。”

研究结论与展望

研究结论表明,思维链提示是一种简单且广泛适用的增强语言模型推理能力的方法。实验证实,思维链处理是模型规模的涌现属性,使足够大的语言模型能够执行原本具有平坦缩放曲线的推理任务。

这一发现有望激发基于语言的推理方法的进一步研究,并为Google改进各类语言模型、拓展任务处理能力提供重要技术支撑。

参考资料

Google AI文章

语言模型通过思维链进行推理

研究论文

思维链提示在大语言模型中激发推理(PDF)

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 2933
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.4k
粉丝0
内容2.9k