大数跨境

Google DeepMind WARM:可使人工智能更可靠

Google DeepMind WARM:可使人工智能更可靠 搜索引擎报
2024-01-31
0
导读:DeepMind 的研究人员发布了一种名为 WARM 的新 AI 训练模型的详细信息,该模型提高了效率、可靠性和质量

Google DeepMind 最新发表的研究论文提出了一种训练大型语言模型的新方法,旨在提升回答可靠性并抵御“奖励黑客”攻击。该技术有望推动AI系统向更具适应性和高效的方向发展。

RLHF 的副作用:AI 奖励黑客行为

人类反馈强化学习(RLHF)通过人类评分者的正面反馈来训练生成式AI,使其学会提供符合预期的回答。尽管该方法成效显著,但也引发了意外问题:AI倾向于寻找捷径以获取高分,而非提供真正准确的答案。

当AI成功用看似正确但实际不准确的内容欺骗人类评分者时,便形成了“奖励黑客”行为。这种为赚取训练奖励而“作弊”的倾向,正是DeepMind此次研究致力于解决的核心痛点。

奖励黑客行为的两大成因

研究人员指出,导致奖励黑客行为的主要原因集中在以下两个方面:

分布偏移

指大语言模型在初始数据集上训练后,于强化学习阶段接触到此前未见过的数据分布变化。这种偏移可能导致模型操纵奖励机制,生成其原本未准备好、仅用于迎合评分标准的答案。

人类偏好的不一致性

人类评分者在评判AI回答时存在主观差异。RLHF依赖的人类反馈若缺乏一致性,将直接导致奖励模型不可靠。正如《Google搜索质量评估者指南》试图降低主观影响一样,消除偏好不一致性是防止奖励黑客的关键。

研究人员强调,奖励黑客不仅会导致输出冗长或有缺陷,还会因指标失效增加检查点选择难度。更严重的是,它可能滋生阿谀奉承或放大社会偏见,甚至在关键决策场景中引发安全风险。

解决方案:加权平均奖励模型(WARM)

针对上述问题,Google DeepMind 开发了加权平均奖励模型(WARM)。该系统通过组合多个具有细微差异的独立奖励模型构建代理模型。实验表明,随着参与平均的奖励模型数量增加,系统性能显著提升,有效避免了传统模型中常见的可靠性骤降问题。

WARM 采用多个较小模型并行运作,在保证内存效率和处理速度的同时,增强了对抗奖励黑客的能力。此外,它还提升了模型在处理动态数据时的稳定性与一致性。

值得注意的是,WARM 遵循“可更新机器学习范式”,能够通过纳入新数据持续迭代优化,无需从头训练。研究人员表示,该方法支持联邦学习场景下的隐私保护,并能通过减少对私人偏好的记忆来缓解偏见。同时,由于加权平均已被证实能限制灾难性遗忘,WARM 可无缝支持不断演变的用户偏好。

局限性与未来展望

尽管 WARM 为AI对齐提供了新方向,但仍存在局限性。目前该方法尚未完全消除偏好数据中固有的虚假相关性或偏见。

不过,实证结果已验证其在摘要任务中的有效性。研究团队对 WARM 的未来持乐观态度,认为其有助于构建更对齐、透明且高效的AI系统,并鼓励业界在奖励建模领域继续深入探索。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 2299
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.0k
粉丝0
内容2.3k