前几天看到 Richard Sutton 发的一条帖子:
2019年3月13日,Sutton 写下《The Bitter Lesson》,后来常被概括成“大力出奇迹”。七年多过去,他还在思考“新方法”。
Sutton 是现代强化学习的奠基者之一,任教于加拿大阿尔伯塔大学,也是阿尔伯塔机器智能研究所 Amii 的首席科学顾问。他与长期合作者 Andrew Barto 从20世纪80年代起,参与建立了强化学习的概念和算法基础,时间差分学习是其中的重要贡献。两人1998年合著的《Reinforcement Learning: An Introduction》,至今仍是这个领域的经典教材。2025年,ACM 宣布将2024年度图灵奖授予两人,表彰的正是他们为强化学习奠定的基础。
他也一直在研究一线。2017年,Sutton 参与创办 DeepMind 在阿尔伯塔的研究团队;2023年,他与 John Carmack 的 Keen Technologies 合作,继续研究通用人工智能。AlphaGo 背后的主要研究者 David Silver,曾是他的博士生。到2025年,两人又共同撰写《Welcome to the Era of Experience》,讨论 AI 怎样从与环境的持续交互中学习,而不只依赖人类已有的数据。
他与 Michael Bowling、Patrick M. Pilarski 在2022年共同提出的《阿尔伯塔人工智能研究计划》。他们想构建长期运行的 Agent,在与环境的交互中持续学习,并用学到的世界模型规划下一步。学习不只发生在预先划好的训练期,而要伴随 Agent 的整个运行过程。计划也直接引用了《苦涩的教训》,把可随计算扩展的方法作为研究重点。
按照这个计划,Sutton 团队 Openmind 与他山科技联合共建了北京首钢园的“机器人幼儿园”。希望机器人在安全环境中自己探索,通过行动、触觉和反馈积累经验。
《苦涩的教训》的影响,早已超出了强化学习圈。MIT 2024年深度学习课程在讲授 Scaling Laws 时展示了这篇文章;斯坦福2025年春季的 Econ295/CS323 课程,则把它列为第一讲的主要阅读材料。它没有发布新模型,也没有给出一张排行榜,却提供了一个不断被拿来重新审视 AI 进展的视角:我们究竟是在帮助系统发现规律,还是把自己的理解变成了它的边界。
从这条新帖子,到阿尔伯塔计划,再到机器人幼儿园,今天重读这篇短文,感慨良多:Sutton 仍在寻找能让机器持续发现和学习的方法。下面回到2019年的原文,以下是全文翻译。
苦涩的教训
Richard Sutton|2019年3月13日
回顾70年的 AI 研究,能得到的最大教训是:能够利用计算资源的通用方法,最终最有效,而且优势往往非常明显。其根本原因是摩尔定律,或者更准确地说,是它所代表的更一般的趋势:单位计算的成本持续呈指数下降。
大多数 AI 研究都仿佛建立在这样一个前提上:智能体能够使用的计算资源是固定的。在这种情况下,利用人类知识确实会成为提升性能的少数途径之一。但只要把时间拉长到略微超过一个典型研究项目的周期,可用的计算资源就必然会大幅增加。
为了在短期内取得有意义的进展,研究者会设法利用自己对某个领域的理解。但从长远来看,唯一重要的是如何利用计算资源。两者本不必相互冲突,实践中却往往如此。花在一条路线上的时间,就无法再花在另一条路线上;投入其中一条路线,也会让人在心理上认定并坚持它。依赖人类知识的方法还往往会使系统变得复杂,反而不利于采用那些能够利用计算资源的通用方法。
AI 研究者很晚才领悟这个苦涩教训的例子很多。回顾其中几个最突出的案例,很有启发。
在计算机国际象棋领域,1997年击败世界冠军卡斯帕罗夫的方法,依靠的是大规模的深度搜索。当时,大多数计算机国际象棋研究者都在尝试把人类对棋局特殊结构的理解融入方法,因此对这个结果感到沮丧。
当一种更简单、以搜索为基础、配合专用软硬件的方法被证明有效得多时,那些依靠人类知识的研究者并不太愿意服输。他们说,“蛮力”搜索也许这一次赢了,但它不是一种通用策略,而且人类下棋本来就不是这样。这些研究者希望依靠人类输入的方法获胜,结果并非如此,于是感到失望。
计算机围棋也经历了类似的研究进程,只是晚了大约20年。起初,人们投入了大量精力,试图借助人类知识或围棋本身的特点来避免搜索。但当搜索被有效地大规模运用后,这些努力都变得无关紧要,甚至更糟。
另一个重要因素,是通过自我对弈来学习价值函数。很多其他游戏乃至国际象棋也是如此,尽管学习在1997年那个首次击败世界冠军的程序中并没有发挥很大作用。自我对弈学习,以及更一般意义上的学习,与搜索类似,都能让系统利用海量计算。搜索和学习,是 AI 研究中利用大规模计算资源最重要的两大类技术。
无论是围棋还是国际象棋,研究者最初都把精力放在利用人类理解上,以减少搜索需求。直到很久以后,他们接受了搜索和学习,才取得大得多的成功。
在语音识别领域,DARPA 曾在20世纪70年代资助过一场早期竞赛。参赛方案中,有大量利用人类知识的专门方法,比如关于词语、音素和人类声道的知识。与之竞争的,是基于隐马尔可夫模型(HMM)的较新方法,它们更依赖统计,也进行了更多计算。结果,统计方法再一次战胜了依靠人类知识的方法。
这推动了整个自然语言处理领域的重大转变。在此后几十年中,统计和计算逐渐占据主导。近年来深度学习在语音识别中的兴起,是沿着同一方向迈出的最新一步。深度学习方法更少依赖人类知识,使用更多计算,并结合在巨大训练集上的学习,构建出了效果好得多的语音识别系统。
和游戏领域一样,研究者总想让系统按照他们所理解的自身心智运作方式工作,也就是把这些知识放进系统。但当摩尔定律带来海量计算资源,人们又找到有效利用它们的办法时,这种做法最终却适得其反,极大地浪费了研究者的时间。
计算机视觉也有类似的模式。早期方法把视觉理解为寻找边缘、广义圆柱体,或者用 SIFT 特征来表示。但如今,这些都被抛开了。现代深度学习神经网络只保留卷积和某些不变性的概念,表现却好得多。
这是一个重大的教训。作为一个研究领域,我们仍然没有真正学会,因为同样的错误还在不断重演。要看清这一点,并切实抵抗这种倾向,就得理解这些错误为什么如此有吸引力。我们必须接受这个苦涩的教训:把我们自认为的思维方式直接嵌入系统,从长远看是行不通的。
这个教训来自以下历史观察:(1)AI 研究者经常试图把知识嵌入智能体;(2)这在短期内总会有帮助,也会让研究者本人很有成就感;(3)但从长远看,它会进入平台期,甚至阻碍进一步发展;(4)最后,突破性进展来自另一条相反的路线——通过搜索和学习来扩大计算规模。
最终的成功带着一丝苦涩,而且常常没有被充分消化,因为胜出的方法,击败了研究者偏爱的、以人类为中心的路线。
从这个苦涩的教训中,我们首先应该认识到通用方法的强大力量:即使可用计算资源已经极其庞大,这些方法仍能随着计算的增加继续扩展。看起来能够这样持续扩展的两种方法,就是搜索和学习。
第二个普遍性的认识是:心智实际包含的内容复杂得惊人,根本无法彻底简化。我们应该停止寻找简单的方式来理解这些内容,比如用简单的方式理解空间、物体、多个智能体或对称性。它们都属于那个千变万化、本质上就很复杂的外部世界。
我们不该把这些内容直接嵌入系统,因为它们的复杂性没有尽头;相反,我们只应构建能够发现并刻画这种复杂性的元方法。这些方法的关键能力,是找到好的近似。但寻找近似的搜索过程,应该由我们设计的方法完成,而不是由我们亲自来做。
我们想要的,是能够像我们一样作出发现的 AI 智能体,而不是装着我们已经发现的知识的智能体。把我们的发现直接嵌入其中,只会让我们更难看清:发现的过程本身究竟如何实现。
参考链接
-
原文:https://bitterlesson.org/ -
阿尔伯塔人工智能研究计划:https://arxiv.org/abs/2208.11173 -
机器人幼儿园探访:https://www.beijing.gov.cn/fuwu/lqfw/gggs/202610/t20261015_4903291.html

