今天的 Agent 产品可以处理上百万次对话，积累大量的数据，经验在大量产生，但直到下一次训练，模型能力没有随之增长。
人类不是这样学习的。
林敏和 Andrew Chen 都是持续学习领域的长期研究者。林敏是 AMI Labs 创始科学家、AMI Labs 新加坡负责人，负责模型的训练系统与底层基础设施。AMI Labs 是 Yann LeCun 离开 Meta 后联合创立的新公司，专注于构建真正理解现实世界的智能系统。
Andrew Chen 是 Mind Lab 创始人兼总裁。Mind Lab 是心洲科技（Mindverse）旗下的前沿研究实验室，希望通过 LoRA 和后训练，让模型从新的交互和任务经验中持续获得能力。7 月底，Mind Lab 发布了基于 GLM 5.2 进行后训练的模型 Macaron V1，使用混合 LoRA 架构，原生支持持续学习。
8 月，在新加坡的 AGI Playground 2026 舞台上，林敏和 Andrew Chen 进行了一场深度对谈。对于 Agent 应该如何把经验转化为能力、并在真实世界中持续学习，两人给出了不同的答案。
林敏更强调世界模型。他认为，失败轨迹和没有明确好坏标签的信息，同样可以帮助 Agent 理解环境如何变化、行动会带来什么后果。Andrew 更看重 LoRA 与策略模型，相信足够强的 Agent 能够区分不同轨迹，并把有用的经验写入参数。
两种路线背后，是关于持续学习的一系列基础问题：记住和学会究竟有什么区别？事实、习惯与因果规律应该存在哪里？模型如何在持续更新中避免遗忘？百万级 LoRA 与模型协作，能否成为扩展智能的新路径？
以下是对谈全文，由 Founder Park 编辑整理。
整理｜朱俊熹
编辑｜万户
01
从拥有经验到提升能力，
中间缺了什么
Andrew：目前 Agent 产品已经积累了大量的用户交互和对话历史，但模型本身没有改变，它们仍然无法从这些经验中学习。从「拥有经验」到「真正提升能力」，你认为最关键的缺失环节是什么？
林敏：通常我们会谈到两种记忆：短期记忆和长期记忆。短期记忆是我们存储在会话中的内容。对人类而言，存在某种机制可以把短期记忆转化为长期记忆，而且你甚至不会意识到这个过程何时发生。
但对当前这一代模型来说，中间存在一个缺口。短期记忆存在上下文中，但长期记忆可能需要等几个月，也许要等到下一轮预训练，才能把所有数据写入权重。我认为这就是最大的差距。
Andrew：我有非常类似的感受。从我的角度来看，这不仅仅是算法的问题，如何持续地将长期记忆更新到模型结构中，同样是一个基础设施问题。我们需要能够随时间更新模型参数的基础设施，按天、按小时、甚至按批次来更新。同时也需要足够好的模型来自动化这个过程。因为如果一切都由人类研究者来设计，我们的速度不够快，做不到持续化，也做不到为不同客户、不同用户做个性化。
你觉得记忆和学习有什么区别？和将知识压缩进模型相比，学习到底额外带来了什么？
林敏：从抽象层面看，我会说二者没有区别，一切都可以看作广义的记忆。你可以把人脑想象成一个黑盒。我们通过眼睛和耳朵不断接收经验，这些经验会留下信息，写入某种可以称为「记忆」或「磁盘」的地方。之后，我们就可以使用这些记忆完成有用的任务。
关键问题在于计算成本。例如早期有一类非参数学习（non-parametric learning），你实际上根本不进行学习，只是直接把数据存进一个列表。到了推理阶段，你就必须在列表中查找，复杂度可能达到 O(n²)。
对深度学习来说，训练成本可能更高，因为你必须进行许多个轮次的梯度下降，让数据转化为权重中的信息。但它的推理效率极高，实际上可以视为 O(1)：给出输入，一次得到输出。
这本质上是两种速度之间的权衡：一是以多快的速度增量更新记忆，二是以多快的速度检索并使用这些记忆。
Andrew：从我的角度看，我把「记住」和「学习」看成同一条连续谱的两端。极端的「记住」就是把所有东西写进硬盘，极端的「学习」是真正理解一个概念，包括它的认知层面。
这两个极端之间存在一条完整的连续谱。通过压缩，我们把概念与事实区分开来，把能力与知识区分开来，这就是学习的过程。这也是我们构建参数化记忆（parametric memory）的原因，让模型能够从事实中吸收概念。
我们做过一个非常有趣的实验。当同一事实从不同角度重复出现四次，一个概念就会从中浮现，语言模型也能够理解这个概念。我认为，这也是预训练背后的一部分原理。每个概念都会重复出现四次以上，Transformer 就能学习到底层分布。
02
KV Cache、LoRA、世界模型，
是承载记忆的不同形态
Andrew：事实、习惯和因果规律应该存在哪里？你会把它们各自存储在哪一层，外部存储、底层参数、世界模型，还是状态转移函数？
林敏：总体而言，它们都是难以区分的记忆形式。我们可以计算并存储 KV cache，也可以计算梯度并把它们写入权重。它们只是记忆的不同形态，主要取舍在于使用每一种记忆形式所需的成本。
我们可以想想循环神经网络。你有一个状态，每一步都更新这个状态。当前步骤的即时预测完全基于当前输入和状态。这意味着，从某种意义上说，状态就是当前计算的一个参数。从这个角度来说，我们其实无法真正区分参数与状态。我认为，整体上朝这个方向发展是有益的。
人类并不能清晰地区分短期记忆和长期记忆，二者之间没有明确边界。如果我们的系统中存在这样的边界，就应该努力消除它，让所有信息都能持续流入长期记忆。
Andrew：在「记住」的极端，我们把一切放进外部存储。在「学习」的极端，我们压缩信息，让模型学习概念与能力。效率连续谱决定了我们以多高的频率，将不同形式的记忆更新到机器智能中。
世界模型、状态转移函数、LoRA、KV Cache，以及线性注意力状态（Linear Attention States），都可以承载不同更新频率的记忆。
我们尤其看好 LoRA，因为发现它不仅效率非常高，同时也具有很强的表征能力。在不可变状态机基础设施上训练、部署和推理 LoRA 时，我们发现了很多优良特性。
林敏：我完全同意。想补充一点，我经常用数据库来举例，每当我们向数据库插入新数据时，成本是常数级的，只要追加到末尾即可。但这本身并不能帮助我们使用数据。使用数据需要查询，查询需要建索引，建索引大约是 log(n) 级别的成本。
LoRA 也是类似的逻辑。构建 LoRA 需要做训练，不是免费的，但使用时比 KV Cache 更容易检索和调用。
Andrew：在你们的持续学习架构中，如何防止新能力与旧能力冲突？对我们来说，我们用 LoRA，不同的能力进入不同的适配器，这些适配器从参数层面就是天然隔离的，在需要时才加载到基础模型中。你们怎么做的？
林敏：我认为目前还没有很好的解决方案。多年来，我一直在寻找一种算法，让我们能够在持续更新模型信息的同时，不干扰此前的经验。
理论上，我们可以通过贝叶斯更新做到这一点。如果你知道所有分布，就可以把先验更新为后验，同时保留全部信息。但在现实中，从理论到实现之间还有很大差距。
短期内，我们可能仍然需要依靠 LoRA 这类实用方法来改进模型。但从长期看，如果我们想实现真正的即时持续学习，我认为还需要某种根本性突破。
03
要让 Agent 持续进化，它该学会「怎么做」，
还是理解「为什么」
Andrew：持续学习意味着 Agent 会逐渐形成自己的行为方式，越来越偏离基础模型。谁有权决定它能学什么、不能学什么？如果 Agent 学了不该学的东西，能否可验证地让它「遗忘」？
林敏：总体而言，并不存在「坏信息」。从信息的角度，所有数据都是平等的。
我们知道当前的训练范式有两个阶段，预训练和后训练。在预训练阶段，我们从不说「这个数据不好，因为它是一条失败轨迹」或者「它包含了不好的行为」。Agent 只是学习所有这些信息，它只是信息。
然后是后训练阶段，价值观被引入进来。告诉 Agent「如果用户问怎么造炸弹，不要回答」。当我们谈论「谁来决定 Agent 是否应该学习」时，我们主要在讨论后训练，应该给 Agent 什么样的价值观。
在我们将模型部署上线并获得用户数据后，大多数微调只发生在后训练阶段。但我们很少把这些数据纳入预训练，或者纳入的过程极其缓慢、代价很高。在我看来，即使是失败轨迹也只是信息，都应该放进预训练阶段。
Andrew：是在世界模型的预训练中，还是策略模型的预训练中？
林敏：世界模型。在语言模型中，当我们做 next-token prediction 时，本质上就是在训练世界模型，预测下一个状态。但我们某种程度上通过微调把它复用为策略模型了。
Andrew：这就是我们观点不一样的地方，尽管大家都是研究持续学习的。我们通过 LoRA 把经验编码进参数。我们也相信，一个足够强大的编码 Agent 能够判断如何处理不同的轨迹和记录，比如在 DPO（直接偏好优化）中把坏案例作为负样本。我们有不同的方法来处理不同轨迹，所有轨迹都可以使用，只是使用方式不同。而你的方法强调，Agent 应该理解环境的因果结构。
如果 Agent 只进行参数更新、没有世界模型，这条路线的能力上限会在哪里？
林敏：世界模型本身也需要持续训练，所以本质上还是在更新参数。从世界模型的角度来看，不存在好数据或坏数据，一切都是环境状态转移。
我知道自己可以把这个东西扔到地上，这样做可能不好。但我仍然可以从这段经历中学习，我知道如果我这样做，它会掉下去。从世界模型的角度看，这条信息很有用，因为它会塑造你对这个动作的表征。你会形成一种表征，编码执行这个动作后将产生什么后果。有了这个表征，学习策略就会更容易。
Andrew：这个可以通过 DPO 来实现吗？比如把「扔到地上」作为坏的例子，把正确的操作作为好的例子？让 AI 自动识别好坏案例、分割数据并分别处理，只训练策略模型，不需要状态转移函数？
林敏：如果我们有标签，知道某件事是好是坏，那当然可以使用 DPO。但如果没有标签呢？每天都有很多事情发生，有些有明确的好坏标签，但有些处于中间地带，只是中性的新信息。你不知道它是好还是坏，它也许不适合在后训练阶段用来塑造策略。这时候，更适合放到预训练阶段，让世界模型单纯学习状态转移函数的形式。这条信息在后续部署中同样可能很有用。
04
Scale 智能，
更多模型、更复杂的协作
Andrew：在你们的设置中，至少有策略模型和世界模型。更多的模型是否会被引入？模型数量能否成为扩展智能的新维度？
林敏：我认为是的。你们使用 LoRA 的方式，实际上就相当于创建了许多模型。有了这样一个模型集成，就可以把当前请求路由给最适合处理这些信息的模型。从这个意义上说，我们确实需要更多模型。但模型越多，也意味着你需要训练一个非常强大的路由模型。
Andrew：你觉得学习设置中除了策略模型和世界模型，还应该有什么别的吗？有没有第三个关键要素？
林敏：从 AGI 理论的角度来看，也许只有状态转移模型，也就是我们所说的世界模型或环境模型。除此之外还有奖励模型，它与当前任务相关。策略是一个处于中间环节的辅助模型，帮助我们非常迅速地作出决策。
有了世界模型和奖励模型，你其实已经具备了所需的一切：可以进行规划，并从中得到策略。策略模型的作用是加速这个过程。
Andrew：所以抽象来看，世界模型就够了，因为奖励模型本身也是世界模型的一部分。
这是一个非常有趣的视角。我们都是做强化学习的人，一开始我们在语言模型上做可验证奖励，然后迁移到模型奖励，因为问题变得更复杂了，验证成本不是零。然后我们逐渐发现奖励模型和策略模型可以共享同一组参数，一些关键知识可以只被吸收一次到一组参数中，同时作为奖励模型和策略模型使用。
你觉得世界模型也会出现这种情况吗，最终成为一个统一模型的一部分？
林敏：完全有可能。对人类来说，奖励本身也是一种观察。比如你查看银行账户，看到很多位数字，于是感受到奖励，而它最初只是一个视觉输入。我们可以构建一个联合模型，描述所有变量如何共同演化。理论上，它们完全可以由一个巨型模型统一处理。
Andrew：回到策略模型数量的扩展，我们发现共享一个基础模型显著提高了整个学习设置的效率，因为共享知识只需要一次训练。
我们已经把 LoRA 扩展到了 10⁶，也就是百万级别。我们发现，协作性能与模型数量的对数之间存在近线性关系。
路由最近越来越流行，OpenRouter、Sakana 都在做路由。但我认为，路由只是模型协作的一种非常初始的形式。人类社会有非常复杂的协作机制，公司和组织就是为不同形式的协作而设计和建立的。我确实相信，协作机制将进一步推动智能发展的前沿。
05
模型会开始自我进化，
但还无法实现人类水平的持续学习
Andrew：往后看一年，你会用什么具体指标来判断一个 Agent 是否真正具备了持续学习能力？
林敏：关于这个话题，我的态度是短期悲观、长期乐观。
短期来看，我们大概能构建出可以适应、学习新知识、变得更强的系统。但我们没法真正实现人类水平的持续学习，也就是把一套学习规则写进机器后，工程师再也不去干预它，然后把它投放到真实世界中，让它与人类互动并自主学习。我认为，这种水平的持续学习需要某种根本性突破。
当前的深度学习范式更像是把所有数据按照 i.i.d.（独立同分布，Independent and Identically Distributed）方式打乱，离线训练许多个轮次，然后固定模型。但人类从来不是按照 i.i.d. 的方式学习。我们可能学习一个小时数学，然后再做完全不同的事。这是两种根本不同的学习范式。
不过从实践角度看，我仍然乐观地认为，我们会找到绕过部分问题的办法，也许是数据飞轮，或者其他工程方法。
Andrew：过去一年，在后训练、持续学习和世界模型方面已经取得了令人难以置信的进展。我觉得明年事情会加速发展。我们很可能看到能够自我训练、自我评估、自主设计实验的模型。它们发现更好的语言模型设计方法，判断哪些不良实践应该停止。我认为模型将在一年内开始改变自己。速度太快了，也许我们明年可以重新聊这个话题。
