技术深读 · 记忆
记忆长进模型里
MemT 把“学会”搬到推理时
从先学会再用,到边用边学
▲ MemT 1.0:让写入发生在推理时,而不是停工回炉
2026 年 10 月 20 日,上海一个叫“记忆张量”的团队发布了一个模型,叫 MemT 1.0。论文 66 页、15 张图、16 张表,最大型号 288B 参数,开源但禁止商用。同一天,中英文媒体密集报道。
这件事发生在一个更大的变化里。过去两年,让模型变强的主流办法是微调——收集数据、训练一轮、换上新权重。但这条路正在变窄:改权重会伤到模型原有能力,成本高,知识一更新还得重来。于是重心开始从“改权重”转向“改输入”。
记忆,就是“改输入”这条路上最激进的一支。而它真正诱人的地方,不是让模型记得更多。
是让写入发生在推理时——模型可能在干活的过程中就变强,而不是停工回炉。这句话听起来像宣传语。要判断它是真是假,得先回答三个问题:什么叫真正的记忆?MemT 到底换掉了什么?它离“自我进化”还有多远?
CHAPTER 01
什么才算记忆:三个概念必须分清
▲ 三层分野:上下文、RAG、记忆系统,什么才算记忆
市面上叫“记忆”的东西,大部分解决的是“这次能不能看到”,不是“下次还记不记得”。这个区别不先划清,后面所有的比较都没有意义。有三个经常被混用的东西,得先摆开。
01 上下文窗口是“这次聊天的桌子更大”。桌子大,能同时摊开的材料就多,但散场之后,桌上东西全收走。
02 RAG是“去数据库里找文档”。你问一个问题,它去外面把相关材料取回来,放进这次对话里。材料本身存在外面,模型只是临时读一遍。
03 记忆系统是“记住 Agent 和你一起经历过什么”。它关心的不是文档里写了什么,而是你们之间发生过什么。
三者的区别,用一句话概括:前两个解决“这次能不能看到”,第三个解决“下次还记不记得”。
那么真正的记忆是什么?可以给一个操作性定义:从对话和任务里挑出值得长期保留的事实、偏好和经验,需要的时候自己拿回来,情况变了还要更新旧结论。注意这里面有三个动作——挑、取、改。少一个都不算。
按这个标准看,传统 Agent 记忆主要有两种做法。第一种是外挂文本记忆,代表是 MemGPT、Mem0、MemOS:把记忆抽成文本,存进外部数据库,用的时候检索回来塞进上下文。第二种是长上下文硬塞,把所有历史都喂进去,指望模型自己从里面找。
这两种做法都有明显的天花板。记忆始终是“文本”,每次用都要重新读一遍——慢,而且贵。检索本身有噪声,塞多了又会触发 context rot(上下文越长,准确召回反而越差)。另外,Mem0 那些亮眼的成绩,很大程度来自云平台的专有优化,开源版本并不等同。
把上面这些做法放在一起看,会发现它们有一个共同的假设:记忆必须是文本,必须存在模型外面,用的时候再搬进来。这个假设在过去十年里几乎没被质疑过。但如果记忆可以不搬呢?
CHAPTER 02
MemT 换掉的不是效果,是记忆的载体
▲ MemT 的记忆通路:并联在主干旁边,不动主干本身
不搬文本,意味着记忆不能存在模型外面。这句话听起来简单,但它要求模型内部有一块地方,专门用来存放“经历过的事”——而这块地方,传统 Transformer 里并不存在。MemT 1.0 就是在这块地方上做文章。
它由上海的记忆张量团队在 2026 年 10 月 20 日发布,论文编号 arXiv:2610.26825,前作叫 Metis。两个型号:Nano 是 36B 总参数、激活 3B,基座 Qwen3.6-35B-A3B;Flash 是 288B 总参数、激活 17B,基座 DeepSeek-V4-Flash。开源,但非商用——论文用 CC BY-NC-SA 4.0,代码用 PolyForm Noncommercial,商用需要联系作者。
它的原理,可以这样理解:传统 Transformer 里,模型处理信息走的是主干通路。MemT 的做法是在主干旁边并联一条记忆通路,不动主干本身。
这条通路分成两层。Local Memory 是一组动态的多通道记忆矩阵,负责逐轮记录“刚发生过什么”;Hyper Memory 是可训练的记忆投影加上三个门——擦除门、写入门、遗忘门,负责决定“什么该留下、什么该抹掉”。读取的时候,把记忆状态加到主干注意力的输出上。
打个比方:它不是给助手配一个笔记本,而是给助手练出一种“手感”。经历过的事不用再翻本子,直接体现在反应里。
它省掉了什么
推理时不再把历史原文喂一遍。256K 历史长度下,端到端提速 3.99 倍,存储缩减约 130 倍。单会话的记忆状态大约 40 MiB,而传统方案要 5.06 GiB。
它换来了什么
SWE-bench Verified 上,平均成功率从 66.07% 提升到 69.73%。11 项记忆基准里,Flash 拿到 50.60、Nano 拿到 46.97,在参数化记忆这个赛道排第一和第二。
把人脑记忆和 MemT 摆在一起比
▲ 人脑与 MemT:四对得上,两相反
到这里,可以做一个对照。不是为了说它像大脑,而是把两边摆开,看看哪些位置对得上。
四对得上,两相反。这个分布本身就说明问题:它学的是人脑的组织方式,不是人脑的容量。
最结实的一条是快慢分层。人脑之所以要分两套系统,是因为“快速记住单个事件”和“缓慢提取统计规律”在数学上会互相干扰——这就是认知科学里的互补学习系统理论。MemT 之所以要分两层,是因为“逐轮更新”和“稳定可训练”在工程上也会互相干扰。两个完全不同的理由,指向了同一种分层。
而传统方案缺的正是这一层。RAG、向量库、上下文工程,做的都是“把文本搬来搬去”,记忆始终在模型外面。人脑不是这样,MemT 也不是。
这就是它比传统记忆方案更进一步的地方——不是记得更多,而是记忆的位置变了:从笔记本挪进了模型自己。
需要划三条界线,免得类比走偏。第一,那三个门是同一时刻并列的三个旋钮——写多少、抹多少、留多少,不是“编码、巩固、遗忘”的串行三段式。第二,论文里的 replay 指的是训练样本重放,和海马体的重放没有关系,不能混用。第三,以上对照是我们的解读,不是作者的主张——论文全文一次没提过大脑,这个相似是读者看出来的。
所以准确的说法不是“MemT 模仿人脑”,而是:它用工程手段,走到了人脑早就站着的几个位置上。
载体换了,省了、快了、准了。但最要紧的问题还没被碰到——这些记忆,是在什么时候写进去的?
CHAPTER 03
写入发生在推理时,不是训练时
▲ 写入时机:微调要停工回炉,MemT 每轮结束当场就记
MemT 与微调最关键的分野不在效果,而在写入时机——它不需要停工回炉。这个问题值得问清楚:是像微调那样,先收集数据、再训练一轮?还是就在它干活的过程中,边做边写?答案决定了它到底是一次工程优化,还是一次范式改变。
先看机制。论文里有一句关键表述:在每一轮对话或每一段任务结束时,稳定的 GDN-2 会做 token 级的记忆更新,供后续步骤使用。也就是说,每轮结束,记忆状态自动更新一次。更新靠的是门控机制——擦除门、写入门、遗忘门,加上 GDN-2 的递推更新。这是一次前向计算,不走反向传播,不回传梯度。
代价量级也因此完全不同:它和一次推理是同一个数量级,毫秒到秒级;而微调是小时到天,还要 GPU 集群、要重跑数据。
微调的流程是:停工、备数据、训练、部署新权重。在这个过程中,旧能力可能被覆盖——前面那个 29% 掉到 2% 的例子就是代价。MemT 的流程是:边干边写,下一轮立刻可用,主干权重不动,旧能力不受损。
一句话:微调是“回炉重造”,记忆写入是“边做边记”。
但这里必须区分两层,否则容易写飘。
准确的表述是:“记忆内容”是实时写入的,“记忆能力”是训练出来的。这个区分同时回答了两个问题:为什么不用微调就能记住新东西?因为内容进了 Local Memory,不碰权重。为什么不能无限自我进化?因为“怎么记、记什么、忘什么”这套机制,训练的时候就已经定死了。
再说容量。记忆状态对历史长度是 O(1) 的——论文原话是,交互不断累积,持久状态的大小保持不变。好处很直接:不会越用越慢、越存越大。代价,下一节说。
“边做边记”听起来已经很像人了。人也是这样:白天经历,当下就改了自己。但人和机器在这里有一个容易被忽略的分岔——人记得住的东西会越攒越多,机器的记忆状态却是固定大小的。这个“固定”,就是下一节要说的事。
CHAPTER 04
能写入,离自我进化还差一步
▲ 能写入离自我进化还差一步:O(1) 容量是那道选择题
MemT 学的是人脑的组织方式,没学到人脑的容量。这个差别不是小瑕疵,它直接决定了 MemT 现在能干什么、不能干什么。
第一件事:性能天花板,成对数据必须一起看
MemT 在参数化记忆赛道拿了第一(50.60),但这不等于整体第一。同一张表里,文本记忆方案的整体分数更高:MemOS 68.55、Mem0 65.53、Full Context 64.98。官方原文也承认这一点——强文本记忆系统整体仍然领先,尤其在需要精细证据检索的长历史上。
只看“第一”就下结论,会得出完全相反的判断。所以这组数据必须成对呈现:它在自己的赛道里领先,在总榜上还没赢。
第二件事:原因是结构性的,不是调参能补的
记忆状态是 O(1) 固定大小,历史再长也不涨。这意味着新信息要挤进已有的表征里,必然要在“保住旧的”和“记住新的”之间做取舍。论文自己也承认了这一点:由此带来的记忆保真度损失,仍然是一个挑战。
它给你的是“学出来的表征”,不是“被保存的记录”。前者更像直觉,后者更像档案。直觉快,但会失真;档案慢,但能对得上原文。
第三件事:进化边界,现在到底走到哪一步
这里要分三层,不能混为一谈。
01 能在线写入已经实现。信息在执行过程中进入模型,不需要微调。
02 能持续累积经验部分实现。论文显示,把检索到的过程性经验内化之后,agentic 任务的成功率有提升;但容量固定,新经验会挤掉旧信息。
03 能自我进化尚未实现。论文把“Local Memory 里积累的经验,能否通过再训练沉淀进 Hyper Memory 参数”明确列为未来工作。
这里可以回到人脑那个类比,但要说准。对照表里“巩固发生在睡眠期、离线”对应“每轮结束时、在线更新”,标的是相反。人脑是白天经历、夜里巩固,MemT 是每轮结束当场就记。它做到的是“即时记事”,还没做“离线巩固”那一步。要注意,差别不只是“它没做”,而是时机相反。这不是缺陷,是两种不同的设计取舍:人脑用离线时间换容量,MemT 用在线速度换即时性。
分寸在这里:说“它打开了自我进化的路径”是准确的;说“它已经能自我进化”就过头了。
CHAPTER 05
记忆长进模型里,意味着什么
MemT 这类尝试的意义,不在于它现在赢了谁。它在总榜上还没赢,论文自己也承认保真度是短板。它的意义在于,它把“记忆”从一种工程技巧,变成了模型能力的一部分。
这个转变听起来抽象,但可以这样理解:经历会改变你本身,而不只是改变你的笔记本。过去所有的记忆方案,本质上都是给模型配一个更好的笔记本。笔记本再厚、检索再快,模型本身没变。而 MemT 走的是另一条路——让经历直接写进模型里。这是过去只有生物才有的模式。
但也要说清醒。O(1) 的容量天花板意味着,“像人”和“记得准”之间,目前还是一道选择题。你选了固定大小的状态,就换来了速度和成本,代价是细节会失真。而“在线写入”和“自我进化”之间,还差一次沉淀——把 Local Memory 里的经验,固化进 Hyper Memory 的参数里。这一步论文还没做。
对企业的启示,可以归结为一个问题的替换:不要问“要不要上记忆方案”,要问“我要的是记得住,还是学得会”。前者今天就能买到——外挂文本记忆已经够用,成本也清楚;后者还在路上,而且它的代价是保真度。分清这两个问题,比追着“自我进化”的叙事跑,更有用。
最后
模型“学会”这件事,正在从训练室里搬出来。搬到哪里去,还没有定论。
但方向已经清楚了:从“先学会再用”,变成“边用边学”。
你的工作流里,更需要“记得住”还是“学得会”?
留言说说你的场景——是查得到就够,还是希望它越用越懂你?
点赞 · 在看 · 收藏 三连,我们下篇见

