使用 AI 最让人挫败的时刻,往往不是它无法完成任务,而是每次开启新会话时,它都遗忘之前的纠正,重新踏入相同的误区。当前主流的外挂式检索方案仅能充当静态备忘录,无法将交互反馈转化为模型的长期经验与默契,这成为打造真正私人助理的核心瓶颈。
针对这一痛点,记忆张量团队正式开源 MemT 1.0 记忆原生大模型。与传统外挂方案不同,MemT 1.0 将记忆能力内化至底层架构,使模型具备自主读写、更新及调用记忆的能力,让经验积累真正成为模型核心算力的一部分。
把记忆写进模型骨子里:从“存日志”到“懂逻辑”
市面多数方案简单存储聊天记录,难以应对真实世界的动态交互。MemT 1.0 的技术报告展示了一项硬核测试:在包含约 6.6 万 token、超过 500 轮对话的长周期交互中,用户多次变更展览时间并提及未采纳的备选方案。传统外挂检索极易混淆闲聊与定论,而 MemT 1.0 在脱离原始文本的“闭卷”状态下,依然准确识别最终确定的周日场次,并清晰区分场地、票价等不变信息与已被否决的周一备选方案。
代码仓库:https://github.com/MemTensor/MemT-1.0
模型下载:https://huggingface.co/collections/MemTensor/memt-1
双核架构:通用认知与动态记忆分离
MemT 1.0 在架构设计上将模型能力拆分为两部分:
- 主干网络(通用能力):类似 AI 的出厂设置,装载对世界的通用认知。
- 动态记忆状态(独立记忆):相当于模型在具体交互中实时演进的“专属工作状态”。不同用户或任务间彼此独立,持续吸收新信息并直接参与后续生成计算。
面对海量交互信息,MemT 1.0 无需重新训练整个大模型,而是在每轮对话结束时,通过 Token 级别的更新机制刷新记忆状态。模型内置的门控机制可自主决断信息的留存与修改,从而过滤闲聊噪音,锁定关键决策(如日程变更)。
MoS 架构与高强度训练:精准取舍与高效存储
为实现精准的记忆取舍,团队投入 340 亿 Token 数据进行两阶段打磨:
- 继续预训练(200 亿 Token):让模型尝试利用历史片段预测未来。
- 后训练(140 亿 Token):引入教师模型对记忆提取进行打分,通过误差反馈优化模型表现。
在存储效率方面,MemT 采用固定体积的记忆状态,并通过 Mixture-of-Storage (MoS) 架构优化空间分配:基座 MoE 负责计算,多位“记忆专家”分头掌管存储空间的读写。这套组合拳在涵盖长期保留、动态更新等维度的 11 项系统记忆基准测试中表现优异:
- 性能领先:全程闭卷作答的 MemT-1.0-Flash 和 Nano 均分分别达到 50.6 和 47.0,领先同组最强参数化记忆基线 12.5 分和 8.9 分。
- 消融实验验证:移除后训练步骤,Nano 均分从 47.0 降至 36.3;将 MoS 记忆专家从 2 个扩充至 4 个,均分提升 2.7 分。
测试细节进一步印证了其高质量记忆能力:在未知用户生日时如实回答“不知道”,而非 hallucination(幻觉);在长对话中能准确依据早期设定的规则判断权限。知之为知之,记规则不漏细节,这是可用 AI 助理的及格线。
自我持续进化:从经验闭环到实战修正
更高级的要求是:过去的教训能否改变模型处理新任务的方式?团队在真实编程场景中构建了“任务反馈-经验沉淀-改善后续”的自我改进闭环。
第一阶段:学会“听进去”已有经验
团队从数万条成功轨迹中提炼经验,并在模型遇到报错或无效操作时注入匹配经验。通过筛选 4.2 万余条“补上经验后成功”的样本训练 MemT-1.0 Nano,使其学会将经验写入内部记忆状态,并在后续步骤中读取以修正动作。
在 SWE-bench Verified 500 项任务测试中,提前写入经验的模型平均成功率从 66.07% 升至 69.33%,三次全成率从 54.00% 提至 61.60%,表现与直接在上下文中塞入文本经验的对照组相当。这证明模型单靠内部记忆状态即可消化复杂的排错指南。
第二阶段:实战中“边干边学”
实战模式下,模型初始不带预设经验。当系统检测到报错或原地打转时,才当场将匹配的排错经验写入内部记忆。这种机制如同程序员在撞墙瞬间调出过往教训修复 Bug,并将过程提炼为新经验。
结果显示,该打法将平均成功率推高至 69.73%,三次全成率达 62.80%,双双超越文本经验组。在多语言 SWE-bench 测试中,成功率也从 60.00% 提升至 63.56%,三次全成率从 45.33% 跃升至 55.33%。
外部系统负责捕捉卡壳信号并提炼经验,模型依靠原生记忆能力内化修正。这套协同机制为智能体的自主持续演进奠定了底层基础。
工程落地:低成本实现“养成系” AI
长周期伴随应用面临的最大挑战是工程成本。传统方案随着上下文拉长,推理延迟和显存开销急剧膨胀。MemT 1.0 凭借固定体积的动态记忆状态,显著降低了边际成本。
- 推理速度:在双 GPU、单并发条件下,处理 64K、128K 和 256K Token 历史时,Nano 版本的端到端推理速度分别是完整上下文方案的 1.20 倍、1.86 倍和 3.99 倍。
- 存储效率:在 128K Token 历史长度下,恢复单条交互历史所需的持久状态存储仅为完整上下文 KV Cache 的约 1/66。
算力和存储负担的大幅降低,使得高频、跨周期的记忆读写具备了大规模工程落地的条件。在企业研发场景中,这意味着项目规范和排错套路可被模型内化为直觉,避免工程师反复“带新兵”,将技术投入转化为可复利的团队资产。
展望未来,无论是个人数字分身、慢病管理顾问还是个性化私教,这些强依赖时间厚度的应用都必须建立在记忆原生的底座之上。从 Memory³ 到 MemOS,再到如今的 MemT 1.0,技术重心正从横向的参数竞赛转向纵向的时间维度探索。
这是一种“养成系” AI:每一次纠正和反馈都沉淀为模型的能力壁垒。相比于随时可能被替代的通用基座,一个懂你习惯、陪你踩过坑的记忆原生模型,才是人与 AI 关系发生本质变化的起点,也是真正值得用户付费的未来。

