具身智能体不再失忆！智源新记忆系统让机器人秒变熟人，支持终身记忆

每次跟 AI 开聊都像重新认识一个陌生人，还得从头开始了解。

现在不用重新教了，新记忆系统让具身智能体秒变熟人。

智源研究院（BAAI）、Spin Matrix、乐聚机器人与新加坡南洋理工大学等联合提出了一个全新的终身记忆系统——RoboBrain-Memory。

RoboBrain-Memory 让机器人成为一个真正“有记性、更懂你”的实时智能伙伴。

RoboBrain-Memory是全球范围内首个专为全双工、全模态模型设计的终身记忆系统，旨在解决具身智能体在真实世界的复杂交互问题，不仅支持实时音视频中多用户身份识别与关系理解，还能动态维护个体档案与社会关系图谱，从而实现类人的长期个性化交互。

下面具体来看。

RoboBrain-Memory 核心架构以三大异步进程与两级记忆体系为基础，实现“记忆”的可存、可联、可用。

1、三大异步进程：支撑用户建档、识别、个性化对话全流程

RoboBrain-Memory 记忆单元（Memory Unit）以文本形式存储每个用户的档案信息，包括姓名、相关事实、对话历史、性格偏好信息等。

除此之外，用户之间的社交关系图或其他文本参考信息也可以作为可选项进行存储。这些记忆单元的内容会作为上下文实时地插入主对话的多模态 token 流的固定区段内，从而实现个性化对话。

具体说，RoboBrain-Memory 设计围绕三大异步进程展开，模拟了人类的记忆形成机制：

• 检索进程（Retrieval Process）

  检索进程赋予了模型卓越的感知能力。通过视觉（人脸）与听觉（声纹）检索用户档案库，让系统能实时“认出”对话的你；同时，文本检索则根据聊天内容，从用户档案库中捞取相关事实与关系。

• 全模态交互进程（Omnimodal Interaction Process）

  对话进程结合对话上下文与检索到的用户档案，调用主模型生成个性化、实时的语音回复。我们使用 RoboEgo（https://arxiv.org/abs/2506.01934v1）作为主模型。它不仅具备全模态交互能力，其原生全双工架构更是实现了“毫秒级”的响应延迟。这意味着与模型的对话可以像真人交流一样自然流畅。该模型在日常对话中的回复内容质量也与Qwen-2.5-Omni等顶尖模型持平。

• 记忆管理进程（Memory Management Process）

  记忆管理进程主要承担两项记忆管理功能：（1）从历史视听流中自动检测对话边界，并提取关键信息，形成事件记忆（Episodic Memory），结合该信息与当前用户已有的档案，对记忆单元进行更新。（2）在后台整合已有的记忆内容，提炼出新的记忆，通过自我更新实现记忆重塑（Memory Reconsolidation）。

2、两级记忆系统：从个人档案到社交图谱

RoboBrain-Memory 将记忆信息划分为 Level-1 和 Level-2 两个层级。

Level-1：个人档案记忆，记住“你是谁”

它如同每位用户的专属资料库，精准记录从历史对话中获知的用户姓名、喜好等关键信息，确保AI能识别并理解每一个独立的你。其运行机制如下：

• 身份识别：对话过程中定期通过匹配人脸和声纹，确定当前对话用户。

• 人格注入：在对话用户切换时，将新用户的档案置入模型的固定内存区（Level-1 MemChunk）。

• 个性化回复：模型结合实时视听流和当前用户档案，生成个性化回复。

• 档案更新：定期通过总结用户的对话内容，异步更新其个人档案。

Level-2：关系驱动记忆，理解“你们的关系”

在Level-1基础上，它进一步构建了用户之间的社交记忆网络。这使得AI不仅能看懂个体，更能洞察群体，并能在对话中主动调用个体间关系信息，让交流更符合社交情境。其运行机制如下：

• 继承与扩展：完全继承Level-1所有功能，并新增以三元组形式存储的用户关系图。

• 主动检索：模型可根据对话上下文，主动生成查询来检索关系图和相关用户档案。

• 增强回复：检索到的关系信息被置入另一个固定内存区（Level-2 MemChunk）。

• 综合生成：模型结合实时视听流、个人档案和关系信息，生成更合理的回复。

• 图谱更新：记忆管理系统在更新个人档案的同时，也会相应更新用户关系图。

为了支持异步进程+两级记忆系统这一核心架构，团队开发了三个关键子模块：

1. 全模态检索系统

通过高效的人脸识别（Retinaface+Facenet512）与声纹识别（微调 WavLM），系统可实时精准地识别用户身份，并自动为新用户创建档案。文本检索采用 BM25 和 BGE-small 向量模型，实现关系查询和事实检索的两阶段融合，显著提升了多用户、多关系场景下的信息检索效率与准确率。

2. 视听流终身记忆管理

引入 RQ-Transformer 触发器，实现对音视频流的序列标注，精准定位每一轮对话的起止。结合大模型能力，系统可自动完成事件总结、档案与关系图谱的动态更新，实现记忆的持续进化和自我修正。

3. 基于监督 mask 的统一训练框架

通过合成多用户“听、说、文本”三轨 token 流，系统进行大规模数据增强。在训练阶段，采用分时区监督 mask 对多种任务的数据组织结构进行统一，赋予模型个性化对话生成、主动查询和对话边界识别三大能力。

能力验证

系统能力通过多项权威评测全面验证：

• 检索性能：在人脸识别（LFW）、声纹识别（VoxCeleb）及自建多用户文本检索测试集上，分别取得 98.4% 准确率、<1% 等错误率（EER）及 96% 以上文本 pass@5，响应延迟低于 0.2 秒，满足实时需求。

• 对话边界识别：在自建多用户数据集上，触发器模块在 0.4 秒容错下识别率超 98%，且具备出色的抗噪声能力。

• 个性化对话能力：经 RoboEgo 主模型微调，在噪声环境下实现 87.6% 事实正确性和 8.82/10 回答质量，系统吞吐速率 >20fps，远超实时语音对话需求。

这些结果表明，RoboBrain-Memory 不仅在标准评测下表现优异，更在真实多用户、复杂环境下实现了稳定、可靠的终身记忆与个性化交互。

RoboBrain-Memory  为具身智能理解人类意图与社会关系提供了一个新的起点。系统已在实现个性化、社会化的长期人机协作方面展现出潜力，并具备以下关键场景的应用前景：

• 融入家庭环境：系统能够识别并利用家庭成员间的社会关系模型，支持执行高阶、非结构化的语义指令，例如“将药物递给奶奶”“下午提醒爸爸买菜”。

• 提升专业协作效能：在高协作要求的专业环境（如实验室、工厂、医院等），系统能够基于身份和角色的指令（“把报告交给张主任”）精准响应，优化人机协作，提升工作效率。

• 支持认知辅助：该系统的长期记忆框架有望作为认知辅助技术的基础，帮助有需要的人群更有效地进行社会连接和任务管理，也让更自然、更有温度的长期伙伴关系成为可能。

作为智源研究院探索具身智能如何融入人类社会环境的一次重要尝试，RoboBrain-Memory 也开启了一个重要的研究前沿：如何将这种基于社会记忆和关系的理解能力，转化为可泛化、可信赖的长期人机伙伴关系？

我们期待与学界及产业伙伴一道，在家庭、医疗、科研等更广泛的场景中，深化对 RoboBrain-Memory 系统的探索，推动技术扎实落地，让机器真正融入生活，读懂你我。