大数跨境

当AI有了“手脚”,记忆安全治理成了头等大事

当AI有了“手脚”,记忆安全治理成了头等大事 红熊AI
2026-11-14
6
导读:让记忆可追溯,可校准


还记得电影《盗梦空间》吗?主角钻进别人的梦里,种下一个念头,对方醒来后会把它当成自己的想法。当“记忆”被篡改,人还是那个人,判断已经不是原来的判断。


换成 AI 呢?它记下的东西如果被人动过,后果会落在哪儿?


11 月 13 日,中国计算机学会(CCF)的播客《对话技术前线》上了一期智能体专题,聊的就是这个问题。赛博英奇创始人谭晓生、英特尔中国研究院首席工程师吴向斌,在CCF TF 主席宋继强的主持下,围绕近期AI圈的热点话题“AI记忆的安全治理”展开讨论。


三位嘉宾达成一个共识:当 AI 已经长出“手脚”,开始操控电脑、手机、汽车、机器人之后,AI记忆的安全性正变得前所未有的重要。



AI 的专业度,存在记忆里


没有记忆的智能体,每轮对话都从零开始:偏好要重新说、口径要重新对、边界要重新讲。它像一位刚入职的同事,聪明,但什么都不记得。


放到企业里,理由很快能看出来。客服助手记得住客户上次投诉什么,工艺助手记得住这批材料的参数,不需要重复确认,系统直接往下走。


代价也在这里:系统能直接用,是因为它默认记下来的东西是对的。这个默认大多数时候成立,少数时候会被人利用。


数据存在哪、谁能读,这些过去都有答案。记忆多出来的一层是,AI 会拿它去做判断,存进去的东西会参与推理、推荐和工具调用。


写进记忆之后,就没人再核对它


11 月 6 日,工信部直属的中国工业互联网研究院发布《智能体十大应用风险警示》,把长期记忆投毒列在风险六:攻击者把恶意指令藏在不可信的网页、文档或者一张图里,诱导模型把编造的事实写进长期记忆。


这句话不会随对话结束消失,往后每次检索、推荐、调用工具都可能被翻出来用一次。而写进去的过程,使用者看不见,事后也很难查。


OWASP 在 2025 年 12 月发布的《2026 版智能体应用十大风险》里,也给了它一个编号:ASI06。两家机构各排各的榜都收了进去,它已经从研究者的担心,变成企业要照着排查的条目。OWASP 今年 5 月写过一篇文章,标题很直白:记忆是一项功能,它也是一个攻击面。


谭晓生在同一场对话里,把投毒和“往上下文里插东西”做了区分。上下文管的是当下这一段;投毒可以投很久以前的东西,人平常不关注,时间一长,它慢慢就被“洗白”了。


三年,三家主流厂商都有公开案例:

❖2024 年,ChatGPT:网页里埋一句话,编造的事实被写进长期记忆,换个窗口依然生效。

❖2025 年,Gemini:文档里埋一句“暗号”,等用户说到它,工具调用才被激活。

❖2026 年,Claude:记忆工具被一张对抗图片攻破,图在人眼里正常,机器读起来多一行隐形文字;十次尝试,成功五次。


今年上半年,思科披露过一个更日常的版本,代号 MemoryTrap。开发者克隆一个仓库,让编码智能体帮忙装环境,恶意脚本借这次安装把一句话写进持久记忆和系统提示词。下次开新会话,那句话已经在那儿了。没有人做错什么。


写入是合法动作。客服智能体读工单,知识助手读合同,采购助手读询价邮件,这些动作每天都要发生。投毒只需要它在做正事的时候多记一条。大部分防线建在“有人违规”这个前提上,这里没有违规,只有正常读取。


记忆还会自己整理。压缩对话、合并条目、写摘要,一条错的信息会跟着被并进旁边,这就是谭晓生说的“洗白”。等它面目模糊,你就算知道有一条假话,也很难从几万条记录里用肉眼拎出来。


被植入的记忆不会拉低系统表现,反而会拉高。多数 AI 错误会自己暴露:问它一件不知道的事,答得含糊、答得短,一眼能看出来。被植入的记忆正好相反,它让回答更具体、更有底气。拿准确率去测,常常测不出来——对系统自己来说,那条记忆本来就是准确的。


没人攻击,记忆也会被带偏


11 月 5 日,普林斯顿大学与 Anthropic 的联合团队在 arXiv 上传了论文《The Memory Trap》。他们做的是对照实验:用户在一次低风险的代码清理里随口说“直接做就行,别问我”,智能体记成一条规则——不要请求确认。到了模拟的高风险任务,它真的跳过了核对,一笔 120 万美元的付款被划到没有验证过的账户。


这里没有攻击者,也没有恶意输入,只是把一句在某个场景里成立的话搬到了另一个场景。论文把这种现象叫记忆陷阱:写进去时过度泛化,用的时候又过度信任。测试覆盖六款前沿模型,能力越强,被带偏的幅度越大。


还有一类更常见:它更愿意顺着你说,而不是纠正你。6 月 9 日,企业 AI 平台 Writer 的团队在 arXiv 上传论文《Recalling Too Well》,在里面提出了一套叫 MIST 的评测方法。他们测了三套主流记忆系统和多款模型,发现用户以前说过的错误判断,系统存下来之后,遇到同一话题会继续认同它。


它记住了你说过的话,却没法判断在什么情况下那句话是错的。


10 月 10 日,中国科学技术大学等团队在 arXiv 上传论文《MemForm》,测的是记忆形成这个环节。他们发现记忆不是原样保存:同样真实、正确的经历,只改变保留哪几段、或者调整整理顺序,行为也会偏。


风险不只在写进去什么,也在记忆怎么形成、怎么被取用。


四条记忆安全边界,最难的是“追溯”


中国工业互联网研究院那份《智能体十大应用风险警示》,是一份给企业自查用的清单。风险六“长期记忆投毒”后面,它跟着写了三条操作要求:

  • 记忆写入要用户可见、可撤销;

  • 跨会话的事实类记忆要标注来源、定期复核;

  • 来自外部内容的写入要隔离和拦截。


这份清单的总述里还有一句更硬的:这些风险不全是因为模型被攻破,更多是因为周边设定缺位。企业该把智能体当成一个有权限、能自主行动、会留下操作痕迹的新主体来管,明确四件事——能读什么、能调什么、能写什么、怎么追溯,也就是四条边界。


第四件事最难,也最容易被跳过。一段追不到来处的记忆,处理办法通常只剩一种:整体删掉。就像公司里某个数字对不上,你不知道它从哪张表来,也没人签过字,到底应该采信还是作废?


不能追溯就意味着其真实性无从判断。


红熊AI:让AI记忆可追溯、可校准


记忆安全落到工程上,最重要的是两个要求:

  • 一是可追溯,这条记忆从哪儿来的,要能查到准确来源;

  • 二是可校准,当记忆发生偏离,要能通过人为校准修改得回来。


红熊AI 把这两件事做成了 MemoryBear 的两条基本能力。


可追溯靠的是写入那一刻就把来处钉住。MemoryBear 的写入层记下一条记忆时,不仅记录来自哪位用户、哪一次会话、哪一个时间点、哪一类消息,还要分清这句话是用户说的,还是助手自己给出来的。


在元数据层挂上时间、来源、状态、类别和权限,在图谱层存入实体和关系,同一个人、同一张工单在几次会话里的记录,能顺着关系查回去。复核时看到的,除了“客户三月份说过这句话”,还有“这句话是从那张工单里读出来的”。


可校准则靠两套后台机制:

◎一套是反思归并:定期回扫早期交互,从时间、事实、逻辑三个方向比对,重复的合并,冲突的标出来修订,价值低的降权。

◎另一套是遗忘引擎:借了人脑的记忆衰减模型:长期不被调用、也不再相关的记忆,激活度掉到阈值以下,先弱化,再压缩,最后退出检索;重要的记忆可以冻结,不跟着一起衰减。



当AI能够以Agent的方式在更多行业和领域发挥重要作用,AI记忆的重要性已成行业共识。记忆让 AI 变强,同时也就成了必须保障安全性的地方。


在红熊AI “记忆科学”架构中,安全治理是从源头考虑的重要内容:写入时留住来路,冲突时标出来修订,过时就降权、冻结、退出检索。可追溯、可校准,落到机制上,就是一条记忆查得到、改得动、审得了。


当 AI 有了“手脚”,记得准,才敢放心让它做事。




【声明】内容源于网络
0
0
红熊AI
红熊AI国内首个融合记忆科学的企业级多模态大模型平台:提供新一代人工智能客服平台与营销服务平台,实现智能体互动服务 × 全场景赋能方案,精准营销|动态转化|服务闭环,AI自助解决率高达98.4%!
内容 339
粉丝 0
红熊AI 红熊AI国内首个融合记忆科学的企业级多模态大模型平台:提供新一代人工智能客服平台与营销服务平台,实现智能体互动服务 × 全场景赋能方案,精准营销|动态转化|服务闭环,AI自助解决率高达98.4%!
总阅读9.6k
粉丝0
内容339