译自:Anthropic gave agents the ability to dream. Then developers woke up.[1]
作者:Adrian Bridgwater
在今年夏天于伦敦举办的 AI DevCon[2] 大会上,Anthropic[3] 技术人员 Lamis Mukta[4] 举办了一场题为“在睡眠中学习,超越记忆进入梦境”的 演讲[5]。
Mukta 旨在探讨在当前“上下文往往与模型智能正交”的环境下,最先进的内存管理应处于何种位置。
“我们刚发布的最新模型不会开箱即知如何在您的组织中取得成功,也不知道您想让它执行什么任务,”Mukta 说。“这就像智能体 [起初] 不知道如何处理代码库,也不了解您的用户偏好一样。”
为了正确引导代理服务,系统显然需要访问内存来创建上下文窗口。
Anthropic 内存管理简史
在介绍 Anthropic 内存管理的历史时,Mukta 表示,传统方法利用了 CLAUDE.md[6],这是一个 Claude 在每次对话开始时都会读取的文件(其中包含 Bash 命令[7]、代码风格和工作流规则),以赋予 Claude 无法仅从代码中推断出的持久上下文。
这种技术在一定程度上有效,但随着时间的推移变得难以管理,特别是当包含重要偏好的文件变得非常长时。
“因此,我们研究的第二个方向是内存工具,这很有趣,因为它倾向于这样一个想法:如果我们让智能体自主管理自己的内存系统会怎样?我们让他们决定何时读取、何时写入以及何时更新记忆,”Mukta 解释道。
这个过程发生在 in-band[8] 中,即在会话上下文内。当与所谓的 渐进式披露[9] 相结合时,智能体只会在第 1 层查看轻量级元数据,然后再分别获取第 2 层和第 3 层的内容和原始源文件,这样系统就不会使模型的上下文过载。
“我喜欢将其想象成我的房间里有一个书架,每当有人跟我说话时,我可以扫描一下我的书单,看看是否有标题与对话相关,然后在需要时把书从架子上拿下来阅读,”Mukta 解释说。
但这里的瓶颈在于,我们仍然由人类和智能体共同驱动,也就是说,我们对哪些东西需要技能仍然持有相当固执的看法。另一个问题是,记忆可能会变质,与组织的需求无关。再加上记忆文件可能被错误写入甚至被恶意注入,你就能明白为什么需要设置大量的防护栏。
“我们引入了‘梦境’的概念,这是一个在后台异步运行并分配了自身资源的过程,以确保记忆本身有效、最新,并 [帮助] 智能体随时间学习。”
梦境整合记忆并剔除无关信息
“所以我们引入了 梦境[10] 的概念,这是一个在后台异步运行并分配了自身资源的过程,以确保记忆本身有效、最新,并 [帮助] 智能体随时间学习,”Mukta 解释说。“[这个过程允许我们] 整合记忆并剔除不再相关的内容,添加智能体缺失的内容,并清理和组织内存系统。”
在 Anthropic 的沉睡世界中,梦境是一个带外异步过程,组织称其解决了带内限制问题,即智能体必须在完成和执行任务之间分配精力,同时还要为未来的自己整理记忆。梦境可以发现重复出现的失败模式(错误的单位、缺失的主题、损坏的工具配置、过度使用破折号等风格癖好),并提出内存更新建议,这些建议虽仍需人工审核,但希望能达到更高的效率水平。
这种架构支撑了 Anthropic 在此层面的托管智能体内存和 API 方法,那么这家前沿模型公司赢得开发者了吗?
错误的记忆可能比会话存活得更久
资深软件工程师、云架构师和 AI 智能体系统独立研究员 Jayakumar Ramalingam[11] 告诉 The New Stack,“梦境很有用,但它也创造了一条危险的晋升路径”,即导致从重复错误到持久策略的路径。
“错误的回答通常会随会话结束而消亡;错误的记忆却会影响未来成千上万次的会话。人工审核听起来让人放心,但在大规模部署中,它很容易变成无人有时间重构的推荐建议的‘橡皮图章’,”Ramalingam 说。
“业界花在将内存视为上下文窗口问题上的时间太多了,而它实际上是一个状态管理问题。”
他坚持认为,每个建议的记忆都应该“带有来源、证据和过期条件”,而不仅仅是作为一个看起来足够真实且频繁出现的模式存在。否则,他认为梦境可能会帮助智能体记住更多,同时让组织忘记为什么信任这些记忆。
“Anthropic 有一点做对了:其智能体内存应该看起来更像版本化的基础设施,而不是人工认知。业界花在将内存视为上下文窗口问题上的时间太多了,而它实际上是一个状态管理问题,”Ramalingam 强调道。
他的观点是——如果一个智能体不能显示是谁更改了记忆、为什么更改以及如何回滚,它就没有生产级内存,它就变成了一个带有 AI 的未审计配置文件。
梦境是针对错误证据的正确直觉
企业 AI 架构师兼 Besk Tech 创始人 Vladimir Beskorovainyi[12] 告诉 The New Stack,“梦境是针对错误证据的正确直觉”,因为通过它捕捉到的失败(错误的单位、损坏的工具配置、过多的破折号等)都是在记录表面可见的。
“真正让你付出代价的失败是智能体因一个当时看起来完全站得住脚的原因而选择了错误的工具,”Beskorovainyi 说。“在我投入生产的系统中,日志记录的是决策而不是 API 调用,这是这类审查能发现有价值东西的唯一原因。”
“当‘近期’因素悄然成为真理时。这使我们处于这样一个境地:版本控制告诉我们变动了什么和何时变动,而不是什么才是正确的。”
他指出了“智能体决策之下存在一个更严重的问题”,即如果更新建议来自最近的批次,内存存储会向智能体舰队最近发生的任何事情漂移,因此“近期”因素悄然成为了真理。这使我们处于一个境地:版本控制告诉我们变动了什么和何时变动,而不是什么才是正确的。
“业界花了两年时间坚称内存意味着向量嵌入,而 Anthropic 用文件系统和 grep[13] [一个在文件中搜索模式的 Linux 命令] 解决了这个问题,这是整个讨论中最有趣的决定,”Beskorovainyi 坚持说。
他认为这之所以重要是因为可读性。开发者可以打开并阅读的内存存储,就是工程师可以审计的内存存储,而且(他坚持认为)“没有任何向量数据库能做到这一点”,而架构中的其他一切(版本控制、哈希、分层权限)都是我们几十年来一直熟知的普通分布式系统工程。
梦境是聪明(但令人担忧)的部分
自动 AI 渗透测试公司 Penetrify[14] 的创始人 Viktor Bulanek[15] 告诉 The New Stack,当业界花了两年时间确信智能体内存是向量数据库问题时,Anthropic 推出了 grep,这是一件有用的事情。
“就 Anthropic 做对的事情而言……一个你可以 cat[16]、diff 和进行代码审查的内存存储才是真正可以操作的,而从来没有人成功调试过一个悄悄将错误的数据块排在第三位的嵌入,”Bulanek 说。
“Anthropic 对梦境的处理方式是聪明的部分,也是最让我担心的部分,因为它将一个自动写入程序指向会话记录,而记录中充满了智能体并未编写的内容。”
他认为版本控制在这里的重要性远超审计框架所暗示的,并提醒我们“回滚不是合规功能”;它是软件工程师在写入三周后发现被污染的记忆时的撤销按钮,这是每个认真的智能体部署最终都会遇到的事故。
“但为了保持平衡,Anthropic 对梦境的处理方式是聪明的部分,也是最让我担心的部分,因为它将一个自动写入程序指向会话记录,而记录中充满了智能体并未编写的内容,”Bulanek 警告说。
“Anthropic 认为人工审核是答案,这一点是对的,但当建议大多不错时,批量审查建议的差异正是最容易衰减的控制点。另一个差距是,在这个架构中没有任何内容说明存储的事实何时不再真实。版本控制告诉你发生了什么变化,它没有告诉你什么已经腐烂了,而关于一个上个月重构过的系统的自信笔记,比没有记忆还要糟糕,”他建议道。
Bulanek 的工作涉及在生产环境中运行自动智能体,这些智能体执行渗透测试,并针对实时系统进行数小时的无人监督运行,因此对他团队来说,内存既是运营成本,也是安全边界。
Anthropic 的做事方式有一种讨人喜欢的质朴
Noah Labs[17] 的联合创始人兼 CTO Berk Yilmaz[18] 告诉 The New Stack,在他看来,Anthropic 的做事方式有一种“讨人喜欢的质朴”。
“每个人都希望内存感觉像是机器智能的最新化身,他们的推销词大概是:给它一个文件系统、版本控制、可搜索性,不要让成千上万个进程互相踩踏,”Yilmaz 说。“这更接近生产级 AI 的实现方式。虽然我们花了很多时间改进模型,但配套的基础设施并没有跟上,在极其平庸的工程层面失败了。”
Yilmaz 所在的公司开发了一种用于政府和监管系统的 AI 原生 IDE,专为气隙环境和遗留代码库而构建。他提醒我们,一旦在 哪些过去的行为应该成为未来行为 上做出内存决定,记忆本身就不再是惰性的。
“一个在单次会话后就消失的幻觉是一个麻烦,但一个存活了上千次会话的幻觉就是基础设施。同样的事情也适用于安全;如果攻击成功写入内存,它就变成了持久的。来源证明在这里变得至关重要,系统是如何学到这一点的,从哪里学到的,谁认证的,我可以撤销吗?在企业 AI 中,有时遗忘是一种安全措施,”Yilmaz 补充道。
务实者会记得 Anthropic 是靠使用量而不是效率获利的
AI、产品和数据科学领导者、前 Meta[19] 员工 Kerstin Frailey[20] 告诉 The New Stack,从表面上看,梦境(在她看来)“目前听起来确实有可能引爆 AI 账单”。
“愤世嫉俗者会说,这是为了填补在 Anthropic 的 IPO[21] 之前因过度使用 token 而留下的收入缺口,”Frailey 说。“乐观主义者会期待一个设计得非常节俭的系统。务实者会记得 Anthropic 是靠使用量而不是效率获利的。熟练的从业者会进行增量试点,积极监控成本,并定期测试可衡量的改进。”
“作为一个不错的奖励,梦境也提供了潜在的系统改进。但其熟悉的先驱——垃圾回收和存储压缩——在比较上是确定性和受控的。”
她继续指出,梦境提供了清理和整合功能,她将其定义为任何不断生成新文件的系统的“合理发展”。
“作为一个不错的奖励,它也提供了潜在的系统改进。但其熟悉的先驱——垃圾回收和存储压缩——在比较上是确定性和受控的。与它的同名物或那些类似物不同,梦境看起来既不便宜也不高效:支付 AI 完成工作一次,然后支付 AI 定期审查、修订和重构它,”她补充道。
作为 Anthropic 托管智能体内存和 API 方法的一部分,梦境并非个例。AI 模型梦境(如果我们正式一点,就是自动带外背景内存整合)的概念也正在被 OpenAI[22] 推广到 ChatGPT、有状态智能体编码平台 Letta[23] 和其他地方。
这里的底线可能是一种认识,即在 AI 建模术语中,记忆实际上就是维护。
引用链接
[1] Anthropic gave agents the ability to dream. Then developers woke up.: https://thenewstack.io/anthropic-agent-memory-dreaming/[2] AI DevCon: https://tessl.io/devcon/[3] Anthropic: https://thenewstack.io/anthropic-claude-text-watermark/[4] Lamis Mukta: https://www.linkedin.com/in/lamis-mukta/[5] 演讲: https://x.com/i/status/2085338685747167652[6] CLAUDE.md: http://claude.md[7] Bash 命令: https://www.freecodecamp.org/news/bash-scripting-tutorial-linux-shell-script-and-command-line-for-beginners/#heading-definition-of-bash-scripting[8] in-band: https://www.reddit.com/r/homelab/comments/xxenm0/whats_the_difference_between_inband_and_outofband/[9] 渐进式披露: https://docs.claude-mem.ai/progressive-disclosure[10] 梦境: https://thenewstack.io/anthropic-managed-agents-dreaming-outcomes/[11] Jayakumar Ramalingam: https://www.linkedin.com/in/jayakumarramalingam[12] Vladimir Beskorovainyi: https://vladimir.besk.tech[13] grep: https://thenewstack.io/the-grep-command-in-linux/[14] Penetrify: https://www.penetrify.cloud[15] Viktor Bulanek: https://www.linkedin.com/in/bulanekv/[16] cat: http://geeksforgeeks.org/linux-unix/cat-command-in-linux-with-examples/[17] Noah Labs: https://www.noahlabs.ai/[18] Berk Yilmaz: https://www.linkedin.com/in/berkyy/[19] Meta: https://thenewstack.io/meta-abandons-llama-spark/[20] Kerstin Frailey: https://www.linkedin.com/in/kefrailey/[21] Anthropic 的 IPO: https://www.wsj.com/tech/ai/anthropic-tries-to-shore-up-investor-confidence-ahead-of-blockbuster-ipo-0ff736ad[22] OpenAI: https://openai.com/index/chatgpt-memory-dreaming/[23] Letta: https://docs.letta.com/configuration/memory

