能写代码、能读论文、能把你三年的周报重新排成一份述职材料的 AI 大模型,却可能算不准一道不超过三位数的简单加减法。
别不信,普通的加减法 AI 当然会算。但如果每一个数量关系都藏在跨时间、跨轮次的对话细节里,AI 还真未必能答准。
这正是全球权威的 AI 记忆「高考」LongMemEval 考卷的六类考点之一,被称为「跨会话」。在500道题目中,「跨会话」类一共 133 道题,分量不轻。
「跨会话」的真题大概什么样?
这类题中,主考官先以闲聊开场:“今天我天没亮就出门骑车,怎么骑得安全些?”;“城里哪家车店手艺靠谱?”;“自行车要不要买份保险?”;“保养该按什么节奏做?”
数字信息就藏在上面四段对话的细节里:
⦿第一段末尾顺口带过一句“我最近装了套新车灯,四十美元,天没亮就骑车出门,亮一点心里踏实。”
⦿第二段对话则夸起市中心那家车店,说“我头盔是那儿买的,花了一百二。”
⦿第三段聊保险时,又把装车灯的事提了一遍,还是四十美元。
⦿第四段则回顾第一次去车店,告诉AI那天变速卡住了,换了根链条二十五;而且趁在店里,又装了一套车灯,四十。
到这儿,主考官才发问:「今年我在自行车上总共花了多少钱?」正确答案是40+120+25=185美元。
三个数字不难记,真正的难点是判断清楚车灯的40美元应该计算几次,如果按对话记录一笔一笔加,会加到265美元,多出80。
难点不在“记住”而在“判断”
前面几期介绍过的「用户事实」、「用户偏好」、「知识更新」这三类,答案都藏在一句原话里,AI只要翻到那一句就容易答对。但「跨会话」不同,它得由三段、四段对话各提取一段信息,再判断哪些该用,哪些不该用。
总的来说,这类题对大模型的难度可以归纳三处:
证据分散:
跨会话的答案不由某一句原话承载,它分散在几个会话里,每一处只交代一段。要紧的不是找到那句,是找齐那几段:相关会话漏掉一段,后面算得再准,总数也是错的。
真题里有一道问「过去三个月我参加了几场毕业典礼」。但三段对话聊的是数字营销的认证课程,典礼只是对话中顺口带过的一句话,跟对话主题无关。
事件对齐:
找齐之后,接着要判的是这几段讲的是不是一回事。人聊天会反复提同一件事,前后的措辞、指代、时间颗粒度未必一致,系统得先判定这几次说的是不是同一个对象,再决定记一次还是记两次。
有一道题问「最近几个月,朋友和家人一共添了几个宝宝」。同一对双胞胎 Ava 和 Lily 在两段对话里各出现一次,一次叫「姑姑家的双胞胎」,一次叫「姑姑刚出生的双胞胎女儿」;同一个 Max 也在两段里各提一次,一次是「表姐 Rachel 三月生的儿子」,一次是「表姐 Rachel 刚生了男孩 Max」。答案五个,把这两处重复各算一遍,就成了七个。
口径隐含:
认对之后,还有一道边界要划。题目往往不交代统计边界,哪些计入、哪些排除,要由模型按问法自己推。同一份记录,边界划在不同位置,答案就不是一个数。
还有一道问「我目前拥有几件乐器」。几段对话里各提一件:Fender 电吉他、Yamaha 木吉他、Pearl 的鼓、Korg 的钢琴。中间还说过一句「想把那套旧鼓卖了,好几年没碰」。答案是四件,那套鼓还没出手,仍算在「目前拥有」里;换成问「卖掉了哪几件」,四件就成了三件。
三处难点串成一条链:找齐、认对、定边界。链上哪一环松动,最后的答案就做不对。
MemoryBear的“记忆科学”解题思路
多数系统的做法是召回相关片段,把相关的三条交给模型去读。这个做法在单点上够用,碰上跨会话就不够了:它交出去的三条写着「车灯四十美元」,合成动作留给模型,模型看见三条就加三遍。
MemoryBear 在这 133 道题上拿到 93.98%的正确率,达到行业顶尖水平。在MemoryBear的记忆架构里,它记的不只是“句子”,而是这件事本身。
摄取阶段,一件事落一条记录,带上时间、来源,还有可累加的量与单位。三天、四十美元、五盒,各记各的单位。同一次经历在后面几段对话里被再提一遍,归到同一条底下,不新开一条。
判断两句话是不是同一件事,靠的线索大致三条:说的是不是同一个人、同一桩事,时间能不能归到同一段时间里,量词和单位对不对得上。三条对得上就并成一条,对不上宁可分开记,别硬凑。这条「宁可分开」的规矩,是重复计数少发生的原因。
组织阶段,条目按主题建档:开销、出行、物品、课程各在一边。数目要有地方加,先得让它们挨在一起。
调取阶段,问题进来,系统按主题取一组,不止一条。算一笔总账,缺哪条也凑不成整账。
作答阶段,先归并再累加,顺序别倒着来,先加后并,错数已经进了总数。系统把几笔合成一个数再开口。某一笔拿不准,它会把不确定说出来,比如「我记到两笔,第三笔不确实」,不拿一个漂亮的整数遮过去。
账簿这个比方在这里挺贴切。好的账房先生不见得记得比别人多,他分得清哪几笔该并、哪几笔该分、哪几笔压根不入账。
△MemoryBear的分层记忆架构
前三类考的是记性,这一类考的是算账的规矩。规矩立不起来,记得越多,账越乱。能把散在几十次对话里的几笔账算对算准,说明它不光记得,也会判断。
下一期,我们继续拆解 LongMemEval 的下一类考点:「时间推理」。它考的是另一件事:这几件事谁在前、中间隔了多久。
AI记忆科学100问,我们下期见。

