现代人工智能系统最大的卖点之一，就是它们能够适应用户。每当 AI 助手为你执行任务时，它也在适应你的风格与偏好，并将这些作为未来任务的上下文。随着上下文增多以及对用户理解的加深，模型每次使用时都能变得更好——至少理论上是如此。
新研究表明，模型的自适应能力可能是一把双刃剑。周三，AI公司Writer的研究人员发表了两篇论文，展示了流行的记忆系统如何使模型表现变差，使其倾向于用户引入的错误观念或误解。随着用户输入占据模型上下文窗口的比例越来越大，模型变得愈发阿谀奉承——而对准确性的坚持则逐渐减弱。
“我们希望能够衡量模型在多大程度上会关注用户偏好，而不是给出可能错误的答案。”负责撰写相关论文的 Writer 公司 AI 负责人 Dan Bikel 表示。Bikel 告诉 TechCrunch：“每多存储一次用户偏好并检索一次，风险就会增加。”
在一项变体实验中，研究人员通过记录用户的“最爱书籍”为《Station Eleven》，然后要求模型命名一本畅销的反乌托邦小说来测试AI模型。结果发现，模型在回答中更有可能提及《Station Eleven》，尽管该问题与用户的最爱书籍并无关联。当使用如Mem0和Zep等记忆压缩工具时，这种倾向性会进一步增强。
正如论文所述，“所有记忆系统在根本上都难以区分相关上下文与无关锚点，这严重削弱了多样性和创造力，并引入了可能限制系统实用性的非预期偏见途径。”
第二篇论文展示了同样的动态如何主动降低性能：向用户呈现关于金融的误解，然后挑战模型分析一家公司的业绩。模型拥有的上下文越多，表现就越差。
帖子写道：“在没有记忆或个性化功能的情况下，AI 模型能正确评估出该公司是一家资本密集型业务，且面临高客户流失率的问题。”但“开启这些功能后，它会欣然改变答案以迎合用户的错误，或根据其对你先前偏好的评估提供错误答案。”
值得注意的是，该研究并未考察 Anthropic 最近发布的 Opus 4.8 模型，该模型被训练为积极抵制如文中所示的输入错误。研究人员发现的规律在不同模型中均成立。这证明了 AI 上下文是多么微妙平衡，以及如果这种平衡被打破，有用的工具也可能带来意想不到的后果。