历史上乃至今天，记忆力差一直是阻碍文本生成AI实用性的障碍。正如《大西洋月刊》最近一篇文章恰如其分地指出，即使是像ChatGPT这样复杂的生成式文本AI，其记忆也如同金鱼一般短暂。每次模型生成回复时，它仅考虑非常有限的文本量——这导致它无法总结一本书或审查一个大型编码项目。
但Anthropic正试图改变这一现状。
今天，这家AI研究初创公司宣布已将其旗舰文本生成AI模型Claude（目前仍处于预览阶段）的上下文窗口从9,000个token扩展至100,000个token。上下文窗口是指模型在生成额外文本之前所考虑的文本范围，而token代表原始文本的基本单元。
那么，这究竟有何重要意义？如前所述，上下文窗口较小的模型往往会“忘记”甚至最近对话的内容，导致偏离主题。在几千字之后，它们也会忘记最初的指令，转而根据上下文窗口内的最后信息来推断行为，而非依据原始请求。
鉴于大上下文窗口的好处，毫不奇怪的是，寻找扩大上下文窗口的方法已成为OpenAI等AI实验室的主要关注点，后者为此专门组建了一个团队。OpenAI的GPT-4此前在上下文窗口大小方面保持领先地位，最高可达32,000个token，但改进后的Claude API已远远超越这一水平。
凭借更大的“记忆”，Claude应该能够相对连贯地对话数小时甚至几天，而不是仅仅几分钟。更重要的是，它不太可能失控。
在一篇博客文章中，Anthropic强调了Claude上下文窗口扩大带来的其他好处，包括模型能够消化和分析数百页材料的能力。Anthropic表示，除了阅读长文本外，升级后的Claude还能帮助从多个文档甚至一本书中检索信息，回答那些需要在文本的多个部分进行“知识综合”的问题。
Anthropic列举了一些可能的用例：
- 消化、总结和解释财务报表或研究论文等文档
- 根据公司的年度报告分析其风险和机遇
- 评估某项立法的利弊
- 识别法律文件中的风险、主题和不同的论证形式
- 通读数百页的开发文档，并找出技术问题的答案
- 通过将整个代码库放入上下文来快速原型设计，并智能地在此基础上构建或修改
Anthropic继续说道：“普通人可以在大约五小时内阅读10万个token的文本，然后他们可能需要更长的时间来消化、记忆和分析这些信息。Claude现在可以在不到一分钟的时间内完成这一任务。”例如，将《了不起的盖茨比》全文加载到Claude中并将其中一行修改后，当要求模型指出不同之处时，它在22秒内给出了正确答案。
然而，更长的上下文窗口并不能解决大语言模型周围的其他与记忆相关的挑战。像大多数同类模型一样，Claude无法保留从一个会话到下一个会话的信息。而且，与人类大脑不同，它将每条信息都视为同等重要，这使得它成为一个并非特别可靠的叙述者。一些专家认为，解决这些问题需要全新的模型架构。
不过，目前Anthropic似乎处于领先地位。