年中大家有个讨论很火的话题,就是提示词工程应该叫“上下文工程”,我觉得这种称呼非常准确,也很有前瞻性。最近连GPT也推出了AI浏览器,它的一个重要目标就是获取更多用户的上下文信息,从而提升用户体验。
比如说,我们想让AI帮我们总结一个视频的内容。以前需要先下载视频,再转成文字,非常麻烦。现在有了AI浏览器,可以直接从网页获取数据并转成文字,这样上下文信息越丰富,用户体验提升就越大。
我想到,大模型完成任务时,其实就像我们找一个小助手帮忙。所以,和AI交互时,交代清楚背景非常重要。仅靠提示词是无法完全实现这个目的的。按照我的理解(不一定对),会有几个重要环节:
首先,要把用户输入的内容提取出来并存储,因为上下文窗口是有限的。
用一个比较专业的词来说,这其实就是“压缩”。这就像我们人脑记东西一样。比如我们记一个号码,不是把每个数字单独记住,而是会把它分块,比如记一个完整的11位电话号码,通常会分成三个组块,比如“189-0101-1212”这样。
人脑的短时记忆一般只能容纳4到8个组块,最多大概八个组块左右,所以当我们把几个数字变成一个组块时,就大大降低了记忆的负担。对应到大模型,也是一样的,这说白了,就是把信息压缩,只保留关键信息。
第二点,需要构建一个存储上下文的系统,包括存储和检索功能。比如我们查询信息时,需要做检索。如果没有检索机制,长期记忆系统就只能一个个遍历,通过列表查询,效率很低,也不一定准确。
第三点是在不同的上下文环境中,需要进行隔离。以人脑为例,情绪记忆和知识类记忆分别存储在不同的脑区。比如,情绪记忆是我们因某件事情生气的经历,这类记忆存在一个区域;而知识类记忆,比如什么是大模型,则存储在另一个脑区。因此,在处理不同任务时,需要从不同的环境中提取相应的记忆,所以必须进行隔离。

