大模型是个文字接龙，但它有个致命毛病记性差，Ai记性比你下工地下喝了半斤白酒还差。
记得电视科普上说金鱼的记性有7秒，如果找一个比金鱼还差的，那就是AI记性！AI它为什么记不住？在它眼里，每次对话都是第一次见面！
给大家分析下：大模型本质上是个数学函数，f(x) = y，你往里面塞x，它给你算出个y。AI你这次调它和上次调它，中间没有任何关系。
有人说，豆包、deep seek里面是能记住上面内容的。我们以为它"记住"，实际上是AI程序把你刚才说过的话，又念了一遍给它听。是在一份越来越长的输入文本里，不断重复找那个上面说过的内容！
这就叫 Context（上下文），所有所谓的记忆，全是靠堆字硬怼出来的。那这个Context到底有多大？
Context能装多少东西，决定了AI能在多大范围内"记住"你说了啥。给大家对比下各家"工作台"：
GPT-4o：128K Token，大概能塞20万字
Claude 4 Sonnet：200K Token，大概30万字
DeepSeek V4：128K Token，大概20万字
30万Token啥概念？平时一本书大概就是30万字左右。看到这个数据心想：牛逼啊，那我直接把整本施工规范塞进去，随便问啥它不都能答？
然后我就被打脸了，我试着把一本30万字的施工规范塞进去之后发现：
第一，太贵了你塞30万字进去，算一次的费用就是按30万字算的。多问几次，几百元没有了，一个月下来够你按摩好几次。
第二，AI犯傻了，跟人一样学的太多了找不到重点，AI也一样。
你塞30万字进去，它要找的信息可能藏在第200页的一个段落里。它分不清哪个重要哪个不重要，结果就是：全都重要=全都不重要。
那你要是既不想多花钱、又不想让AI犯傻，咋整？RAG就是为这事来的。RAG是个啥？检索增强生成，就是一个聪明的图书管理员。
设想你走进图书馆，没有图书管理员是啥样？书都在架子上，没有人告诉你书籍区域分类目录，你自己找吧，翻到明天也不一定找得到。
RAG干的就是图书管理员的活：不把整本书扔给模型看，而是先翻书，找到最相关的那三五页，只把这几页发给模型。
好处有3方面：字数少了，费用直接少了； 大模型只看相关信息，回答不跑偏；准确性搞了!
RAG工作流程就三步：
第一步：分切。 把手头的文档切成几千个小片段，就像把一头猪分解成排骨、五花肉、猪蹄，每一块都贴上标签。
第二步：检索。 你问问题的时候，RAG在这几千个标签里快速找到最相关的三五个片段。
第三步：回答。 只把这几个片段发给模型，让它基于这些内容回答你。
再你举个例子你就明白了。你问："公司去年最后一个季度的营收是多少？"有RAG的时候：
① 把你的问题拿去搜数据库
② 找到第47页写着："2024年Q4营收为18亿元"
③ 把这句话发给模型
④ 模型回答："根据财报数据，2024年Q4营收为18亿元。"
这个技术现在为什么这么火？因为它是企业搞AI落地最稳的东西。
你不用重新训练模型，不用花几百万买显卡，只要把公司里的文档喂进去，它就能变成一个懂公司业务的AI。
你去面试说你会RAG，面试官眼睛都亮了——因为这东西是真的能出活的，不是画饼。
但RAG也不是万能的，我不能光给你吹好听的，RAG也有翻车的时候。
所以现在大家都在搞升级版——Graph RAG。 把文档里的关系先画成一张图再检索，能查到更多用关键词搜不到的东西。
给你布置两个活儿，大家自己练习下，才能更深刻了解：
活儿一：测测豆包、deep seek等AI的记性，比比谁的记性好
跟AI说"我叫张三"，然后聊五六轮别的，再问它"我叫什么名字"。你数数它第几轮开始编个李四给你。
活儿二：手动跑一遍RAG
找一份PDF或者长文章，给自己提三个问题。不搜全文，想想你大概记得在某几页见过。只翻那几页，只靠那几个片段来回答。
前两回把文字接龙和记性问题讲完了，是不是感觉你又行了；还有一个更让人崩溃的事
你让AI写个方案，它给你整五千字的废话。你说你错了，它给真诚道歉。你说"我服了"，它说"您真棒"。
奶奶滴，到底怎么让它听话？下回：《15年工地转行学AI，听我聊让她言听计从！》
觉得有用就转给也在折腾AI的朋友，咱一起把这事儿整明白。