上篇我们把 Transformer 这张"地基图"铺开了。地基里最值钱的那块砖,就是注意力机制。这篇就把它拆开。先说清楚它解决什么问题:模型读一句话,得知道每个词该"盯着"哪些词。注意力,就是让模型自己学会"抓重点"的办法。
你可以把它想成三个人在配合:查询(Query)、键(Key)、值(Value)。
每个词都生成自己的 Q、K、V 三个向量。处理某个词时,拿它的 Q 去和所有词的 K 比一比"像不像",算出一组权重(越像权重越大),再按权重把所有词的 V 加起来,得到一个"融合了全局信息"的新表示。
说人话:这个词最终长什么样,是由它觉得"相关的词"共同决定的,而不是只靠自己。
RNN 像一个人逐字读句子,读到后面容易忘了前面。注意力机制则让模型同时看到整句话,然后对每个词问一句:"这句话里,谁和我最相关?"
答案就是一组权重:相关词分高,无关词分低。模型把高分词的信息"拎"出来重点看,这就是"抓重点"。
比如"猫坐在垫子上,因为它累了"。读到"它"时,注意力会在所有词里做对比,发现"它"和"猫"最相关,于是把"它"和"猫"直接关联起来。它不需要像 RNN 那样从"猫"一路记到"它",而是直接跳过去"看重点"。
一张图看注意力怎么算
① 输入每个词,各自生成 Q / K / V 三个向量
↓ 用当前词的 Q 对所有 K 打分(越像分越高)
↓ 按权重把各词的 V 加起来
③ 得到"看过全局后"的新向量,融合了重点词的信息
单层注意力只能抓"直接的"关系。但语言里很多意思要绕几步才连得上。
为什么需要很多层
· 第 1 层:抓就近、明显相关的词
· 第 2 层:在第 1 层结果上,再抓更远一层的关系
· 第 N 层:意思被一层层揉深、揉抽象
层数越多,能捕捉的关系越深越复杂,这就是"大模型"之大
比如"那个穿红衣服的人把钥匙落下了,他被保安拦住了"里的"他",指的谁,可能要跨好几句、靠常识推断。单层搞不定,就把注意力层叠很多层:第一层抓就近的词,第二层在第一层的基础上再抓更远的关系,一层层把意思揉深。
所以大模型"大"在一件事上,就是层数多、注意力反复算。
说点大白话:注意力机制特像你读书时划重点——一眼扫过去,哪句关键就多停留。模型做的也是这事,只不过它用"相似度"打分。
但有个坑得提醒你:它"划错重点"时照样说得头头是道。很多 AI 一本正经胡说八道,根子就在这——不是没看见,是看错了地方。
所以下次 AI 答偏了,别急着重问,把关键信息往前放、写明白点,多半就能把它拉回来。这招普通人也好使。
注意力让模型能"看全"一句话,可一篇长文动辄几千字,模型一次到底能"看"多长?撑太长会不会又忘?下一篇,就聊这个:上下文窗口。
📚 往期回顾
① 《参数到底是什么?模型靠什么"记住"知识》
② 《训练、微调、推理:AI 的三个阶段》
③ 《你发给 AI 的每句话,正被悄悄"切碎"(Token 到底是什么)》
④ 《大模型啃完整个互联网,到底记住了啥?(预训练揭秘)》
⑤ 《所有 AI 的"地基",其实就这一张图(Transformer)》
👆 点击标题即可跳转阅读