大数跨境

AI 是怎么学会"抓重点"的?(注意力机制)

AI 是怎么学会"抓重点"的?(注意力机制) IO日记
2026-08-16
0
导读:注意力不是"理解",而是一种会动态调整的"抓重点"机制。一张图讲清它怎么算,外加 IO 小编唠两句。

 

AI 是怎么学会"抓重点"的?

上篇我们把 Transformer 这张"地基图"铺开了。地基里最值钱的那块砖,就是注意力机制。这篇就把它拆开。先说清楚它解决什么问题:模型读一句话,得知道每个词该"盯着"哪些词。注意力,就是让模型自己学会"抓重点"的办法。

一、注意力到底在算什么

你可以把它想成三个人在配合:查询(Query)、键(Key)、值(Value)。

每个词都生成自己的 Q、K、V 三个向量。处理某个词时,拿它的 Q 去和所有词的 K 比一比"像不像",算出一组权重(越像权重越大),再按权重把所有词的 V 加起来,得到一个"融合了全局信息"的新表示。

说人话:这个词最终长什么样,是由它觉得"相关的词"共同决定的,而不是只靠自己。

二、为什么这叫"抓重点"

RNN 像一个人逐字读句子,读到后面容易忘了前面。注意力机制则让模型同时看到整句话,然后对每个词问一句:"这句话里,谁和我最相关?"

答案就是一组权重:相关词分高,无关词分低。模型把高分词的信息"拎"出来重点看,这就是"抓重点"。

比如"猫坐在垫子上,因为它累了"。读到"它"时,注意力会在所有词里做对比,发现"它"和"猫"最相关,于是把"它"和"猫"直接关联起来。它不需要像 RNN 那样从"猫"一路记到"它",而是直接跳过去"看重点"。

 

一张图看注意力怎么算

 
   

① 输入每个词,各自生成 Q / K / V 三个向量

 
 

↓ 用当前词的 Q 对所有 K 打分(越像分越高)

 
   

② 算出一组权重:相关的词权重高,无关的低

 
 

↓ 按权重把各词的 V 加起来

 
   

③ 得到"看过全局后"的新向量,融合了重点词的信息

 

三、为什么注意力要叠很多层

单层注意力只能抓"直接的"关系。但语言里很多意思要绕几步才连得上。

 

为什么需要很多层

 

· 第 1 层:抓就近、明显相关的词

 

· 第 2 层:在第 1 层结果上,再抓更远一层的关系

 

· 第 N 层:意思被一层层揉深、揉抽象

 
   

层数越多,能捕捉的关系越深越复杂,这就是"大模型"之大

 

比如"那个穿红衣服的人把钥匙落下了,他被保安拦住了"里的"他",指的谁,可能要跨好几句、靠常识推断。单层搞不定,就把注意力层叠很多层:第一层抓就近的词,第二层在第一层的基础上再抓更远的关系,一层层把意思揉深。

所以大模型"大"在一件事上,就是层数多、注意力反复算。

 
💬 IO 小编唠两句
 
   

说点大白话:注意力机制特像你读书时划重点——一眼扫过去,哪句关键就多停留。模型做的也是这事,只不过它用"相似度"打分。

   

但有个坑得提醒你:它"划错重点"时照样说得头头是道。很多 AI 一本正经胡说八道,根子就在这——不是没看见,是看错了地方。

   

所以下次 AI 答偏了,别急着重问,把关键信息往前放、写明白点,多半就能把它拉回来。这招普通人也好使。

 

注意力让模型能"看全"一句话,可一篇长文动辄几千字,模型一次到底能"看"多长?撑太长会不会又忘?下一篇,就聊这个:上下文窗口。

本文为原创,转载请注明出处。
本文图片为AI生成。

 

📚 往期回顾

 

 ① 《参数到底是什么?模型靠什么"记住"知识》
 ② 《训练、微调、推理:AI 的三个阶段》
 ③ 《你发给 AI 的每句话,正被悄悄"切碎"(Token 到底是什么)》
 ④ 《大模型啃完整个互联网,到底记住了啥?(预训练揭秘)》
 ⑤ 《所有 AI 的"地基",其实就这一张图(Transformer)》  

 

👆 点击标题即可跳转阅读

—— IO · 2026-08-15

【声明】内容源于网络
0
0
IO日记
1234
内容 104
粉丝 0
IO日记 1234
总阅读0
粉丝0
内容104