我们这个系列,是从自注意力机制开始一点点往下挖的。从最开始理解模型为什么能看懂上下文,到后来拆开 Q、K、V,再到矩阵乘、算子这些底层零件,一路走得很细。
但最近我发现一个问题:零件讲多了,很多人反而看不清整体了。知道注意力是什么,知道矩阵乘是什么,可一合起来,就懵了——大模型到底是怎么把这些东西拼在一起工作的?
所以这一篇,我不打算讲新知识点,也不搞复杂推导。就做一件事:把我们已经学过的东西,搭成一个完整的大模型架构,让你一眼看明白,它其实根本没有那么复杂、也并不神秘。
一、先把结论说清楚:大模型,就是一套重复但精密的结构
现在主流的大模型,包括 DeepSeek、Llama、GPT 这一类,结构其实非常统一:一段标准的模块,重复堆叠很多次。
听起来好像很简单,但关键点不在于“重复”,而在于这一个模块本身设计得极其精巧。就像一栋高楼,每一层户型一样,但每一层的结构必须稳,楼才能立得住。
我们今天就把这“一层”拆开看,顺便带大家从人类理解语言的层级,顺一遍这个提纯过程。
二、整个大模型,只分三大部分
不管参数多大,结构永远是三段式,干净利落,没有多余东西:
输入层:把文字变成向量
核心层:N 个标准模块重复堆叠
输出层:把计算结果变回文字
三、输入层:让模型看懂文字
文字本身是符号,模型无法直接处理。所以第一步必须做两件事:
把每个字变成向量(Token Embedding)
告诉模型字的先后顺序(Position Embedding)
这一步的原理,我们在之前的算子篇里已经讲过。你只需要记住:输入层就是翻译官,把人话翻译成模型能看懂的语言。
四、核心层:真正的“大模型本体”(特征提纯工厂)
这一部分,是大模型的核心,由几十层一模一样的模块堆叠而成。每一层,都包含两个核心部分,各司其职、缺一不可。
1. 自注意力模块(语言的“理解单元”)
我们整个系列的起点就在这里。它的核心作用是“看懂关系”,具体负责:
看全句所有词之间的关系
计算哪些词重要、哪些不重要
把上下文信息揉在一起,让每个词都带上全局关联
这里额外提一句工程里的实际设计:我们平时说的自注意力,基本都是多头注意力。简单说,就是把注意力拆成好几个“小注意力头”,每个头专注理解不同的信息:有的抓语法搭配,有的抓语义关联,有的抓逻辑指代,最后再把结果合并。这样模型能更全面地理解句子,也是实际大模型训练、部署里的标准做法,和我们之前讲的算子计算完全对应。
从人类理解的角度看:如果把大模型比作读一篇文章,第一层的注意力,主要是在搞懂“词义”和“基本语法”上。比如知道“苹果”是一个水果,知道“跑”是一个动作。
这里用到的矩阵乘、Softmax 这些操作,我们之前已经反复拆解过,就不再展开了。
2. MLP 前馈网络(语言的“语义单元”)
在注意力完成关系抽取之后,会跟着一层 MLP。它不负责理解上下文,只专注于“深化理解”,具体负责:
对注意力输出的信息做变换
提取更深层的特征
把注意力输出的“带关系的词义”再加工、再提纯
从人类理解的角度看:MLP 是在把词语组合成“语义概念”。它会把“猫”“追”“老鼠”组合起来,理解成“猫追老鼠”这个行为逻辑,这一步是从“词”进阶到“意”的关键,也和我们之前拆解注意力时举的例子完美呼应。
每一层的工作逻辑都很清晰:理解(词义/语法)→ 思考(语义/逻辑)→ 理解 → 思考……循环往复,层层递进。
3. 层层递进:从语义到逻辑,再到世界知识
这就是为什么大模型要堆叠几十层甚至上百层?因为它需要一个“层层递进”的过程来理解世界,就像人类大脑一样,从简单的感知,到复杂的认知,一步步把信息“吃透”。
如果用人类读书来类比这个过程:
第 1–5 层:专注于理解字面意思,搞懂句子在说什么,多头注意力也在这一步发挥作用,拆分理解不同维度的文字信息,先认清单个词汇的含义。
第 6–15 层:开始深入理解语义逻辑,理清因果关系、上下文关联,把零散词汇整合成完整的语义,读懂“猫追老鼠”是一个完整的行为事件。
深层几十层之后:提取的不再是简单的文字,而是抽象的概念、世界知识、甚至常识逻辑,进而能理解这个行为背后的生物习性、场景逻辑。
除此之外,还有残差连接、归一化这些辅助结构,它们的作用是保证深层网络在传递高级特征时不会丢失或崩溃,让整个模型的运行更稳定。
五、输出层:把向量变回文字
经过核心层几十层的计算,模型最终会得到一个高维向量。输出层要做的事很简单,就是把这个“模型语言”翻译回人类能看懂的文字:
用归一化稳定输出结果
线性投影到词表大小,匹配所有可能的文字
用 Softmax 算出每个字的概率
挑概率最高的字,一个字一个字生成最终回复
这部分用到的算子,我们也在之前的文章里详细讲过,这里就不再赘述。
六、为什么我们要先懂整体架构?
懂架构,不是为了背名词、记概念,而是为了理清三个关键问题,让后续的学习更顺畅:
你才知道自注意力并非全部,只是核心模块的一环,工程里的多头注意力都依托这套结构实现,不会错把零件当成整体。
你才清楚算力消耗的核心在哪、哪些结构最耗资源,后面看模型优化、工程部署,不会一头雾水。
先有全局,再抠细节,才能形成完整的知识体系,而不是零散的知识点堆砌。
「诚实说明」
本文是本人结合 AI 知识,与 AI 共同探索、基于自身理解总结而成的内容,力求真实、通俗、贴合工程实际。
如果文中有表述不妥、不够严谨的地方,或者你有更专业、更深入的见解,欢迎留言交流指正,我们一起学习、共同进步。

