技术科普 · 入门
四个词看懂 AI
机器学习、神经网络、Transformer 与 LLM
一条演化链,不是四个并列名词
▲ 四个词,一条链:每一层都是被上一层的缺陷逼出来的
打开任何一份 AI 相关的方案、新闻或者培训材料,这四个词几乎一定会同时出现:机器学习、神经网络、Transformer、LLM。它们有时候被并列着说,好像四样不同的东西;有时候又互相替换着用,好像说的是同一件事。于是很多人心里留下一个模糊的印象:这四个词大概都是“AI 很厉害”的另一种说法。
这个印象会带来一个很实际的后果。当你把“用 AI”理解成“买一个更聪明的软件”时,你会自然地期待它像计算器一样——输入什么,就稳定地输出什么。可实际用起来,它会一本正经地编造、会时好时坏、会在你没预料的地方出错。你会觉得“这东西不靠谱”,却说不清它到底哪里不靠谱。
问题不在你的理解能力,而在这四个词被传播的方式:它们不是四种并列的技术,而是一条层层包含、被上一代缺陷一步步逼出来的演化链。搞不清这层关系,就会把“用 AI”误当成“买一个更聪明的软件”。
这篇文章要做的事很简单:把这四个词一个一个拆开,讲清楚每一个为什么会出现、解决了前一个的什么毛病,最后再把它们合起来,看看今天你每天在用的那个对话框,是怎么同时体现这四层特点的。
一个约定:文中所有专业名称都会保留原文,并且紧跟一句大白话解释。你不需要记住这些词,但你需要见过它们——因为下次开会、看方案、和供应商对话时,对方用的就是这些词。
CHAPTER 01
机器学习:不再由人把规则一条条写死
▲ 机器学习:人从“写规则”退到“给例子”
一个所有人都能代入的场景
假设你要写一个程序,判断一首新歌你朋友保罗会不会喜欢。最直觉的做法是:把人判断的依据写成规则。比如“节奏快、强度大、男声,他就喜欢;节奏慢、声音轻、女声,他就不喜欢”。把这几条写进代码,程序就能自动判断了。
这个做法在规则清晰的时候非常有效。问题是,真实的判断从来不是这么干净。一首歌节奏快但声音很轻呢?前奏舒缓、副歌突然爆发呢?是他最爱的流派,但歌手是他最讨厌的人呢?你会发现,为了让程序判对,你得不停地加规则、加例外。规则越写越多,边界却越来越模糊。
中文互联网上有一句很传神的总结,来自一位做 AI 科普的 UP 主——
“规则永远赶不上套路。”
垃圾邮件过滤就是典型:你刚把“中奖”两个字加进黑名单,对方就改成“中獎”“中 奖”“恭喜您获得”。
分水岭:人从“写规则”退到“给例子”
机器学习的做法完全不同。它不再要求人把规则写清楚,而是给人一堆例子,让机器自己从例子里总结规律。你不需要告诉它“节奏快就喜欢”,你只需要给它一万首保罗听过并标注过喜好的歌,机器自己去找:在他喜欢的歌里,哪些特征经常一起出现?
1959 年,IBM 的研究者 Arthur Samuel 在一篇研究西洋跳棋程序的论文里,给出了这个思路最经典的表述:机器学习是“使计算机无需被显式编程即获得学习能力”的研究领域。这句话里的“无需被显式编程”,就是分水岭所在。
打个比方:过去是你手把手教孩子“红灯要停、绿灯要走、黄灯要看情况”,现在是给他看一万个路口的视频,让他自己总结出规律。
这里必须澄清一个最常见的误解:机器学习不是“让机器像人一样思考”,它跟“机器有没有意识”没有半点关系。它解决的只是一个非常工程化的问题——规则写不完的时候,怎么办。
三种学法:给答案、不给答案、给奖惩
01 监督学习给带答案的例题,让机器照着学。就像给小孩看一堆标好“这是猫”“这是狗”的照片,再让他认新照片。判断保罗喜不喜欢一首歌,就是典型的监督学习。
02 无监督学习只给题,不给答案,让它自己找分组。就像把一堆猫狗照片丢给一个完全不懂猫狗的孩子,他也能按“长得像不像”分成两堆。
03 强化学习做对了给奖励,做错了扣分,靠反复试错学会。有位博士用了一个很贴切的比喻:机器学习有时候就像训狗——你说不清“坐下”这个动作的肌肉该怎么发力,但做对了给零食、做错了不理它,它自己就学会了。
这三种是并列的方法类别,不是三个发展阶段——这一点经常被写错。它们不是“先有监督学习,后来进化出强化学习”,而是三种不同的教法。
但人并没有退场
讲到这里,很容易产生一个错觉:既然机器自己学,那人是不是就没事了?恰恰相反。人选哪些数据给它看(数据选偏了,学出来的规律就是偏的)、人定目标(到底要它优化什么)、人判断结果好不好——这三件事一件都省不掉。
机器学习把“写规则”这件苦活交了出去,但把“定标准”这件更难的事留给了人。这也解释了为什么同样用 AI,有人用得顺手、有人用得糟心:差别往往不在工具,而在这三件事上有没有想清楚。
CHAPTER 02
神经网络:把“该看什么”也交给了机器
▲ 神经网络:连“该看什么”也交给机器
上一节留下的问题
上一节说,机器学习是“给例子、让机器找规律”。但这里有个没交代的环节:机器到底怎么找?要回答这个问题,得先看一个更具体的困难。假设你要让机器认猫。传统做法是:人先想清楚“猫有哪些特征”——有尖耳朵、有胡须、有圆眼睛——然后把这些特征提取出来,交给算法去判断。
这个“人先想清楚该看什么”的动作,叫特征提取。它的问题和上一节的“写规则”一模一样:猫的姿势千变万化,你很难把所有特征穷举完。而且人挑特征本身很主观——你觉得“尖耳朵”重要,可折耳猫怎么办?
突破点:让网络自己决定看什么
神经网络的做法是:连“该看什么”也交给机器。模仿生物神经元连接方式搭起来的多层计算结构——每一层把上一层的结果加工一下,再传给下一层。
3Blue1Brown 那期播放量超过 2400 万的经典视频里,有一个特别好懂的设定。它让神经网络认手写数字:一张图是 28×28 像素,也就是 784 个格子。网络的输入层就是 784 个神经元,中间层 16 个,输出层 10 个(对应 0 到 9)。关键在于:这个网络里所有神经元之间的连接强度,都是可以调的。视频里把它们比作一排旋钮——这个网络大约有 13000 个 可调的旋钮。所谓“学习”,就是把这 13000 个旋钮,一点一点拧到合适的位置。
权重——神经元之间连接的强度,可以理解成“这个信号有多重要”。深度学习里说的“参数”,本质上就是这些旋钮的总数。
为什么“深”有用
因为抽象是分层的。识别一个手写的“9”,最底层看到的只是一些明暗交错的边缘;中间层把这些边缘组合成“一个圈”和“一条竖线”;更上层再把“圈+竖线”组合成“9”这个概念。你从来没有告诉过网络“9 是一个圈加一竖”,是它自己在训练中长出了这个结构。认猫同理。这就是“深度”的含义——深度学习,“深”指的不是想得更深,而是层数更多、能逐层抽象出更复杂的东西。
拧旋钮的依据:扣分、倒推、下山
01 损失函数给模型的表现算一个“错了多少”的分数。它说这是 3,正确答案是 8,那就扣一笔分。
02 反向传播从最终扣分倒推每一步错在哪,再回头把每个旋钮往对的方向拧一点。1986 年由 Rumelhart、Hinton、Williams 等人在《Nature》上发表,让多层网络真正可训练。
03 梯度下降蒙着眼下山,每次朝最陡的下坡方向迈一小步。你不知道山底在哪,但只要每次都往低处走,总能走到一个比较低的地方。
三个词连起来就是一句话:算扣分 → 倒推每个旋钮该往哪拧 → 朝那个方向拧一点点 → 重复几百万次。
为什么这条路走了三十年
既然方法清楚了,为什么直到 2012 年才爆发?因为这条路中间断过。1958 年 Rosenblatt 提出感知机,一度让人以为机器马上就能像人一样学习;1969 年,Minsky 和 Papert 出版《Perceptrons》,用数学证明了单层感知机连“异或”这种简单逻辑都做不了。注意,他们证明的是单层的局限,不是“神经网络不可能”——但这句话在传播中被放大了,此后二三十年,“神经网络”在学术圈几乎成了骗子的代名词。
Hinton 后来在采访里说过一句很朴素的话:
“在人们说神经网络是垃圾的那大约头 40 年里,我一直没放弃它。”
真正的转折发生在 2012 年。那年的 ImageNet 图像识别竞赛上,一个叫 AlexNet 的模型把 top-5 错误率从第二名的 26.2% 降到了 15.3%——不是小幅领先,是把对手甩开了一大截。它大约用了 6000 万参数,并且用了 GPU——一种本来为打游戏设计、但特别擅长同时做大量简单计算的芯片——来训练。
数据够多、算力够强、算法成熟,三件事同时到位,路才重新通了。
一个反直觉的插曲
最后讲一个有意思的实验。研究者让一个只会做加法的神经网络反复背同一道题的答案,背了一万遍。本来以为它会死记硬背,结果它突然“开窍”了——它自己把 113 个数字排成了一个圆(像钟面一样),然后利用三角函数的恒等式来做加法。这个现象叫顿悟(grokking)——模型在长时间死记硬背之后,突然从“背答案”跳到“掌握了规律”。
这个故事的启发是:神经网络不是我们想象中的黑箱,它内部可能形成了我们还没看懂的、相当精巧的结构。但必须说清边界:这个结论目前只在一个约 22 万参数的小网络上验证过,不能直接套到 LLM 上。
CHAPTER 03
Transformer:让模型一次看全整句话
▲ Transformer:注意力让模型一次看全整句话
处理语言时,老办法卡在哪
语言是有顺序的。“狗咬人”和“人咬狗”,用的是同样的三个字,意思完全相反。早期的主流做法叫循环神经网络(RNN)——一个词一个词按顺序读,每读一个词就把前面的记忆带过来。这个思路很自然,但有两个硬伤。
01 会忘读到第 50 个词时,第 3 个词的信息已经衰减得差不多了。就像你听一段很长的口头汇报,听到后面已经记不清开头讲的是什么。后来加了个“记事本”,叫 LSTM——能记住更久一点,但第二个问题没解决。
02 不能并行因为它必须一个词一个词按顺序读,第 5 个词必须等第 4 个词算完。这意味着无论你有多少块 GPU,都没法同时开工。而规模能不能做大,恰恰取决于算力能不能用满。
有位 UP 主把这段历史讲得很清楚:从最早只看固定几个词的模型,到词向量,到 RNN,到 LSTM,每一步都在补上一个的缺陷——直到有人问出三个问题:能不能直接去找句子里最相关的词?能不能让所有词同时算?能不能不排队?这三个问题,逼出了 Transformer。
注意力:读到这个词时,回头看该重点看谁
Transformer 的核心,是一个叫“注意力”的机制——让模型在处理某个词时,回头看看句子里其他词,判断“该重点看谁”。
3Blue1Brown 用了一个特别妙的例子。英文里
“mole”这个词有三个完全不同的意思:鼹鼠、痣、摩尔(化学单位)。模型最开始看到的“mole”,在三句不同的话里是一模一样的一串数字——它本身不带任何语境信息。那模型怎么知道该理解成哪个意思?答案就是注意力:处理到“mole”时,它会回头看这句话里其他词——看到“furry(毛茸茸)”和“creature(生物)”,就把权重压在“鼹鼠”上;看到“skin(皮肤)”和“spot(斑点)”,就压到“痣”上。
自注意力——句子里的每个词都去和句子里所有其他词比一比“有多相关”,然后按相关程度把信息汇总过来。这就是 Transformer 名字里“注意力”的全部含义,没有更玄的东西。再举一个更日常的例子:“披萨从烤箱里拿出来,它很好吃。”这里的“它”指披萨,不是烤箱。人一眼就知道,但对机器来说这是个难题——自注意力就是让“它”去和句子里所有词比相似度,发现跟“披萨”最相关。
两个配套设计
01 多头注意力同时从几个不同角度去看。比如一个“头”专门看语法关系(谁修饰谁),另一个“头”专门看指代关系(“它”指的是谁)。就像审一份合同时,一个人看金额、一个人看期限、一个人看违约责任。
02 位置编码注意力本身是不分先后的,所以要给每个词贴一个“我是第几个”的座位号,把顺序信息补回去。没有它,“狗咬人”和“人咬狗”在模型眼里就真的一样了。
2017 年那篇论文
2017 年,Google 的 8 位研究者发表了论文《Attention Is All You Need》,提出了 Transformer。核心创新一句话概括:完全基于注意力机制,把原来必须按顺序读的循环结构、以及处理图像用的卷积结构,全都扔掉了。这个改动带来的直接好处是:所有词可以同时计算。3Blue1Brown 点出了它的意义——2017 年以前,语言模型只能一个词一个词地读;Transformer 一次把全文“吸”进去,让这些数字列表互相“说话”。
注意:Transformer 是一种架构(相当于房子的结构设计),不是一个具体的模型(不是某一栋房子)。这个区别后面还会强调一次。
为什么这一层如此关键
回头看这条链:机器学习解决了“规则写不完”,神经网络解决了“特征要人挑”,Transformer 解决了“只能一个个读、不能并行”。而“能并行”这件事,直接决定了后面能不能把模型做大。这就是为什么 2017 年成了一个分水岭——不是因为它让模型变聪明了,而是因为它把“规模”这扇门推开了。
CHAPTER 04
LLM:一个不断猜下一个词的 Transformer
▲ LLM:一个不断猜下一个词的 Transformer
先说清楚两个词的关系
LLM(Large Language Model,大语言模型)——用海量文本训练、能理解和生成语言的模型,也就是我们平时说的“大模型”。但更准确地说,“大模型”是个更宽的说法,也可以指参数量很大的视觉模型、语音模型,而 LLM 特指其中专门处理语言的那一类。所以准确的关系是“LLM 是大模型的一种”,而不是“大模型就是 LLM”。
它到底在做什么:猜下一个词
LLM 干的事,说穿了非常朴素:给定前面的话,猜下一个字块最可能是什么。
token(词元)——模型眼里的“字块”,不完全是字,也不完全是词。中文里常常一个词被切成两三块。有位开发者做过一个很直观的对比:同一句 “hello world”,在一家模型里被算成 11 个 token,在另一家只算 4 个。模型眼里其实没有“字”,只有一串数字。
所以它写一段话的过程,本质上是一次接龙:每吐出一个字块,就把它当成新的输入,再猜下一个。有位清华背景的 UP 主形容得很形象:它说话是“脚踩西瓜皮,滑到哪里算哪里”——一直在做完形填空。
“大”是可以数的
那“大”到底指什么?指参数。这个数字是可以查的:GPT-1 约 1.17 亿 参数,GPT-2 约 15 亿,GPT-3 约 1750 亿。三代之间,是十倍、上百倍的增长。至于 GPT-4,OpenAI 从未公布过参数量——网上流传的“1.8 万亿”是民间推测,不能当事实用。
训练一次要多久
预训练——先让模型读海量文本、反复练习“猜下一个词”,把底子打出来。这是 LLM 最烧钱、最耗时的阶段。3Blue1Brown 给过一个让人有体感的换算:如果把 GPT-3 训练时读过的全部文本,让一个人 7×24 小时不停地读,要读 2600 多年。顺带说一个常被误传的数字:GPT-3 的训练数据常被说成“45TB 文本”——45TB 是过滤之前的原始数据量,实际用于训练的大约是 3000 亿个 token,两个口径不能混着用。
为什么它一定会编造
这是全文最需要讲清的一点。因为它在做的,是按概率接龙,不是查数据库。当你问它“中国的首都是哪里”,它输出“北京”,不是因为它在某个知识库里检索到了这条记录,而是因为在它读过的海量文本里,“中国的首都”后面接“北京”的概率最高。
“LLM 不是一个知识的数据库。”
幻觉——模型一本正经地编造不存在的事实。它不是 bug,而是这套原理的必然副产品:它在选“最像的下一个词”,而不是在核对“这个说法是否属实”。它内部没有一道“这句话是真的吗”的校验环节。理解了这一点,很多困惑就通了:为什么它会编出不存在的论文、为什么会把两个真实的人名拼在一起、为什么同一个问题问两次答案不一样——因为它每次都在按概率挑,而不是在查表。
它还有哪些边界
01 上下文窗口一次能读进多少内容,相当于“工作台大小”。但“能装下”不等于“能记住”,放在中间部分的信息容易被忽略,学界称为“lost in the middle”。
02 知识截止日期它的知识停在训练数据收集的那个时间点,之后发生的事它不知道(除非接上联网检索)。
03 推理成本每次回答都要跑一遍庞大的计算,用得越多、上下文越长,成本越高。
CHAPTER 05
四层套娃:今天的 LLM 如何同时体现四者
▲ 四层套娃:AI ⊃ 机器学习 ⊃ 神经网络 ⊃ Transformer ⊃ LLM
前面四节是拆开看。这一节合起来看。把四个概念叠起来,关系是包含,不是并列,像俄罗斯套娃:
01 AI最大的盒子,包含所有让机器表现出“智能”的努力,其中也包括不靠学习的路线(比如早期靠人写规则的专家系统)。
02 机器学习AI 里面的一个方法盒子——不写规则、从数据里学。
03 神经网络 / 深度学习机器学习里面的一种具体做法——用多层网络自动提取特征。
04 Transformer神经网络里面的一种结构设计(架构),不是模型本身。
05 LLM用这种结构、加上海量数据训出来的成品。
顺便纠正三个最常见的误解:“AI = LLM” 错在 AI 还包括规则系统等非学习路线;“深度学习 = 机器学习” 错在深度学习只是机器学习的一个子集;“大模型 = LLM” 错在大模型是更宽的口语说法,LLM 只是其中处理语言的那一类。
四层在 LLM 身上怎么体现
01 机器学习这层LLM 不是被人一条条写规则写出来的,它是从海量文本里学出来的。预训练就是这一层最典型的动作。你能感知到的证据:同一个问题问两次答案不完全一样;它有知识截止日期;换个问法效果可能差很多。
02 神经网络这层LLM 动辄几十层、上千亿参数,“层数”和“参数”就是这一层的直接产物。从 GPT-1 的 1.17 亿到 GPT-3 的 1750 亿,本质上是同一套神经网络结构被不断放大。你能感知到的证据:它能举一反三;有时表现出训练时没被专门教过的能力(学界称之为“涌现”);它也会“一本正经地错”。
03 Transformer 这层长上下文能力——能一次读进一整份合同、一整篇报告,就是这一层的直接产物。你能感知到的证据:总结长文档能抓住开头结尾的呼应;但中间部分的信息容易丢;上下文越长计算量增长得越快,所以长上下文很贵。
一句话总结这四层的关系:机器学习给了它“学”的方法,神经网络给了它“想”的结构,Transformer 给了它“读全”的能力,LLM 是这三者加上海量数据后的成品。
由此可以得出一个很实用的判断标准:它擅长“从大量样例里归纳出像样的答案”,不擅长“保证事实绝对正确”。这两件事看起来接近,其实是两种完全不同的能力——前者靠模式识别,后者靠核查与验证。LLM 在前者上远超常人,在后者上天然不可靠。
所以正确的用法不是“信它”或“不信它”,而是把它放在它擅长的那一段,把核查留在人这一端:人来定标准、AI 出初稿、人再核一遍。
CHAPTER 06
从记住四个名词,到看懂一条演化逻辑
第一层:术语不是门槛,是路标
这四个词之所以让人头大,是因为它们被当成四个并列的名词在传播。可一旦看清它们是一条演化链——一层被上一层的缺陷逼出来——术语就不再是门槛,而是路标。你听到“Transformer”,就知道对方在说架构层;听到“LLM”,就知道在说成品层。知道对方站在哪一层说话,沟通成本立刻降一半。
第二层:每次跃迁,都是某个具体瓶颈被解开
01 规则写不完让人从数据里学 → 机器学习。
02 特征要人挑让网络自己提取 → 神经网络。
03 一个词一个词读、读完就忘、还不能并行让注意力一次看全句 → Transformer。
04 看全了但算不动靠并行把规模做大 → LLM。
这条线索有一个很实际的用处:它能帮你预判下一次跃迁会发生在哪个瓶颈上。今天大家公认的瓶颈是什么?是幻觉(它不保证事实)、是上下文(装得下但记不住)、是成本(越长越贵)、是“能聊天但不能干活”。哪一个先被解开,下一个转折点就在那里。
第三层:人的角色一直在往后退
这条链上还有一条更隐蔽的线索:每一步,人的角色都在往后退一层。最早,人写规则——事无巨细地告诉机器该怎么做。后来,人给例子——不再写规则,但还得挑数据、定目标。再后来,人定标准、做判断——连“该看什么特征”都交出去了,人只负责说“什么算对”。
退得越深,越需要人清楚“要什么、什么算对”。这就是为什么,工具越强,判断力反而越贵。当机器能一秒钟生成十份方案时,真正稀缺的不再是“产出”,而是“知道哪一份是对的”。
最后
每一个新词背后,都站着一个还没被解决的老问题。
记住这条线索,比记住名词有用。
开会时听到这四个词,你最能分清哪两个?哪个到现在还是一团浆糊?
留言说说你最容易被绕晕的那个词,下一篇我们接着拆。
点赞 · 在看 · 收藏 三连,我们下篇见

