GPU 三十年演进史：从图形加速器到 AI 算力引擎（二）- 大数跨境

首页

GPU 三十年演进史：从图形加速器到 AI 算力引擎（二）

联通上海产业互联网公司

2026-10-10

导读：GPU 三十年演进史：从图形加速器到 AI 算力引擎（二）2016年到2026年，GPU为AI只做三件事：给矩

GPU 三十年演进史：从图形加速器到 AI 算力引擎（二）

2016年到2026年，GPU为AI只做三件事：给矩阵乘法造一块专用电路，把改代码迁就精度变成芯片自动切换精度，再把上百颗芯片拼成一整柜。算力翻了几十上百倍，一半是把晶体管越堆越多，另一半才是把重复的活一步步交给专用电路。

AI 算力时代：从 Pascal 到 Rubin

从 2016 年 Pascal 到 2026 年 Rubin，GPU 的进化主线只有一条：AI 里最重、最重复的活，一步一步从“软件指挥通用电路”挪进“硬件专用电路”。矩阵乘法、精度选择、卡间互联，先后被固化进了芯片。下面按代际走一遍，每一代只讲清楚一件事：它到底解决了什么问题。

一、Pascal（2016）：AI 专用的开始

NVIDIA Tesla P100（2016）：第一款专门为 AI 优化的数据中心 GPU

（图片来自 NVIDIA 官方资料）

2016 年的 P100，是第一款专门为 AI 优化的 GPU。它的算力并不冒尖，真正的亮点在搬运上：把数据进出的路修宽了，也把卡与卡之间的路修通了。

先补一个看懂本篇必需的常识：算力怎么衡量。GPU 的算力用 FLOPS（每秒浮点运算次数）来报，就是“每秒能做多少次小数的加减乘除”。AI 模型里的数字全是小数（术语叫“浮点数”），所以比算力就是比谁能在一秒内多做几次这样的运算，数字越大算力越强。小数在计算机里用“科学记数法”的方式存放——符号管正负、指数管大小、尾数管精细度，后面讲“精度”时会再用到这个概念。

浮点数 = 计算机版的“科学记数法”：符号位管正负，指数位管范围，尾数位管精细度

P100 的算力本身并不是当年最大的看点，真正让它立住的，是里里外外两条“路”都换成了新的。

第一条是数据进出显存的路：GPU 再快，数据从显存搬进计算核心的速度跟不上，也只能空转——就像厨师手艺再好，配菜端不上来照样出不了菜。P100 换上了带宽是前代约 2.5 倍的新式显存（HBM2，720 GB/s），这条路一下子宽了。

第二条是卡与卡之间的路：过去多块 GPU 之间靠普通总线互联，又慢又挤，像几台好机器用细网线拼在一起；P100 搭载的 NVLink 把“卡间高速公路”直接造了出来，为后来成百上千张卡一起训练打好了地基。

P100 的意义一句话就能说清：第一次让 GPU 为 AI“喂得进、跑得动”。不过此时干计算的还是通用核心，真正的专用电路要等一年后的 V100 才登场。

二、 Volta → Ampere（2017-2020）：专用电路来了，不用改代码了

这一节是两步棋：2017 年的 Volta 给矩阵乘法造出了专用电路（Tensor Core），2020 年的 Ampere 把用上它的门槛降到了零——训练精度转换不用手工改代码。前一步解决“造得出来”，后一步解决“用得起来”，两个故事分开讲。

为什么要造专用电路？AI 的计算量，九成压在同一件事上——矩阵乘法。这是个流程完全固定、要重复亿万次的活儿。让通用核心一遍遍发指令去做，就像让老师傅手工拧一百万颗一模一样的螺丝；正确做法是造一台专拧这种螺丝的机床。这块专用电路就是 Tensor Core：普通核心算 64 次乘法加法要发 64 条指令、走 64 步，它一条指令一步到位，如图所示。

读法：重点看“几步算完”——同样 64 次乘加，左边要发 64 条指令、走 64 步；右边一条指令一步到位。代价是右边这块电路只会算矩阵

天下没有免费的快。这块专用电路在芯片里约占 10% 的面积（第三方估算），换来矩阵乘法约 6 倍的速度，而且它除了算矩阵什么都不会干。从此，“拿面积换性能”成了做 AI 芯片的固定打法。

顺带澄清一个流传很广的说法：“CUDA 比 CPU 快”。严格讲，快的不是 CUDA——CUDA 是一套软件工具，出力的是芯片里的电路。值得摆上桌的是三种电路的分工（假设 CPU 有 64 个核）：CPU 核心是全能选手，什么活都会干，但一颗 CPU 只有几十个核；GPU 把核心简化到只会做乘加，同样的面积塞下近 7000 个，靠人海取胜；Tensor Core 再进一步，只干矩阵乘加这一道工序，一台顶 64 个人。三家的干法见下图。

读法：三列干同一批活（432 块矩阵小题、共 27,648 次乘加），各按各的兵力和手速数拍数——CPU 磨 432 拍、CUDA Core 4 拍、Tensor Core 1 拍。CUDA Core 兵多 16 倍仍慢 4 倍，这就是专用电路的含金量

从左到右，是一条“拿万能换专精”的路——越专一，干专项越快。这也是理解后面所有代际的钥匙：每一代升级，都是在把某一种“最重的固定活”再往下沉一层。

2017 年，Volta 架构的 V100 把专用电路第一次做进了芯片：同样的数据精度下，算力从上一代 P100 的约 21 TFLOPS 冲到 125 TFLOPS（每秒万亿次浮点运算）——专用电路干这活约是通用核心的 6 倍。AI 算力也是在这一年第一次突破 100 TFLOPS。

NVIDIA Tesla V100（2017）：第一代 Tensor Core 登场，AI 算力突破 100 TFLOPS（图片：NVIDIA 官方资料）

2020 年，Ampere 架构的 A100 把专用电路升级到第三代，但真正值得记住的是另一件事：用它，训练精度转换不用手工改代码。

NVIDIA A100（2020）：第三代 Tensor Core，官方口径 AI 性能是上一代的 20 倍（图片：NVIDIA 官方资料）

这里要展开一个贯穿全篇的概念：精度，指的是表示一个数用了多少位。位数越多，数字越精细，但算得越慢、越占显存；位数越少越快越省，但数字变“粗”。AI 天生对“粗”宽容——它干的活是认图、写字，不是核对账目，数字粗一点，图片照样认得出，对话照样说得通——于是行业一路把位数从 32 位砍到 16 位、8 位、4 位，同一块芯片的算力翻着倍往上涨。

位数越少，算得越快、越省显存，但数字越“粗”——AI 恰好不怕粗

V100 那代专用电路只认 16 位数据：想用上它，开发者得把整套训练流程从 32 位改成 16 位——动框架、动流程，是一整套工程改造。A100 换了个思路：数据还是原来的 32 位，喂进来之后机器在内部自动“截短”了再算，开发者连数据类型都不用换，打开一个开关就提速约 8 倍，精度损失小到可以忽略。一个要你动手，一个机器替你动手——这一步迈出去，用专用电路的门槛才算真正归零，AI 训练的成本也才开始实打实地往下降。

A100 还加了一样本事：自动跳过零。AI 模型里大量数字是零，以前要靠软件提前把零挑出来省计算，现在硬件直接“见零就跳”，相关运算速度翻倍。

三、Hopper（2022）：给专用电路装上自动挡

2022 年的 H100 做了两件事：选精度，交给硬件自动办；带宽，推到够用。

上一代选数据格式还得开发者自己来，H100 的 Transformer Engine 直接做成“自动挡”：模型里哪一层对精度不敏感，就自动挂 8 位快档；哪一层敏感，就自动切回 16 位稳档，全程不用人管。按官方口径，训练大模型最高比 A100 快 6 倍（端到端实测通常 2 到 4 倍）。同时，卡间互联提到 900 GB/s、显存带宽提到 3.35 TB/s，都上了一个台阶。H100 因此被称为第一块真正适合训练超大模型的 GPU——以前的瓶颈是“算得慢”和“喂不饱”，H100 把两样一起解决了。

和 A100 摆在一起看，“自动挡”的含金量更清楚。A100 也是自动的，但它是换一次挡跑全程：数据进来时在入口统一换挡，之后几十层都用同一个档，为了兜住最敏感的层，所有层只能一起偏稳，皮实的层白白放慢。H100 则是逐层换挡：每层一个决定，数字变了随时重挑。两代差在哪，看下图数“换挡”徽章就明白。

读法：数“换挡”徽章——A100 只在入口换一次、之后全程不动；H100 层与层之间不停换，快档占比越高整体越快

一句话：A100 替你换了数据格式，H100 连“哪一层用多粗”也替你挑了——机器替人做的判断每多一层，人操的心就少一层，白拿的提速就多一层。

四、Blackwell（2024）：从单卡时代到整柜时代

NVIDIA GB200 NVL72 机柜（2024）：72 颗 GPU 组成一个整柜算力系统

（图片：NVIDIA 官方资料）

2024 年的 Blackwell 双管齐下：精度砍到 4 位换算力，72 颗 GPU 拼成一整柜。

精度这条路走到 Blackwell，只用 4 位表示一个数——粗到离谱，但实测 AI 推理扛得住：DeepSeek R1、Llama 3 这类主流大模型都能在 4 位精度下正常工作，精度损失通常在 1% 以内（NVIDIA 官方口径）。省下来的本钱换成了算力：单卡推理算力官方标称冲到 18 PFLOPS（每秒千万亿次），一整柜加起来超过 1 EFLOPS（每秒百亿亿次）。

更大的变化在“形状”：GB200 NVL72 把 72 颗 GPU 和 36 颗 CPU 装进同一个机柜，柜内全高速互联，对外就是一台计算机。以前的旗舰算力按“卡”计，GB200 NVL72 这一档起按“柜”计——整柜功耗约 120kW，全液冷散热。这一步直接改变了机房的供电、制冷和采购逻辑。因为整柜对外是一台计算机，供电和制冷都得按柜而不是按卡来设计，所以拼旗舰训练的大单，计价单位已经从“多少张卡”变成“多少个柜”。不过整柜并不是市场的全部：按卡买、按张租依然庞大，因为大多数场景用不着这个量级，整机柜眼下只是大厂追旗舰的玩法。

五、Rubin（2026）：一年一代

Rubin 平台已经发布，2026 年下半年起量产发货。挑三件最值得知道的说：

变化	一句话版
一张卡两块芯片	单块芯片的尺寸到顶了，就把两块芯片封进一张卡：晶体管 3360 亿个（上一代 2080 亿），集成度提升 62%
显存换代 HBM4	单卡 288GB、带宽 22 TB/s，约为上一代的 2.8 倍，算力和供料必须一起涨
推理账本	官方口径：单卡推理约为上一代的 3.3 倍，同规模推理的 token 成本约降到十分之一

节奏本身比参数更值得注意：Blackwell（2024）→ Blackwell Ultra（2025）→ Rubin（2026，已发布）→ Rubin Ultra（2027）→ Feynman（2028），NVIDIA 从“两年一代”提速到了“一年一代”——这是 AI 算力需求最直接的温度计。2027 年的 Rubin Ultra 会把 576 颗 GPU 凑成一个系统、单柜功耗到 600kW，对供电、液冷和机房设计的要求，还在逐代加码。

NVIDIA 官方发布的 Vera Rubin NVL72 整机柜概念图

（图片来源：NVIDIA）

NVIDIA AI 算力架构演进时间轴：Pascal → Volta → Ampere → Hopper → Blackwell → Rubin

六、其他国外厂商：AMD 与 Intel

NVIDIA 之外，国外还有两家值得单独一说：AMD 和 Intel。

厂商	型号	显存	一句话打法
AMD	MI300X （2023）	192 GB	拼大显存：比同期 NVIDIA 装得下更大的模型
AMD	MI350X （2025）	288 GB	显存继续加大，低精度算力跟上（官方口径：推理吞吐最高提升 35 倍）
AMD	MI455X （2026）	432 GB	拼整柜：Helios 一柜 72 卡、显存总量 31TB，2026 年三季度末起出货，OpenAI、Meta 等已签吉瓦级用量合同
Intel	Gaudi 3 （2024）	128 GB	拼性价比：自带网络接口，每美元推理性能比 H100 高 70%（官方口径）
Intel	Crescent Island （2026）	160 GB	换赛道：专攻推理，不用紧俏的 HBM，改用大容量 LPDDR5X，风冷即可部署（2026 下半年客户送样）

AMD 新卡的显存到了 432GB，而 NVIDIA Rubin 只有 288GB，这组对比值得多说一句：AMD 显存大，不是工艺更强，而是两家的用法不同。显存颗粒像一摞一摞叠在芯片旁边的内存条，每摞大约 36GB，AMD 在封装里叠了 12 摞（432GB），用更大的封装面积换容量，代价是封装更贵、功耗更高；NVIDIA 只叠 8 摞（288GB），省下的本钱押在带宽（约 22 TB/s，反而更高）和卡间互联上，再把一柜 72 张卡的显存池成一个大池子用。简单说：AMD 赌“单卡装得下”，NVIDIA 赌“整柜一起凑”——前者的底气在显存，模型越大越吃香；后者的底气在互联，集群越大越吃香。各有各的账，看瓶颈在哪边。

它们的共同处境是：芯片性能追得上来，但 NVIDIA 的 CUDA 软件生态用了近二十年，工程师、工具、现成代码全在上面，迁移成本极高。正因为生态这一关最难绕，两家各自找了活法：AMD 在 2026 年也拿出了整柜方案 Helios，规格与 Rubin 的机柜同一量级；Intel 则收缩战线，把重心放到推理专用卡上。对国内读者来说，这两家最大的意义在于证明了“非 NVIDIA 路线”走得通——这也正是下一篇国产 GPU 故事的伏笔。