10 个关键问题Q&A
-
Q:Cerebras 单块 WSE-3T 晶圆内存多大? A:单块 WSE-3T 具备 44GB 片上 SRAM。 -
Q:Kimi K3 结构是什么? A:3 万亿参数,69 层线性注意力层、24 层稠密全注意力层。 -
Q:Kimi K3 权重和 KV 缓存采用什么精度? A:权重 4bit 量化,KV 缓存 8bit,示例上下文 256k。 -
Q:为什么稠密层和线性层单晶圆承载层数不一样? A:稠密层需要 KV 缓存存放历史键值;线性注意力只维护固定大小状态,无需大容量 KV 缓存。 -
Q:本次部署 Kimi K3 一共需要多少晶圆? A:合计 59 块晶圆(35 块给线性层、24 块给稠密层)。 -
Q:晶圆之间传输什么数据?传输延迟多少? A:只传输激活值;RDMA 以太网传输,每一跳约 2 微秒。 -
Q:模型权重会在晶圆之间来回拷贝移动吗? A:不会,权重固定驻留在对应晶圆片上内存,全程不迁移。 -
Q:流水线方案会不会出现一块晶圆等待、硬件闲置? A:不会,流水线持续填充不同请求,各阶段并行处理不同请求 / 微批次。 -
Q:并发请求上限由什么决定? A:由稠密层晶圆中分配给 KV 缓存的剩余片上内存大小决定。 -
Q:衡量这套推理系统更有价值的指标是什么? A:同等生成速度下,单位功耗的 token 吞吐(token/s/MW),而不是并发数。
作者:Sarah Chieng,开发者体验负责人(X 账号:@MilksAndMatcha)
经常有人问我们:如何在 Cerebras 晶圆级芯片上运行大模型。单颗 Cerebras WSE-3T 晶圆拥有 44GB 片上内存,而万亿参数级前沿模型仅权重部分就需要 TB 级存储空间。
本文将讲解我们如何把大型前沿模型拆分到多块晶圆上运行,实现数万亿参数模型每秒 1000–2000+ token的生成速度。 我们以开源模型 Kimi K3(约 3 万亿参数)作为示例进行说明。
读完本文,你将了解:
-
如何把完整模型放进片上内存 -
如何将模型映射到多块芯片 -
如何支撑高并发请求量
以 Kimi K3 拆解说明
Kimi K3 是开源 3 万亿参数模型,包含 69 层线性注意力层与 24 层稠密注意力层。https://x.com/cerebras/article/2113315017714246003/media/2113293960248729600
该模型在相关基准测试上取得亮眼成绩(详见 Kimi 官方博客),在 BrowseComp 基准得分 91.2%(GPT-5.6 Sol 为 90.4%)。测试结果证明它具备前沿水平的代码能力与智能体能力,在部分基准上甚至优于头部闭源模型。 参考:https://modal.com/blog/trillion-tokens-trillion-parameters
https://x.com/cerebras/article/2113315017714246003/media/2113295892346527744
本次示例采用配置:
-
请求平均上下文长度:256k -
权重量化:4 比特(与 Hugging Face 上的 Moonshot Kimi-K3 一致) -
KV 缓存:8 比特
1. 每一层的显存占用
要算出部署 Kimi K3 一共需要多少块 Cerebras WSE-3T 晶圆,首先计算模型单层大小。 Kimi K3 共 3 万亿参数,全部参数采用 4 比特存储时,权重总占用:
3T 参数 × 4 bit = 1.5 TB
除以总共 93 层,得到单层权重占用约 16GB。
2. 晶圆数量计算
已知单层权重约 16GB,我们就能算出一块 44GB 的晶圆可以放下多少层,结果取决于层类型:
- 稠密注意力层
需要额外空间存放 KV 缓存。稠密(全注意力)层要保存所有活跃请求里每个 token 对应的键、值。因此一块晶圆只放 1 个稠密层,晶圆剩余的片上 SRAM 留给该层的 KV 缓存。 - 线性注意力层
不需要额外 KV 缓存空间。线性注意力不会保存每个 token 的键值对,无论上下文多长,每个请求只维护一份固定大小的状态。因此一块晶圆可以放下2 个线性层(2 × 16GB = 32GB)。
https://x.com/cerebras/article/2113315017714246003/media/2113298367459774464
结合 Kimi K3 结构: 69 个线性层 → 69 ÷ 2 = 35 块晶圆 24 个稠密层 → 24 块晶圆 合计晶圆数:35 + 24 = 59 块晶圆
3. 晶圆之间的互联方式
Cerebras 采用流水线方式执行模型。Cerebras 编译器把模型层映射到各块晶圆的存储区域后,运行时负责规划 token 在晶圆之间的流转路径。 为实现极低延迟,晶圆之间只传递激活值(activations),通过以太网 RDMA 传输,每一跳耗时约 2 微秒。
https://x.com/cerebras/article/2113315017714246003/media/2113301061910106112
重点说明:单块 Cerebras 晶圆自带 44GB 片上 SRAM,单层权重仅 16GB,因此我们通常可以把完整一层直接放在单块芯片内。 这意味着绝大多数场景下,模型权重不需要移动,层本身也不会被拆分到多块晶圆;只有激活值会在晶圆之间传递。
4. 单个请求的处理流程
晶圆互联、模型布局完成后,你可以把每一块晶圆看作流水线装配线上的一个工位:每个工位对应的模型权重固定不动,请求的中间计算结果依次流经各个层。
举例:1 号晶圆执行第 1–2 层,把激活值发给 2 号晶圆;2 号晶圆执行第 3–4 层,再传给 3 号晶圆,以此类推,直到最后一块晶圆输出下一个 token。
https://x.com/cerebras/article/2113315017714246003/media/2113301197620920320
5. 大量并发请求如何调度
这里要澄清一个常见误区:既然 token 必须依次穿过每一块晶圆,那是不是每块晶圆都要空闲等待,相当于批大小等于 1?
并不是。如果一次只送一个请求走完整条流水线,等它全部生成完毕再送下一个,硬件利用率会非常低。我们的做法是让整条流水线同时跑满不同的请求。 模型已经拆成流水线阶段,每个阶段可以同时处理不同请求: 阶段 3 处理请求 A 的 token 时,阶段 2 处理请求 B 的 token,阶段 1 处理请求 C 的 token。本例中一个阶段对应一层;在生产环境里,Cerebras 会使用粒度更细、数量更多的流水线阶段。
每个阶段还可以处理一个微批次(一小批请求),而不是只处理单个请求。系统中同时在跑的请求数量 ≈ 流水线阶段数 × 微批次大小。
取舍关系:微批次越小,单条请求延迟越低;微批次越大,整体吞吐越高。
6. 可承载的并发请求上限
分配给 KV 缓存的片上内存,决定了最大并发请求数。每一个正在流水线中运行的请求,都需要在稠密层对应的晶圆上独占一份 KV 缓存,因此片上内存容量就是并发上限。正如前文所说,我们只需要为稠密层计算 KV 缓存开销。
一块存放单个稠密层的 44GB 晶圆,可用于 KV 缓存的剩余空间: 44GB − 16GB = 28GB
并发请求数计算
先算一条 256k 上下文请求占用的 KV 缓存(8 比特 KV): 单请求 KV 缓存 ≈ 2.8GB
再计算这块晶圆支持的并发请求数量: 28GB ÷ 2.8GB / 请求 = 10 并发请求
这个并发数代表同一时刻在流水线中流转的请求总数。和 GPU 批处理不一样:这些请求不需要互相等待完成,而是持续流式穿过流水线。
当然,并发数、批大小本身并不能完全代表推理系统的真实效率。评估推理吞吐时,在同等生成速度下,更有参考意义的指标是单位功耗的 token 吞吐(例如:每兆瓦每秒生成 token 数)。
扩展到 3 万亿参数以上的更大模型
这套方案可以直接扩展到更大规模模型:先计算权重与请求状态所需内存,将模型分布到多块晶圆,再连成流水线。每新增一块晶圆,就新增算力与片上内存,从而支撑超出单芯片容量的超大模型。
设计:@halleychangg 感谢 Atharva Talpade、高振伟、Angela Yeung、Jessica Liu、Joyce Er、Emma Call、Rohan Gupta 参与审阅与反馈。
术语注释
-
Wafer:晶圆;WSE = Wafer Scale Engine 晶圆级引擎 -
Linear-attention:线性注意力 -
Dense layer /full-attention:稠密层 / 全注意力层 -
KV cache:键值缓存,推理时缓存历史 token 的 key、value,加速注意力计算 -
Quantization:量化 -
Pipeline:流水线并行(这里是层间流水线,区别于张量并行) -
Activations:激活值,层与层之间传递的中间计算结果 -
RDMA:远程直接内存访问,低延迟网络传输技术 -
Micro-batch:微批次 -
Token throughput:Token 吞吐率

