大数跨境

Cerebras 如何部署万亿大模型:Kimi K3 晶圆级流水线方案解析-59 片晶圆跑 3T 参数

Cerebras 如何部署万亿大模型:Kimi K3 晶圆级流水线方案解析-59 片晶圆跑 3T 参数 苏哲管理咨询
2026-11-13
3
导读:本文介绍 Cerebras 基于 WSE-3T 晶圆级芯片部署 Kimi K3(3 万亿参数)大模型的方案。单块 WSE-3T 拥有 44GB 片上 SRAM,采用层流水线并行架构,权重常驻片上不迁移
编者摘要:本文介绍 Cerebras 基于 WSE-3T 晶圆级芯片部署 Kimi K3(3 万亿参数)大模型的方案。单块 WSE-3T 拥有 44GB 片上 SRAM,采用层流水线并行架构,权重常驻片上不迁移,仅层间传递激活值,RDMA 以太网跨晶圆传输,单跳延迟约 2 微秒。Kimi K3 含 69 层线性注意力层、24 层稠密注意力层;单层 4bit 权重约 16GB,稠密层单晶圆放 1 层,剩余空间承载 KV 缓存,线性层单晶圆容纳 2 层,总计需要 59 块晶圆。系统采用流水线满负载微批次调度,消除单请求串行等待的浪费,并发上限由稠密层晶圆剩余 KV 缓存空间决定,示例配置单稠密晶圆支持 10 路 256k 上下文并发请求。该方案优势是高 token 吞吐(1000–2000+ token/s),可横向扩展至更大模型;评估效率优先看单位功耗吞吐,而非单纯并发数。

10 个关键问题Q&A

  1. Q:Cerebras 单块 WSE-3T 晶圆内存多大? A:单块 WSE-3T 具备 44GB 片上 SRAM。
  2. Q:Kimi K3 结构是什么? A:3 万亿参数,69 层线性注意力层、24 层稠密全注意力层。
  3. Q:Kimi K3 权重和 KV 缓存采用什么精度? A:权重 4bit 量化,KV 缓存 8bit,示例上下文 256k。
  4. Q:为什么稠密层和线性层单晶圆承载层数不一样? A:稠密层需要 KV 缓存存放历史键值;线性注意力只维护固定大小状态,无需大容量 KV 缓存。
  5. Q:本次部署 Kimi K3 一共需要多少晶圆? A:合计 59 块晶圆(35 块给线性层、24 块给稠密层)。
  6. Q:晶圆之间传输什么数据?传输延迟多少? A:只传输激活值;RDMA 以太网传输,每一跳约 2 微秒。
  7. Q:模型权重会在晶圆之间来回拷贝移动吗? A:不会,权重固定驻留在对应晶圆片上内存,全程不迁移。
  8. Q:流水线方案会不会出现一块晶圆等待、硬件闲置? A:不会,流水线持续填充不同请求,各阶段并行处理不同请求 / 微批次。
  9. Q:并发请求上限由什么决定? A:由稠密层晶圆中分配给 KV 缓存的剩余片上内存大小决定。
  10. Q:衡量这套推理系统更有价值的指标是什么? A:同等生成速度下,单位功耗的 token 吞吐(token/s/MW),而不是并发数。
附录  我们如何在 Cerebras 上部署万亿参数前沿大模型

作者:Sarah Chieng,开发者体验负责人(X 账号:@MilksAndMatcha)

经常有人问我们:如何在 Cerebras 晶圆级芯片上运行大模型。单颗 Cerebras WSE-3T 晶圆拥有 44GB 片上内存,而万亿参数级前沿模型仅权重部分就需要 TB 级存储空间。

本文将讲解我们如何把大型前沿模型拆分到多块晶圆上运行,实现数万亿参数模型每秒 1000–2000+ token的生成速度。 我们以开源模型 Kimi K3(约 3 万亿参数)作为示例进行说明。

读完本文,你将了解:

  • 如何把完整模型放进片上内存
  • 如何将模型映射到多块芯片
  • 如何支撑高并发请求量

以 Kimi K3 拆解说明

Kimi K3 是开源 3 万亿参数模型,包含 69 层线性注意力层与 24 层稠密注意力层。https://x.com/cerebras/article/2113315017714246003/media/2113293960248729600

该模型在相关基准测试上取得亮眼成绩(详见 Kimi 官方博客),在 BrowseComp 基准得分 91.2%(GPT-5.6 Sol 为 90.4%)。测试结果证明它具备前沿水平的代码能力与智能体能力,在部分基准上甚至优于头部闭源模型。 参考:https://modal.com/blog/trillion-tokens-trillion-parameters

https://x.com/cerebras/article/2113315017714246003/media/2113295892346527744

本次示例采用配置:

  • 请求平均上下文长度:256k
  • 权重量化:4 比特(与 Hugging Face 上的 Moonshot Kimi-K3 一致)
  • KV 缓存:8 比特

1. 每一层的显存占用

要算出部署 Kimi K3 一共需要多少块 Cerebras WSE-3T 晶圆,首先计算模型单层大小。 Kimi K3 共 3 万亿参数,全部参数采用 4 比特存储时,权重总占用:

3T 参数 × 4 bit = 1.5 TB

除以总共 93 层,得到单层权重占用约 16GB。

2. 晶圆数量计算

已知单层权重约 16GB,我们就能算出一块 44GB 的晶圆可以放下多少层,结果取决于层类型:

  • 稠密注意力层
    需要额外空间存放 KV 缓存。稠密(全注意力)层要保存所有活跃请求里每个 token 对应的键、值。因此一块晶圆只放 1 个稠密层,晶圆剩余的片上 SRAM 留给该层的 KV 缓存。
  • 线性注意力层
    不需要额外 KV 缓存空间。线性注意力不会保存每个 token 的键值对,无论上下文多长,每个请求只维护一份固定大小的状态。因此一块晶圆可以放下2 个线性层(2 × 16GB = 32GB)。

https://x.com/cerebras/article/2113315017714246003/media/2113298367459774464

结合 Kimi K3 结构: 69 个线性层 → 69 ÷ 2 = 35 块晶圆 24 个稠密层 → 24 块晶圆 合计晶圆数:35 + 24 = 59 块晶圆

3. 晶圆之间的互联方式

Cerebras 采用流水线方式执行模型。Cerebras 编译器把模型层映射到各块晶圆的存储区域后,运行时负责规划 token 在晶圆之间的流转路径。 为实现极低延迟,晶圆之间只传递激活值(activations),通过以太网 RDMA 传输,每一跳耗时约 2 微秒。

https://x.com/cerebras/article/2113315017714246003/media/2113301061910106112

重点说明:单块 Cerebras 晶圆自带 44GB 片上 SRAM,单层权重仅 16GB,因此我们通常可以把完整一层直接放在单块芯片内。 这意味着绝大多数场景下,模型权重不需要移动,层本身也不会被拆分到多块晶圆;只有激活值会在晶圆之间传递。

4. 单个请求的处理流程

晶圆互联、模型布局完成后,你可以把每一块晶圆看作流水线装配线上的一个工位:每个工位对应的模型权重固定不动,请求的中间计算结果依次流经各个层。

举例:1 号晶圆执行第 1–2 层,把激活值发给 2 号晶圆;2 号晶圆执行第 3–4 层,再传给 3 号晶圆,以此类推,直到最后一块晶圆输出下一个 token。

https://x.com/cerebras/article/2113315017714246003/media/2113301197620920320

5. 大量并发请求如何调度

这里要澄清一个常见误区:既然 token 必须依次穿过每一块晶圆,那是不是每块晶圆都要空闲等待,相当于批大小等于 1?

并不是。如果一次只送一个请求走完整条流水线,等它全部生成完毕再送下一个,硬件利用率会非常低。我们的做法是让整条流水线同时跑满不同的请求。 模型已经拆成流水线阶段,每个阶段可以同时处理不同请求: 阶段 3 处理请求 A 的 token 时,阶段 2 处理请求 B 的 token,阶段 1 处理请求 C 的 token。本例中一个阶段对应一层;在生产环境里,Cerebras 会使用粒度更细、数量更多的流水线阶段。

每个阶段还可以处理一个微批次(一小批请求),而不是只处理单个请求。系统中同时在跑的请求数量 ≈ 流水线阶段数 × 微批次大小。

取舍关系:微批次越小,单条请求延迟越低;微批次越大,整体吞吐越高。

6. 可承载的并发请求上限

分配给 KV 缓存的片上内存,决定了最大并发请求数。每一个正在流水线中运行的请求,都需要在稠密层对应的晶圆上独占一份 KV 缓存,因此片上内存容量就是并发上限。正如前文所说,我们只需要为稠密层计算 KV 缓存开销。

一块存放单个稠密层的 44GB 晶圆,可用于 KV 缓存的剩余空间: 44GB − 16GB = 28GB

并发请求数计算

先算一条 256k 上下文请求占用的 KV 缓存(8 比特 KV): 单请求 KV 缓存 ≈ 2.8GB

再计算这块晶圆支持的并发请求数量: 28GB ÷ 2.8GB / 请求 = 10 并发请求

这个并发数代表同一时刻在流水线中流转的请求总数。和 GPU 批处理不一样:这些请求不需要互相等待完成,而是持续流式穿过流水线。

当然,并发数、批大小本身并不能完全代表推理系统的真实效率。评估推理吞吐时,在同等生成速度下,更有参考意义的指标是单位功耗的 token 吞吐(例如:每兆瓦每秒生成 token 数)。

扩展到 3 万亿参数以上的更大模型

这套方案可以直接扩展到更大规模模型:先计算权重与请求状态所需内存,将模型分布到多块晶圆,再连成流水线。每新增一块晶圆,就新增算力与片上内存,从而支撑超出单芯片容量的超大模型。

设计:@halleychangg 感谢 Atharva Talpade、高振伟、Angela Yeung、Jessica Liu、Joyce Er、Emma Call、Rohan Gupta 参与审阅与反馈。


术语注释

  1. Wafer:晶圆;WSE = Wafer Scale Engine 晶圆级引擎
  2. Linear-attention:线性注意力
  3. Dense layer /full-attention:稠密层 / 全注意力层
  4. KV cache:键值缓存,推理时缓存历史 token 的 key、value,加速注意力计算
  5. Quantization:量化
  6. Pipeline:流水线并行(这里是层间流水线,区别于张量并行)
  7. Activations:激活值,层与层之间传递的中间计算结果
  8. RDMA:远程直接内存访问,低延迟网络传输技术
  9. Micro-batch:微批次
  10. Token throughput:Token 吞吐率
插图


【声明】内容源于网络
0
0
苏哲管理咨询
为企业及组织提供AI+战略、数智化转型咨询及观点、建议等
内容 2531
粉丝 0
苏哲管理咨询 为企业及组织提供AI+战略、数智化转型咨询及观点、建议等
总阅读95.9k
粉丝0
内容2.5k