RK1828 多卡级联支持 Qwen3.8-27B，真正的底牌是满地的 RK3588

别盯 13 TPS，看那张卡能插进谁的机器

2026 年 8 月 14 日，阿里通义千问开源 Qwen3.8-27B——270 亿参数、原生多模态、26.2 万上下文、Apache-2.0。同一天瑞芯微宣布，自家端侧协处理器 RK1828 通过多卡级联跑通了它，官方实测 13 TPS，管这叫"Day0 适配"。

大多数报道会把焦点放在"端侧又跑通一个大模型"上。

这个焦点是错的。能跑 27B 早就不是新闻了，而且各档硬件都有。一个月前的 7 月 14 日，PrismML 的 Bonsai 27B 把 Qwen3.6-27B 压到 1-bit、3.9GB，在 iPhone 17 Pro 上端侧运行；NVIDIA Jetson AGX Orin 64GB 这种边缘模组能跑 Qwen 2.5 32B、Llama 3.1 70B；华为昇腾的高端推理卡（24GB 以上显存那一档，本就是服务器/工作站级）跑 27B 4-bit 毫无压力；消费级显卡 4-bit 跑 27B 更是去年就有的事。手机、边缘、服务器各档都能跑这个量级模型，从来不是某一家的专属能力。13 TPS 这个速度本身也谈不上亮眼，甚至偏慢。

真正值得看的，是 RK1828 长什么样、能插进谁已经在运转的机器里。

它不是一颗焊在新板子上的芯片，而是一张标准 M.2 Key M / SO-DIMM 形态的 PCIe 插卡。创龙、正点原子、飞凌这些嵌入式模组厂已经在卖对应的算力卡和评估套件，接口走 PCIe，典型功耗约 5W、配个散热片就能用。飞凌在产品页里写得很直白：设备预留 PCIe 扩展位，选配 RK1820/RK1828 算力卡可新增 20 TOPS 独立 NPU，存量整机无需改版，低成本完成算力扩容。

图源：飞凌嵌入式

这才是这局的关键。要理解它为什么重要，得先从一堵墙讲起。

通稿不会告诉你的那堵墙

判断端侧能不能跑大模型，盯着 TOPS 算力看是看错了地方。

打个建筑的比方。TOPS 是施工队人数，人多盖得快；但大模型推理的瓶颈不在工人多少，而在材料能不能及时运到工地。模型权重就是建材，每生成一个 token，几乎要把整栋楼的材料从仓库搬一遍。仓库到工地的路宽，就是内存带宽。

路就那么宽，派再多工人也没用，全堵路上。这就是业内讲了多年的"内存墙"。

算力可以堆，带宽堆不动。

⬆️AI生成

RK1828 的解法，是把仓库直接盖在工地底下。它是一颗端侧 AI 协处理器（AI Coprocessor，专门做大模型推理、挂在主芯片旁帮忙的加速芯片），单卡标称 20 TOPS（INT8），重点是约 5GB 的片内 3D 堆叠 DRAM——内存和计算芯片垂直叠封在一起，带宽比电路板上挂的普通 LPDDR 高出一个量级。主控 SoC（比如 RK3588）通过 PCIe 调用它。

据瑞芯微官网，单颗 RK1828 跑 Qwen3-8B 约 61 TPS，跑 Qwen2.5-7B 首帧约 160 毫秒、50+ TPS。这是单卡舒适区，7B 到 8B。

注意这个上限。单卡 5GB 片内内存，4-bit 量化后跑 8B 就到顶了，有开发者实测也确认了这一点。Qwen3.8-27B 用 4-bit 压缩，权重要占 13GB 以上，再加 KV cache（缓存前文、避免重复计算的临时空间），单卡塞不下。

塞不下怎么办？

级联这剂药，治的是"装不下"

多塞几张卡。

瑞芯微叫它"多卡级联"：一台设备插多张 RK1828，PCIe 互联，协同跑一个模型。主控调度，模型切开分摊到各卡的片内内存里。

边界必须说清楚：

多卡级联主要扩张内存容量，不是吞吐量。

它解决"27B 装不装得下"，不解决"比单卡快几倍"。卡数翻倍速度不会翻倍——别被"级联"带出"算力叠加"的联想。数据摆在那儿：单卡 Qwen3-8B 约 61 TPS；多卡跑参数大三倍多的 Qwen3.8-27B，只有 13 TPS。两组测试的模型架构、量化方式和运行条件并不相同，不能直接拿来计算跨卡损耗；但至少看不出多卡带来了吞吐量上的线性增益。具体有多少性能耗在卡间通信上，官方没有披露。

图源：瑞芯微官方公众号

代价从哪来？模型一切开，每个 token 的中间结果都得在卡间传输。片内超高带宽只在单卡内部成立；一跨卡就走 PCIe（RK1828 走的是 PCIe 2.1，带宽通常按 GB/s 算），从片内的数百 GB/s 掉到个位数 GB/s，差一两个数量级。工地内部有传送带，工地之间只有一条小路，材料靠小车倒运。

⬆️AI生成

这就引出一个反推。跨卡要付出掉速和复杂度的代价，瑞芯微还是选择用级联来跑 27B，而不是把单卡内存做大——一个合理的推测是：现阶段这颗 3D 堆叠方案的单片容量，确实就顶在 5GB 这个量级，往上做要么受面积、层数、良率和散热共同牵制，要么不划算。既然单卡装不下 27B，又想守住端侧推理这条路，多卡拼容量几乎是唯一的工程选择。当然这是从产品行为倒推的判断，瑞芯微没有公开这么说过，但它和前面那堵墙、以及 RK1820/RK1828 同封装只差内存的分档逻辑，是对得上的。

具体怎么切、用几张卡、PCIe 直连还是经过交换芯片、量化到几比特——瑞芯微都没公开。按 PCIe 互联的工程常识，大概率以按层切分的流水线方式为主，但这是我的推测，不是官方说法。能确认的只有：多张卡拼出装 27B 的容量，跨卡带宽决定它快不起来。

顺带一个细节。据 Hugging Face 模型卡和 vLLM 文档，Qwen3.8-27B 的 64 层里 48 层用线性注意力（Linear Attention，把注意力计算量随序列长度从平方降到近似线性的架构），只 16 层是传统全注意力，还带多 token 预测（MTP）的投机解码头。高比例线性注意力有利于控制长上下文下的注意力计算和状态开销，但模型权重仍要持续读取，不能据此认为内存带宽问题已经消失。

真正的底牌，是满地的 RK3588

现在绕回那张卡。

RK3588 是瑞芯微 2022 年推出的旗舰应用处理器，8nm、4×A76+4×A55 八核、自带 6 TOPS NPU。过去三四年，它已经成为国内中高端 ARM 边缘设备常见的"公共底座"——Orange Pi 5、Radxa Rock 5、Banana Pi 等开发板采用它，工控机、边缘网关、NVR 录像机、智慧商显、机器人控制盒、车载 AI BOX、AI NAS 等产品也有大量方案。瑞芯微没有公布具体出货量，因此很难给这批存量设备下一个准确数字；可以确认的是，围绕 RK3588 的开发板、核心板、工业底板和软件工具链已经形成了相当成熟的生态。

但 RK3588 跑不动大模型，根子不在那 6 TOPS 算力，在内存。它配的是和 CPU、GPU、系统共享的 LPDDR，带宽只有几十 GB/s，还得分给操作系统、显示、视频编解码和各种任务。而大模型解码阶段是带宽密集型活，算力再多也得等权重数据从内存搬过来——这正是前面那堵内存墙。RK3588 上的 NPU 跑检测、识别够用，一旦喂给它几十亿参数的语言模型，内存先顶不住。大量已经部署在现场的 RK3588 设备，就卡在这个位置上。

RK1828 解决的恰恰是这个，不是"再给你 20 TOPS 算力"那么简单。它真正带过来的，是那 5GB 独立的高带宽片内 3D 堆叠 DRAM——内存和计算芯片垂直叠封在一起，瑞芯微官方称片上带宽达数百 GB/s，比传统外置 LPDDR 高出近一个数量级，而且这个内存池专供大模型，不跟系统抢。20 TOPS 的 NPU 是和这片内存配套的算力，真正稀缺的是那片高带宽内存。

一个旁证很能说明问题。当前这颗方案单芯片的片内内存上限就是 5GB：同系列还有颗 RK1820，NPU 同样是 20 TOPS，封装也完全一样（FCBGA 746L），唯一区别是片内 DRAM 只有 2.5GB，定位 3B 级模型；RK1828 把这片内存翻到 5GB，才够放下 4-bit 的 7B。再往上是另一条线 RK1899，靠多芯片堆叠冲算力，不是同一颗单芯片。也就是说，这条产品线分档分的从来不是算力，是内存容量——3D 堆叠里 DRAM 叠在 NPU 正上方，投影面积被 NPU die 的尺寸框住，能叠几层又受热阻、良率、成本和封装厚度一起牵制，几头共同决定了当前单芯片的容量顶在 5GB；瑞芯微也把"进一步扩展 DRAM 容量"明确列为后续演进的首要方向。内存才是那张卡上真正被斤斤计较的资源。

它的逻辑也因此清晰了：不是"我做颗更强的新芯片，你重新设计整机"，而是"你那台已经在机房、车间、车里转着的 RK3588，只要主板上有空闲的 M.2 Key M 或 SO-DIMM 槽，插一张我的卡，就等于外挂一个专用高带宽内存池，单卡能跑到 7B–8B，多卡级联还能往 27B 撑"。最理想的情况，主控和整机架构都不用换，已经跑稳的系统也有较大的复用空间。至于是否需要补做整机验证或认证，仍取决于产品和行业要求；但相比更换主控平台，改动范围小得多。

再退一步，就算老设备实在没留空槽、不得不换板子，这张牌仍然成立——因为可以"从一块不能扩展的 RK3588 板，换成一块带空闲 M.2/SO-DIMM、能插卡的 RK3588 板"，主控仍是 RK3588。相较换到全新的主控平台，原有代码、RKNN 模型、上层应用和外设适配有更大的复用空间。不过换底板也不是无成本动作：BSP、接口兼容性、稳定性以及 EMC 和产品认证是否受影响，都要按具体设备重新验证。换板不出家族，优势是缩小迁移范围，不是免掉迁移工作。

但这个"插卡升级"是有前提的，不能说满。

硬件上，不是所有 RK3588 设备都能插。 RK3588 虽然有 5 个 PCIe 控制器，但通道有没有引出成一个空闲的 M.2/SO-DIMM 槽，取决于具体主板设计。很多现场设备的 M.2 槽已经插了 NVMe 固态或 4G/5G 模块，还有大量紧凑型、低成本设备压根没留出富余 PCIe 通道。真正能即插即用的，是那些本来就预留了空槽的机型——飞凌、创龙这类面向工业的底板和评估板多数有，但不能反推到每一台已经卖出去的 RK3588。没有空槽的设备不是无路可走，但需要换一块带槽的 RK3588 底板，而不是原地插卡。

软件上，迁移成本确实低，但不是零。 RK1828 和 RK3588 板载 NPU 同属瑞芯微 RKNN/RKLLM 工具链体系，模型转换、量化流程、上层接口是同一套家族，已经在 3588 上做过 RKLLM 部署的代码大概率能复用；但 RK1828 需要 2026 年 3 月发布的 RKNN3 运行时和驱动，应用改走 PCIe 调用外挂卡而不是板载 NPU，模型也要按新 target 重新导出。是"同生态、低迁移"，不是"二进制原样照搬"。

这才是瑞芯微真正的护城河，不是 13 TPS。

手机跑 27B 比它早（Bonsai/iPhone），Jetson 跑得比它大（32B/70B），消费级显卡比它快得多。但这些设备各有各的场景和生态。RK1828 占的是别人进不去的位置：已经铺在工业现场的瑞芯微存量舰队。从 2025 年 7 月首发协处理器，到 2026 年 3 月 RKNN3 SDK 覆盖 0.5B–8B，再到 7 月 WAIC 量产落地车载 AI BOX、机器人、AI 电视，工具链和渠道是一步步铺好的。多卡级联 27B，是这条线上自然的能力延伸。

图源：瑞芯微官方公众号，数据为厂商实测

至于"Day0"，对热门模型，主流软硬件生态快速跟进已经不罕见。对一家 B2B 芯片厂，它更能说明工具链响应够快、客户不用为新模型等太久；但单凭适配时间，不能把它定义成硬件上的技术突破。

冷静的边界

但有两句话得放这儿。

第一，13 TPS 目前只有厂商一个信源。 中英文媒体和开发者社区里，除了瑞芯微自己的公众号，没有任何第三方评测或复现。量化精度、测试环境、卡数全没披露。它能当"官方宣布的能力"，不能当"已被验证的事实"。等板子到开发者手里有独立数据，再说。

第二，13 TPS 客观上偏慢。 Qwen3.8 主打编程和复杂多步任务，这类任务对低比特量化的精度损失更敏感，而官方没给精度数据。RK1828 定位本就不是拼速度，它适合的是数据不能出设备、网络不稳定、或者单次推理成本要算死的场景——工业检测、安防、机器人、车载、私有化部署。在这些地方，慢一点没关系，数据留得住、平台不用换才是第一位的。

所以这不是"端侧崛起、云端要完"的故事。端侧和云端各有各的位置，RK1828 做的，是给那些已经部署在现场、但受限于共享内存带宽的 RK3588 设备，一条外挂高带宽内存、插卡升级到大模型的路。

13 TPS 好不好看是一时的。那些已经在车间里转着的 RK3588，才是瑞芯微真正的筹码。

参考资料

• 瑞芯微官方公众号：RK1828 多卡级联支持 Qwen3.8-27B｜瑞芯微 × 通义千问 Day0 适配： https://mp.weixin.qq.com/s/YD3eNUIZtHhcBrKOp4AneA
• Qwen3.8-27B 模型卡（Hugging Face）： https://huggingface.co/Qwen/Qwen3.8-27B
• Qwen3.8-27B vLLM 部署文档： https://recipes.vllm.ai/Qwen/Qwen3.8-27B
• PrismML：Bonsai 27B, the first 27B-class model to run on a phone： https://prismml.com/news/bonsai-27b
• 飞凌嵌入式：RK182X 系列算力卡 20TOPS，存量整机无需改版扩容： https://www.forlinx.com/article-new-c22/1530.html
• 腾讯云开发者社区：TL182X 算力卡（RK1828，M.2/SO-DIMM，PCIe 2.1）部署实操： https://developer.cloud.tencent.com/article/2720520
• 博客园（正点原子）：RK1828 M.2 高性能 AI 算力模组发布，直插 RK3588 设备扩容： https://www.cnblogs.com/zdyz/p/21841544
• 瑞芯微官网：RKNN3 SDK V1.0.0 上线，多模态模型全覆盖： https://www.rock-chips.com/a/cn/news/rockchip/2026/0309/2163.html
• 瑞芯微官网：端侧 AI 大模型与具身智能方案亮相 2025 云栖大会： https://www.rock-chips.com/a/cn/news/rockchip/2025/1021/2110.html
• CNX Software：Rockchip RK1820/RK1828 AI accelerator modules, devkits, and benchmarks： https://www.cnx-software.com/2025/12/30/rockchip-rk1820-rk1828-so-dimm-and-m-2-llm-vlm-ai-accelerator-modules-devkits-and-benchmarks/
• 我爱方案网：瑞芯微 RK1820 VS RK1828，两者算力架构几乎一样、RK1828 多一倍片上内存： https://news.52solution.com/news/80062885/
• ZAKER：国产 AI 芯片用 3D 堆叠"弯道超车"——面积缩小 50%、带宽提升 10 倍，RK182X 未来将增加 DRAM 容量： https://app3.myzaker.com/article/6a4349488e9f0905d35769a0
• 创龙（脑启社区）：RK1828 新增 M.2 接口，可直接适配带 M.2 Key 插槽的工控机、单板机、评估板： https://nanhubrain.csdn.net/6a3cf85c662f9a54cb844377.html
• 知乎：RK3588 EVB 原理图讲解——RK3588 共 5 个 PCIe 控制器，通道配置与引出由主板设计决定： https://zhuanlan.zhihu.com/p/25359360802
• 博客园：RK3588 Qwen3-8b LLM 模型转换 rkllm（RK1828 5GB 单卡上限实测，RKLLM 同工具链）： https://www.cnblogs.com/allalonewithyou/p/19899658

文章仅做学术分享，如有侵权请联系删除，非常感谢！