导读容量决定模型与缓存有没有地方放;运行多快,还要看带宽、算力与软件如何配合。本文用华硕 ProArt 创 16 RTX Spark、NVIDIA 独显、Mac 和普通 Windows 核显轻薄本举例,解释共享内存与专用显存的取舍,以及为什么同样拥有 CPU 和集成 GPU,运行本地大模型的体验仍会不同。
算力很高,为什么模型还会慢?
看本地大模型设备的参数表,最容易先注意到两个数字:多少 AI 算力,多少 GB 内存。但要判断运行体验,还得知道模型的数据怎样流向计算单元。
我更习惯把这件事拆成三个问题:数据有没有地方放,能不能及时送到计算单元,送到以后算得够不够快。
它们分别对应内存容量、内存带宽和算力。三者一起决定模型的运行条件;软件怎样调动硬件,又会改变这些资源的实际利用程度。
大模型要对大量数字做矩阵乘法等运算。CPU 负责通用计算和程序控制;GPU 适合让大量计算单元并行处理同类运算。
普通无独显轻薄本通常有集成 GPU,也就是核显;Apple Silicon Mac 的芯片中也集成了 GPU。独显与集显都是 GPU,没有独立显卡不等于只有 CPU。
参数表里的 TFLOPS 表示每秒万亿次浮点运算,TOPS 表示每秒万亿次运算。比较时,还要看数字背后的口径:FP32、FP16、FP4 等代表不同数值格式,位数和精度不同;部分峰值还要求使用特定的稀疏结构,才能跳过一些运算。
例如,ASUS 为 RTX Spark 标注的 1 PFLOP,指 FP4 AI 峰值,数值相当于 1000 TFLOPS。它需要对应的运算条件,不能代表任意精度、任意模型都能持续达到这个速度,更不能直接换算成每秒生成多少 token。token 是模型处理文本的单位,不固定等于一个汉字。
内存容量是空间,带宽是供给速度
模型文件保存在 SSD 上,运行时通常要把参与执行的权重放进内存或显存。权重可以理解为训练得到的大量数值;此外,还要给计算过程中的临时数据,以及保存注意力计算中键和值的 KV 缓存留空间。后者让生成过程能够复用已处理的上下文状态。
假设一个 8B 模型有约 80 亿个参数,每个权重用 16 bit 保存,仅权重就约需 16GB。理想化地压到 4 bit,原始权重约为 4GB;真实量化文件还有分组参数等开销,运行占用也高于这个数。
量化减少了权重占用,完整部署仍要加上缓存和运行开销。上下文变长、并发增多,缓存需求也会变化。
容量够了,数据仍需要送到计算单元。带宽描述单位时间能搬运多少数据,常用 GB/s 表示。GPU 算得再快,下一批权重还没送来,也只能等待。
MT/s 表示每秒百万次传输,7500 MT/s 就是每秒 75 亿次传输;总位宽表示一次并排传输多少 bit。两者分别描述“每秒传几次”和“每次传多少”,带宽则是每秒传输的总数据量。
MT/s 不能单独换算成 GB/s,还必须知道总位宽。
按十进制单位计算,用
传输率的数值乘以位宽,先得到 Mbit/s;除以 8 转成 MB/s,再除以 1000 转成 GB/s,因此合计除以 8000。大写 B 表示字节,小写 b 表示 bit,GB/s 与 Gb/s 相差 8 倍。
例如,7500 MT/s 配合总位宽 128-bit,意味着每秒 75 亿次传输,每次传输 128 bit,也就是 16 字节。两者相乘,得到每秒 1200 亿字节,即理论带宽 120GB/s。保持传输率不变,把总位宽扩大一倍,理论带宽也会翻倍。这里的 128-bit 是合计位宽,不能再额外乘一次“双通道”。
MT/s 是传输率,MHz 是时钟频率,两者不能直接等同。上述计算得到理论峰值,实际持续带宽还受访问方式、控制器和其他负载影响。
显存、系统内存和统一内存,差别在连接方式
传统 CPU 加独显的设备,通常有两套物理内存:CPU 使用系统内存,独显 GPU 使用自己的显存。模型权重上传到显存后,GPU 主要通过本地显存接口读取它们,无须每生成一个 token 都重新从 CPU 搬一整份模型。
CPU 与独显之间的数据交换通常经过 PCIe。128GB 系统内存不会自动变成独显的 128GB 本地显存。显存不足后能否继续运行,要看推理程序支持哪种执行路径。
本文讨论的 UMA,即统一内存架构,指 CPU、GPU 等处理单元共享物理内存的组织方式。普通核显轻薄本也可采用 UMA;Intel 的核显文档就使用了这个名称,并说明共享物理内存可以支持零拷贝路径。
共享的好处,是在受支持的访问方式下,CPU 和 GPU 可以处理同一份数据,省去两套物理内存之间的部分复制。程序仍要分配资源、同步读写;模型格式转换等环节也可能继续搬运数据。
共享物理内存,不代表具体实现相同。内存接口、缓存一致性、系统分配与软件访问方式仍要分别核对。Apple 的统一内存设计与普通核显共享系统内存,都应落到这些机制上比较;封装位置或“板载”也不能单独定义 UMA。
显存不足后用系统内存,为什么可能变慢?
推理后端是程序调用硬件的实现路径。它若支持混合执行或权重卸载,可以利用系统内存容纳部分数据;否则显存不足可能直接报错。俗称“退到内存”的过程,至少要分清两种情况。
一是部分计算交给 CPU。相应权重留在系统内存,CPU 与 GPU 分别完成部分运算并交换中间结果。若生成一个 token 必须依次完成这些运算,就要等待 CPU 部分;限制来自分担比例、CPU 算力和系统内存供给。
二是仍由 GPU 计算,权重按需从系统内存搬回显存。例如 Accelerate 的权重卸载,会在相应层执行前把权重放到 GPU,之后释放。传统独显的这段搬运通常经过 PCIe,带宽往往远低于 GPU 读取本地显存的带宽;反复搬运大量权重,可能让传输等待成为主要开销。
这两种路径都能扩大可运行模型的范围,却不保证维持全部权重常驻显存时的速度。数据放在哪里、谁来算、每步搬多少,必须一起看。共享物理内存的平台与传统独显借用系统内存,也不能按同一条路径理解。
首字等多久,和后面生成多快,是两件事
模型处理一份长文档,与开始回答后不断生成 token,承担的工作不同。首字等待和持续生成速度,需要分开观察。
预填充(Prefill)阶段,模型处理已知的输入,计算后续生成需要的状态,并建立上下文缓存。很多输入位置的运算可以并行展开,因此长输入下,矩阵计算能力和相应内核的效率很重要。
解码(Decode)阶段,模型根据已有内容生成下一个 token,再继续下一步。预填充结束后可以产生首个 token,后续生成再逐步推进。
单用户、低并发运行稠密模型时,每一步通常要读取大量权重,而能够一起计算的输出位置较少。这时,内存供给容易成为限制;上下文较长时,读取 KV 缓存也会增加压力。
可以做一个简化估算。假设每生成一个 token,需要从内存读取 8GB 数据,有效带宽为 80GB/s,仅这些读取就需要约 0.1 秒,对应约 10 tokens/s 的带宽侧上限。这是只考虑这些数据读取的上限,实际还受计算和其他开销限制。
当权重读取限制速度时,增加算力的帮助可能有限;减少每步读取量、提高有效带宽或增加权重复用,才会改善这部分约束。
并发增大后,多条请求可以共同复用权重,计算压力也可能上升。MoE,即混合专家模型,每步会选择部分专家参与运算;投机解码则让较小的模型先提出候选 token,再由主模型成批验证。因此,模型总参数量也不能直接推出固定生成速度。
同一台设备,读长文档和持续生成答案,可能分别受不同资源限制。首字等待还可能包含模型加载、排队等开销,不能只用显存带宽推算。
用两组设备对比,理解内存与算力的取舍
以下先看内存规格。普通轻薄本一行是前文的计算示例,其余为官方标称值。Mac Studio 选取 M5 Max 40 核 GPU 配置;ProArt 选取 RTX Spark 版。表格解释资源差异,不代表模型测速排名。
ProArt RTX Spark 与独显:容量和供给能力的不同组合
这里的 ProArt 特指 创 16 RTX Spark,即 P16(H7607)的 128GB 配置。它把 CPU、集成 GPU 与共享内存放在同一平台,同时支持 CUDA,以下比较仅针对这一配置。
这台设备与 RTX 5090 桌面卡,可以作为两种本地模型运行方案的内存参照:前者提供较大的共享空间,后者提供 32GB 专用显存和更高的标称带宽。这里比较的是模型可用空间和数据供给能力。
如果目标模型与缓存超过 32GB,大容量共享内存方案可能更容易完整容纳它;但 RTX Spark 的 128GB 仍要分给系统和应用,也存在 GPU 可用区域限制。如果模型本就能放进独显,额外容量未必提速,此时带宽、计算能力与推理实现更值得关注。
这里的 RTX 5090 特指桌面卡,同名笔记本 GPU 的规格需要另查。实际速度须在相同模型与任务条件下比较。
RTX Spark 笔记本开售:128GB 统一内存,值得花近 4 万元吗?
Mac 与普通核显轻薄本:同样共享内存,差别在哪里?
这里把常见 Intel/AMD 无独显 Windows 轻薄本,与 Apple Silicon Mac 对照。两边都有 CPU 和集成 GPU,共享内存的具体能力仍要看实现。
先看数据供给。前表选定的 Mac Studio 是 614GB/s,轻薄本假设配置为 120GB/s。共享内存的名称没有揭示这层差距;高带宽可能改善受内存供给限制的任务,但这些标称值的比值不是模型速度倍数,也不代表所有 Mac 与轻薄本的差距。
再看 GPU 的实际能力与软件路径。llama.cpp 在 Apple Silicon 上支持 Metal,在其他 GPU 上可选择 Vulkan,Intel GPU 还有 SYCL 路径;Mac 也可使用支持目标模型的 MLX 工具。支持范围、量化格式与计算内核都会影响效率。把 Mac 的 GPU 推理与 Windows 的纯 CPU 推理相比,差距不能全归因于内存架构。
最后看可分配空间。整机容量相同,不保证 GPU 能使用的空间相同:Windows 平台要核对驱动、系统和后端限制;Mac 也要给系统和应用留余量。假设只增加内存容量,保持总位宽、传输率与处理器不变,能够容纳的数据可能变多,带宽和算力却不会同步增长。
这组比较需要具体芯片、内存配置与执行路径;单独一个“UMA”标签,解释不了完整体验。
怎样看懂一台设备是否适合自己的模型
先确定准备运行的模型、量化格式、上下文长度与并发需求,再估算权重、缓存和运行时需要的空间。独显看可用专用显存;UMA 看系统与框架实际允许 GPU 使用多少内存。
接着明确自己在意的体验。若经常输入长文档,要关注预填充和首字等待;若主要是单人连续对话,就要看后续 token 的生成速度。两种指标需要分别测,不能用一个“AI 算力”数字包办。
最后核对实际执行路径:模型是否启用了 GPU,是否有 CPU 分担,是否反复从系统内存搬运权重。内存不够与计算、传输受限,需要分别处理。
我会先问“这个模型能否按预期路径运行”,再问“我的任务在哪一步等待”。找到那一步,才知道增加容量、带宽还是算力更有意义。
参考资料 上下滑动
•ASUS ProArt P16(H7607,RTX Spark),产品与统一内存配置: https://www.asus.com/laptops/for-creators/proart/proart-p16-h7607/•NVIDIA RTX Spark 规格及统一内存架构文档: https://docs.nvidia.com/rtx-spark/rtx-spark-porting-guide/latest/overview.html•NVIDIA RTX Spark,CUDA 与平台支持规格: https://www.nvidia.com/en-us/products/rtx-spark/specifications/•Intel,集成 GPU 与独立 GPU 的区别: https://www.intel.com/content/www/us/en/support/articles/000057824.html•Intel,Windows 核显共享内存与分配限制: https://www.intel.com/content/www/us/en/support/articles/000020962.html•Intel,集显共享物理内存与零拷贝: https://www.intel.com/content/www/us/en/docs/opencl-sdk/developer-guide-processor-graphics/2019-4/memory-hierarchy.html•NVIDIA RTX Blackwell 架构白皮书,RTX 5090 规格及算力精度口径: https://images.nvidia.com/aem-dam/Solutions/geforce/blackwell/nvidia-rtx-blackwell-gpu-architecture.pdf•Apple Mac Studio,芯片、统一内存与带宽规格: https://www.apple.com/mac-studio/specs/•NVIDIA CUDA Best Practices,主机与独显的数据传输带宽: https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/•Hugging Face Accelerate,权重卸载与执行设备: https://huggingface.co/docs/accelerate/main/en/concept_guides/big_model_inference•NVIDIA,预填充、解码与模型内存需求: https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/•llama.cpp,硬件后端与平台支持: https://github.com/ggml-org/llama.cpp•MLX,CPU/GPU 与共享内存模型: https://github.com/ml-explore/mlx•NVIDIA NIM,首字延迟与生成速度的测量口径: https://docs.nvidia.com/nim/benchmarking/llm/metrics•NVIDIA,计算与带宽约束、模型设计与推理效率: https://developer.nvidia.com/blog/ai-model-co-design-hardware-friendly-llm-design/
文章仅做学术分享,如有侵权请联系删除,非常感谢!

