作者 | 张建imest
来源 | 至顶AI实验室
32GB显存运行7500亿参数模型，这台无线GPU做了什么
一台没有独立显卡的笔记本，隔着Wi-Fi调用另一台设备里的RTX 5090，《赛博朋克2077》跑到每秒92帧；随后，这块只有32GB显存的显卡又加载了一个约7500亿参数的大模型，生成速度最高超过每秒10个Token。
科技博主NetworkChuck在10月31日发布的视频里，演示了一台名为WiCi One的早期工程样机。它集成RTX 5090、处理器和4TB固态硬盘，可以通过Wi-Fi向笔记本、Mac等设备提供GPU算力。
这项演示包含三层技术：通过无线网络调用远端GPU，借助固态硬盘加载超大模型，再用调度器管理不同模型对显存的占用。视频中的性能数字主要来自WiCi团队提供的样机，目前缺少充分的第三方复测，但其中用于SSD推理的InferSSD已经开源，外部开发者可以开始验证这条路线。
Wi-Fi延迟是PCIe的上千倍，远端GPU怎么被当作本机显卡？
WiCi One最直观的能力，是让一台没有独立显卡的电脑通过Wi-Fi调用RTX 5090。
演示中，Windows任务管理器直接把远端5090显示为本机显卡。游戏和应用仍在笔记本上启动，图形计算任务则被发送到WiCi One，处理完成的画面再通过网络传回。
这件事的困难主要来自通信延迟。PCIe 5.0×16的单向理论带宽可以达到约512Gbps，响应延迟通常在微秒级；Wi-Fi的实际带宽低得多，网络往返延迟则可能达到毫秒级。程序和显卡每秒要交换大量指令，如果每条指令都等待远端返回结果，延迟会迅速累积。
WiCi先在客户端安装虚拟显卡驱动，让操作系统和应用程序识别出一块“本地显卡”，随后通过自研协议处理远端通信。视频介绍的优化方式包括指令批量发送、数据压缩、增量传输、预测响应和轨迹重放。已经计算完成的画面会被编码成视频流，再传回客户端显示。
按照视频提供的数据，原本约8Gbps的传输需求被压缩到约400Mbps。在样机演示中，《赛博朋克2077》运行到每秒92帧。这个成绩仍需独立测试确认，特别是不同路由器、Wi-Fi频段、网络距离和多人共用时，帧率及操作延迟都可能发生变化。
WiCi团队成员在视频中提到，部分人员此前参与过云游戏相关工作。云游戏积累的低延迟视频传输和远端渲染经验，也被应用到了这套无线GPU协议中。
32GB显存装不下模型，固态硬盘开始参与推理
无线调用解决了GPU放在哪里的问题，却没有改变显存容量。RTX 5090拥有32GB显存，面对数百GB的大模型权重，容量仍然远远不够。
视频测试的是DeepSeek V4.1 Flash。WiCi开源项目记录的GGUF版本包含约7485亿参数，完整文件接近470GiB。模型运行时还需要为共享权重、推理引擎、上下文和KV Cache预留空间，即使使用512GB内存，容量也会非常紧张。
WiCi给出的方案，是把大部分模型权重保存在NVMe固态硬盘中，需要计算时再将相关部分调入内存或显存。
固态硬盘和显存之间存在巨大的带宽差距。RTX 5090显存带宽约为1.8TB/s，高端DDR5内存可以达到数十GB/s，PCIe 5.0固态硬盘的标称连续读取速度约为14GB/s。大模型读取权重时还会出现大量小尺寸、非连续访问，实际速度通常低于标称值。
如果每生成一个Token都要从硬盘读取数百GB权重，推理几乎无法进行。DeepSeek V4.1 Flash采用的混合专家架构，为SSD卸载提供了一个可利用的条件。
混合专家模型可以理解为由大量专业模块组成的模型。WiCi介绍的视频版本每层包含384个专家，生成一个Token时，路由器只选择其中少量专家参与计算。模型总参数量很大，单个Token真正激活的参数却少得多。
即使每次只激活少量专家，直接从硬盘搬运约15GB权重仍然需要较长时间。WiCi团队随后对模型文件和读取方式进行了进一步处理：把专家权重整理成大小一致、按存储块对齐的数据，一次批量读取多个数据块；高频使用的专家保留在内存和显存缓存中，剩余权重再按需读取。
按照视频给出的测试结果，优化后的硬盘读取速度由约1GB/s提高到约11.5GB/s，每生成一个Token需要从SSD读取的数据量也降低到约1GB。位于显存中的权重交给GPU计算，其他部分则结合CPU执行。
每秒3至15个Token，速度为什么一直波动？
为了观察模型在推理过程中如何选择专家，NetworkChuck制作了一个可视化工具。界面会读取追踪日志，显示每个Token激活了哪些专家，以及这些权重位于显存、内存还是固态硬盘。
测试中，DeepSeek V4.1 Flash的生成速度在每秒3至15个Token之间波动，综合成绩约为每秒8个Token。第二轮测试一度下降到每秒3至4个Token，视频没有给出确定原因。
这种波动可能与专家命中率、缓存状态、SSD随机读取、上下文长度以及CPU和GPU的任务分配有关。模型连续命中已经缓存的专家时，需要从硬盘读取的数据较少；如果不断调用尚未缓存的专家，速度就会下降。
WiCi后续公布的InferSSD测试给出了更规范的数据：在32GB系统内存、32GB显存和PCIe 5.0固态硬盘组成的RTX 5090平台上，DeepSeek V4.1 Flash的解码速度约为每秒7.27个Token，与视频中的综合表现接近。该测试采用4K提示词档位和单请求条件，多用户并发、长上下文及持续运行仍有待验证。wici.ai
每秒7至8个Token已经能够完成普通问答、内容分析和部分Agent任务。实时编码、高并发API服务以及需要快速交互的应用，对吞吐量和首词延迟的要求更高，SSD卸载方案暂时很难达到纯显存推理的体验。
多个模型轮流使用显卡，切换时间怎么缩短？
WiCi One还希望让家庭或工作室中的多台设备共享同一块高端显卡。视频里，Mac通过Wi-Fi调用它完成图像生成、视频生成和视频渲染。
这些任务背后使用的模型各不相同。一个图像模型、视频模型或大语言模型都可能占满32GB显存。应用切换时，如果把原有模型完整移出显存，再重新加载另一个模型，等待时间可能达到十几秒甚至更长。
WiCi为此设计了模型调度器。暂时不用的模型会被停放到固态硬盘，需要时再恢复到内存和显存。NetworkChuck将这种机制形容为“把应用揣进口袋”。
视频中的切换测试显示，加载图像模型的时间由约18秒降至8.6秒，恢复对话模型的时间由约17秒降至4秒。缓存和模型停放机制减少了重复初始化及权重读取量。
这组结果只覆盖了少量模型轮流使用显卡的情况。多个用户同时发送任务时，调度器如何分配显存，任务是否排队，游戏、视频生成和大模型推理能否同时运行，视频没有展开测试。因此，现阶段更准确的说法是“一块显卡可以在多个模型之间快速切换”，还不能据此判断它已经具备成熟的多用户并发能力。
视频说明栏还特别注明，演示中使用的Figma和Lovart本身属于云端应用。团队将其生成请求重定向到了本地模型，并不代表这些软件已经原生支持WiCi One。
InferSSD开源之后，普通电脑能复现多少？
10月30日，WiCi团队在GitHub发布InferSSD 0.1.0，并采用Apache 2.0许可证。这套推理引擎建立在llama.cpp之上，能够直接读取GGUF模型文件，把MoE模型中的专家权重保存在SSD，只将当前需要的专家调入有限的内存和显存。它还提供浏览器聊天界面以及兼容OpenAI格式的API。
首个公开版本重点测试了DeepSeek V4.1 Flash和Muse-Spark-Open。目前支持Apple Silicon平台上的macOS，以及配备NVIDIA CUDA显卡的Linux；Windows仍处于开发阶段，AMD和Intel显卡尚未列入官方支持范围。第一次运行DeepSeek模型需要下载约470GiB文件，对固态硬盘容量和读取性能都有较高要求。
InferSSD的适用范围也受到模型架构限制。它能够利用MoE模型每次只激活少量专家的特点，密集模型每个Token需要调用大部分权重，很难获得相同收益。模型的共享层、注意力计算和KV Cache仍然需要占用内存或显存，SSD承担的是模型容量扩展，无法提供显存级带宽。
WiCi One把两类硬件问题放进了一套系统：通过Wi-Fi 7把GPU算力提供给附近设备，再通过InferSSD让容量超过内存和显存的MoE模型获得运行机会。视频中的游戏帧率、模型速度和切换时间仍属于样机结果，距离成熟产品还隔着稳定性、并发能力、网络环境和长期运行测试。
InferSSD开源后，这项实验已经有了可以检验的部分。开发者可以在RTX显卡、DGX Spark和Apple Silicon设备上复现SSD推理，观察每秒7至8个Token的成绩能否在长上下文、多轮对话和连续任务中保持稳定。无线GPU能否成为一种新的个人算力形态，也将在这些独立测试中逐渐显露答案。
