24G内存跑74B大模型，英伟达RTX Spark到底是什么？

AI圈最近被一条实测刷屏： 一台仅24GB统一内存的设备，流畅跑起74B参数Agent智能体，推理速度达到84 tokens/s。

这个打破大家认知的硬件，就是英伟达10月正式上市的 RTX Spark。

数据一出，疑问扎堆： Windows设备也能本地跑超大模型？Arm架构兼容性怎么样？ 它开箱自带哪些工具？Docker要不要手动部署？ 很多人分不清它和DGX Spark，明明芯片一致，为什么体验天差地别？

RTX Spark的核心，是GB10 Grace Blackwell超级芯片，CPU、GPU共享统一内存，这也是它能以小内存承载大模型的核心底牌。

● CPU：20核NVIDIA Grace，Arm架构。

● GPU：6144核Blackwell RTX，搭载第五代Tensor Core、第四代RT Core。

● 内存：最高128GB LPDDR5X统一内存，位宽256-bit，带宽273 GB/s。

● 算力：低配版本FP4算力827 Teraflops，高配可达1 Petaflop FP4。

一共有三种硬件形态，由多家OEM厂商推出：

华硕、戴尔、惠普、联想、微软Surface、微星在2026年10月率先出货；宏碁、技嘉后续跟进。

一句话总结：它不是传统x86游戏本，是跑Windows on Arm、面向AI开发者与创作者的个人AI PC。

RTX Spark全系列预装 Windows 11 on Arm，而非Linux、DGX OS。 英伟达联合微软定制了一套Windows Developer Config，专门适配AI开发，开箱即带这些能力：

✅ VS Code、GitHub Copilot、Windows Terminal、PowerShell 7

✅ WSL2 GPU直通，开机直接生效，WSL内执行nvidia-smi即可识别GPU

✅ 内置Linux容器创建入口、实验性智能终端，自带行内AI辅助

✅ 可选左侧任务栏、开发静默通知模式，减少调试干扰

生态层面，针对Arm做了大量适配：

● PyTorch-CUDA首发Windows on Arm原生版本。

● Python3.15、Conda包持续适配。

● 头部15000个Python包，97%已经支持Arm架构，CUDA 12.1原生兼容。

这里是最关键的分水岭： 同芯片的DGX Spark，预装DGX OS（Ubuntu24.04），是原生Linux算力机；RTX Spark走Windows，AI工具链依靠WSL2或者Windows原生程序运行。

很多新手有一个误区：本地跑大模型，和安装普通软件一样双击就能运行。

现实恰恰相反，AI模型的环境依赖非常容易冲突：Python版本、CUDA版本、底层系统库、驱动版本，任意一项不匹配，整个推理环境直接崩溃。

Docker的价值，就是把整套依赖打包成独立容器。

类比一下： 不用Docker = 自己采购食材、调配方、控火候，从零搭建环境； 使用Docker = 官方预制好全套环境包，拉取镜像直接启动，不用纠结版本冲突。

英伟达NGC仓库里，已经提前调好PyTorch、vLLM、TensorRT-LLM等大量镜像，省去环境踩坑成本。

⚠️ 重点结论： RTX Spark 出厂不预装Docker；而DGX Spark开箱自带Docker与NVIDIA容器工具链。 微软虽然内置了“创建和交互Linux容器”入口，但不等于Docker已经装好。

▶ RTX Spark上Docker完整部署路径

●安装 4.31.1 及以上版本Docker Desktop（原生支持Windows on Arm）

● 启用WSL2后端，确认WSL2 GPU直通正常（开机默认调好）

● 在WSL中安装NVIDIA Container Toolkit

● 配置Docker runtime为nvidia，重启Docker服务

● 拉取镜像时，务必选择arm64标签，社区镜像很多不兼容

简单理解： DGX Spark到手就是一台配齐全套AI栈的Linux服务器；RTX Spark是一台优化好开发环境的Windows主机，容器、高级推理库需要开发者按需补齐。

根据英伟达官方文档，RTX Spark定位为大型LLM、Agent智能体原型验证平台。

● 最大支持：量化后120B参数大模型

● 支持上下文：最长100万token

● 推理后端：vLLM、llama.cpp、Ollama、TensorRT-LLM、SGLang、PyTorch、WindowsML

● 适配智能体框架：NemoClaw、Hermes、OpenClaw、OpenCode、GitHub Copilot本地版

很多人纠结两款设备，核心判断标准： 你日常离不开Windows创意软件，优先RTX Spark； 所有工作围绕模型训练、推理、算法实验，不需要Windows生态，直接选DGX Spark。

RTX Spark的出现，是英伟达把Grace Blackwell算力，下沉到桌面端、打通Windows本地AI生态的尝试。 24G内存跑出74B Agent的出圈实测，证明统一内存架构的潜力；但它同样有明确门槛：Arm生态还在完善，容器环境需要手动配置。

它不是一款万能主机，而是面向本地AI原型、智能体调试的垂直算力硬件。