Inkling权重如约开源：名字叫Small，模型卡要4张H200

AI模型库 · 今日一模

Inkling 2 Small

11 月 13 日开放权重 · Apache 2.0 · 594B 总参 / 17B 激活 · 1M 上下文

名字叫 Small · 模型卡：至少 500GB 合计显存（例 4 张 H200）

本号 11 月 8 日写过 Inkling 2 Small：分数可以先记，权重当时还没放，别把「下周 Apache」当成今天能本机跑。

北京时间 11 月 13 日 04:50，Thinking Machines 官方账号发帖，说权重已经放到 Hugging Face，许可是 Apache 2.0。官方新闻页同一条更新还写了：SGLang、vLLM、TokenSpeed、Unsloth 都能接，NVIDIA、Fireworks、Together 等也提供 API。「下周」那句话，这次是按期兑现的。

但模型卡把冷水写在「Required hardware」里：主仓 NVFP4 至少要 500GB 合计显存，例子是 2 张 B300，或 4 张 H200。备选 MXFP8 更狠，至少 800GB，例子是 4 张 B300 或 8 张 H200。 名字里的 Small，指的是 17B 激活，不是你家那张 24GB 卡。17B 只说明每个 token 走多少专家，并不等于只占 17B 的显存——这道题，模型卡已经用 500GB 答了。

规格还是那组官方数字：MoE 594B 总参 / 17B 激活，48 层，每个 token 路由 384 个专家里的 8 个；能看图、出文字，上下文最长 1M。图的边长官方建议在 40 像素到 4096 像素之间。这些 11 月 8 日就写过，没有变。

变的是分母：仓库真开了，显存可以按卡面算了。

官方发了两个 checkpoint。他们写得很清楚：这个模型的预训练、中训、后训都在 NVFP4 里做完，原生精度就是 NVFP4，也推荐所有场景用这一档；MXFP8 在评测上只高「1–2 个百分点」，官方自己说谈不上有实际意义。

下载体积别和显存混为一谈。2026 年 11 月 15 日早上，本号按 Hugging Face 仓库文件大小加总（含分片和 mtp 文件）：NVFP4 主仓约 366 GiB（约 394 GB），MXFP8 仓约 580 GiB（约 623 GB）。这是你硬盘上要腾出来的空间。跑起来要多少显存，以模型卡那句「至少 500GB / 800GB 合计显存」为准，不是本号测出来的。

许可一面是 Apache 2.0，另一面还有一份 Model Acceptable Use Policy。商用或对外提供服务前，把两份原文自己读完，这篇不代替合规结论。

11 月 13 日，官方 Connectionism 博客发了《End-to-End 4-Bit Training》（作者 Jack Cook）。原话是：就他们所知，Inkling 2 Small 是「用原生 4bit 前向、从头训到最后一轮 RL」里最大的模型；预训练到最后一次 RL rollout，用的是同一套数值格式。

同一篇文章里的加速数字，全是官方自报，不是本号墙钟：在他们最大的任务上，相对全程 MXFP8，预训练墙钟快 8%，RL 快 20%。博客还写，NVFP4 比 BF16 少 3.6 倍的 bit，在 GB300 上最高能到约 6 倍算力；官方表给 GB300 的峰值是 NVFP4 15 PFLOPS、MXFP8 5、BF16 2.5。做法概要是：专家层前向走 NVFP4，反向走 MXFP8，再用随机舍入压偏差。

把这组数字读成「4bit 所以笔记本也能跑」，就读反了。 它解释的是：为什么官方把 NVFP4 当原生权重、为什么推荐你优先下这一档。训练发生在 GB300 机柜上，推理门槛仍写在模型卡的 500GB 那一行。少 bit 省的是他们的训练墙钟，不是你这张消费级卡的显存账。

• 1. 没有 4 张 H200 或 2 张 B300： 走官方点名的 API（NVIDIA、Fireworks、Together、Baseten、Nebius、Modal、Cloudflare）或 Tinker Playground。别按 17B 激活去清一张 24GB 卡，也别默认「开源了就能本机私有化」。
• 2. 有合计 500GB 显存的集群： 优先下 NVFP4 主仓，按官方给出的 SGLang / vLLM / TokenSpeed / Unsloth 配方部署。为那 1–2 个百分点去上 MXFP8、再准备 800GB，官方自己都不建议。
• 3. 想走 llama.cpp： Hugging Face 上有 Unsloth 的社区 GGUF，不是官方仓。Unsloth 模型卡把最小档 UD-IQ1_S 的磁盘写在 171.7GB（本号按仓库加总约 171.73GB，对得上）；偏常用的 UD-Q4_K_XL 是 354.2GB。它还写明：Inkling 2 是新架构，需要带 Inkling 2 支持的 llama.cpp。社区仓没有给出对应显存，本号也没测，所以只记磁盘体积，不把「能量化」说成「单卡能跑」。
• 4. 先拿自己的真实任务在 API 或 Playground 跑几条（修仓库、读图改页面、长文档整理），记下一次过还是要多轮，再决定要不要租卡。
• 5. 对外部署前读完 Apache 2.0 和那份可接受使用政策。

该试的人：已经有 4×H200 这一档机器，或本来就在 API 上跑 Agent、只是想换成可下载权重的人。该等的人：非要本机、只有消费级显卡——权重落地并没有把门槛降到 24GB。社区 GGUF 目前也只是把磁盘收到一百多 GB，显存账还没人（含本号）拿家用卡给你垫底。

你会等更小的量化，还是直接调 API？评论区说说，也可以写你还想让它测哪道题。要是有人把「开源小模型」理解成「加根内存就能在家跑」，可以把这篇转给他。

出处：Thinking Machines 官方 X 帖（2026-11-12）；Hugging Face 模型卡 thinkingmachines/Inkling-2-Small 与 MXFP8 仓（检索 2026-11-15）；官方博客《End-to-End 4-Bit Training》（2026-11-13）；Unsloth 社区仓 Inkling-2-Small-GGUF 模型卡。显存门槛为官方自报，下载体积为本号按仓库加总。

往期 · 接着看

Inkling 2 Small自报AA 31：别当今天能本机跑

号称29G内存跑145B：模型卡实测要24G显存加31G内存，底座是阿里Qwen

Kimi K3.1 Pro权重卡点放出：1.56TB，8张H200都装不下

觉得有用的话，欢迎点赞、收藏、评论。

THANKS FOR READING