Eric Zhang 开源了一个叫 Resin 的项目，让 Agent 为 DeepSeek-V4.1-Flash 等模型编写推理引擎：调度、缓存和服务接口复用现成底层，Agent 专注于指定模型和硬件的前向传播与计算内核。
它已经支持最新的 DeepSeek-V4.1-Flash-1017。Eric 在发布帖中称，Resin 跑 DeepSeek-V4.1-Flash 的性能与 DeepSeek 自研引擎 DeepInfer 相差约 5%—10%，同时具备 HTTP 服务、指标和前缀缓存。
Eric 放出了一张图，对比了 Resin 前后两个版本与 DeepInfer 的解码表现。
DeepSeek-V4.1-Flash 在 128K 上下文下的解码表现
Resin 使用 8 张 B300、EP8，处理 128K 上下文，其中约 124K 是共享前缀、4K 是私有部分。左图横轴是单个用户的生成速度，纵轴是每张 GPU 的总吞吐。蓝色是更新后的 Resin，灰色是旧版，橙色是从 DeepInfer 公布结果中近似取出的曲线。
不必重造整个引擎
Eric 认为，过去让 AI 写推理引擎不太可靠，一个原因是每次都从零开始，把调度和服务层那些难处理的事情重做一遍。
模型能生成 token 之后，服务端还有许多事：请求怎样排队、怎样组成批次、KV Cache 怎样分配，多个请求的相同前缀怎样复用。换一个模型，这些工作仍然要做。
Resin 用 Rust 写了共享的 Engine，负责请求调度、缓存与运行状态。模型侧的 Runner 则负责权重、前向传播和计算内核。
两者通过一份固定的批次计划衔接。Engine 准备好这一轮的 token 和缓存位置，Runner 执行计算、返回结果，再由 Engine 更新进度、回收结束请求的资源，安排下一轮。
这样，Agent 可以集中解决一个明确的任务：让这个模型在这组硬件上算得正确、跑得更快。
Woosuk Kwon 随后引用了 Eric 的帖子。他说，vLLM 也在往同一个方向走，已经投入了很多工作来隔离模型专属代码，而且效果很好；团队还在考虑把更多组件迁到 Rust，Resin 为这个方向提供了一个有说服力的例子。
换一个模型继续做
DeepSeek 之外，Eric 还试了 GLM-5.3-Flash。他写好模型接入 Skill，让 Codex 连夜工作，得到一个带 MTP 的推理引擎。按他的说法，B200、EP4 配置下最高达到每秒 6 万输入 token、1.6 万输出 token。
GLM-5.3-Flash 在 4 张 B200 上的吞吐与交互速度
这张图使用 4 张 B200、NVFP4 和 8K 上下文，比较 EP4、TP4 以及 MTP 的影响。纵轴按单卡统计吞吐，Eric 报出的约 1.6 万输出 token/s 则是四卡量级。
这次过夜实验之前，Eric 已经做了一个月的底层开发，最近一周又受 DeepInfer 启发，补上不少功能和并行能力。他在后续帖中也提到，DeepSeek 和 GLM 都很复杂，前面几天一直在处理 bug、非法内存访问、崩溃和出问题的内核。
项目里的 Skill 把这类工作排出了可执行的顺序：先确定权重、精度、硬件和运行范围，再用参考实现对比 logits 与生成 token。正确性过关后，才进入 CUDA Graph、推测解码和内核优化。
例如，推测解码的草稿可能全部接受、部分接受，也可能全部拒绝。Agent 需要检查这些情况下的模型状态与缓存回滚，随后再通过 HTTP 服务测试并发和前缀复用。优化记录可以保存为原始 JSONL 和 Perfetto trace，下一轮继续沿着实际瓶颈改。
Resin 目前仍是实验项目，想研究新模型或新硬件实现，可以从仓库的 add-resin-model 和 optimize-resin-performance 两份 Skill 入手，也可以把 Resin 作为库导入，保留自己的模型代码。
项目地址：https://github.com/ekzhang/resin
参考链接
-
Eric Zhang 发布帖：https://x.com/ekzhang1/status/2114516258188153215 -
Woosuk Kwon 引用帖：https://x.com/woosuk_k/status/2114543216854991156 -
Eric Zhang 开发补充：https://x.com/ekzhang1/status/2114567676681142474 -
Resin 项目与文档：https://github.com/ekzhang/resin