岩山科技开源EdgeRock-4B：长推理显存恒定，吞吐提升6.4倍
在大模型推理成本中，KV Cache（键值缓存）是主要的内存开销来源。此前谷歌论文指出KV Cache可压缩6倍，曾引发存储芯片市场波动。如今，这一领域迎来更突破性的进展。
岩山科技旗下岩芯矩阵联合香港科技大学、卡内基梅隆大学（CMU等高校发布并开源了EdgeRock-4B模型。该模型实现了在上下文从4K扩展至256K的过程中，KV Cache占用始终固定在72MiB，相比源模型减少99.1%。
实测数据显示，在单张80GB显卡上，EdgeRock-4B支持512路并发长推理，输出吞吐达12124 tokens/s，是源模型的6.42倍。同时，其推理能力并未受损，AIME 2024—2026平均一次通过率为82.9%，远超同类有界状态模型。
传统推理的显存困境
随着大模型“深度思考”能力及Agent多轮工具调用的普及，上下文长度动辄数万token。传统Transformer架构将推理历史存入KV Cache，每生成一个token，缓存便相应增加。以Qwen3.5-4B为例，推理至256K时，单条序列需占用8 GiB显存。
显存随长度线性增长，导致单卡并发能力受限，且在端侧设备中与感知、控制模块争夺有限资源。业界现有解决方案主要分为两类：
- 压缩量化：如MLA、KIVI及谷歌TurboQuant，虽降低单token成本，但缓存总量仍随推理增长。
- 有界状态模型：如RNN、Mamba等，内存固定但难以保留远处细节，导致推理能力大幅下降。
EdgeRock旨在解决核心矛盾：如何在固定内存中，有效保留推理所需的关键细节。
单卡512路并发，显存占用恒定
在单张Hopper 80GB GPU上，设定32K输入与32K输出的测试环境下，EdgeRock-4B展现出显著的性能优势：
- 高并发吞吐：EdgeRock-4B支持512路并发，输出吞吐12124 tokens/s；而Qwen3.5-4B最佳配置仅1889 tokens/s，其他同类模型也在1700-2200 tokens/s区间。
- 显存效率：Qwen3.5-4B每条序列需2 GiB KV Cache，512路并发需约1 TiB显存（约13张80GB卡）；EdgeRock-4B每条序列历史状态固定为97.76 MiB，峰值显存仅61.26 GiB，单卡即可承载。
此外，EdgeRock具备优秀的扩展性与稳定性。在4K至32K不同负载下，加权解码吞吐最高达12497 tokens/s。由于计算量不随上下文增长，其在长文本生成中速度保持恒定（233.7 tokens/s），避免了传统模型“越写越慢”的问题。
算力成本大幅降低，部署更具确定性
显存效率的提升直接转化为成本优势。在相同负载下，EdgeRock-4B所需的GPU时间仅为Qwen3.5-4B的15.6%-24.9%。平均吞吐是Qwen3.5-4B的4.94倍，是LFM2.5-2.6B的7.18倍。上下文越长，成本优势越明显。
固定内存特性还为部署带来确定性：
- 推理服务：可按请求数精确规划容量，无需预估请求时长。
- 端侧设备：一次性分配内存，避免长推理导致内存溢出。
- 智能体与芯片：历史内存不再随工具调用增长，甚至可将全部状态放入片上存储。
智力未打折：关键基准表现优异
针对有界状态模型通常存在的推理能力衰退问题，EdgeRock-4B进行了专项优化。在与16个有界状态模型（含14B级别模型）的对比中：
- AIME 2024–2026：EdgeRock-4B一次通过率82.9%，远高于最强的RWKV-7（18.8%）和AHN-GDN（11.4%）。
- 文本基准：在29项测试中，24项排名第一，均值比最强基线高出23.8个百分点。
- 对比源模型：保留了Qwen3.5-4B 96.3%的AIME能力和95.3%的视觉基准得分，并在MMLU-Pro、HumanEval等8项指标上实现反超。
核心技术：记忆岩锚（RMA）
EdgeRock的核心创新在于“记忆岩锚”（Rock Memory Anchors, RMA）机制。该机制将历史信息分为三部分：
- 循环状态：概括上下文大意。
- 局部窗口：覆盖最近1024个token，处理即时信息。
- 锚点库：从早期历史中筛选并固定最有价值的细节。
RMA通过评分网络对候选记录打分，每累积256条候选，保留得分最高的1024条作为锚点。这些锚点内容不变且独立，确保模型能随时读取远处的关键信息。实验显示，关闭RMA模块后，长上下文问答准确率从94.1%骤降至0.4%，证实了锚点在远距离回忆中的决定性作用。
架构上，EdgeRock-4B基于Qwen3.5-4B改造，无需从头预训练，通过分阶段转换即可实现。目前，模型权重与代码已开源，支持商用，更多参数规模的版本也在开发中。这一技术为机器人长时运行、端侧部署等场景提供了新的解决方案。