推理成本直降78%、API费用降低97%，aiXcoder开源aiXcompact-4B上下文压缩模型

11月11日，硅心科技（aiXcoder）正式开源上下文压缩专用小模型aiXcompact-4B，支持单张A100-40GB显卡私有化部署。该模型面向编程智能体长程复杂研发场景，旨在解决上下文膨胀导致的Token高耗与推理质量下降问题，通过结构化压缩精简历史上下文，在保留关键任务信息的同时大幅降低推理成本。

开源地址：

https://github.com/aixcoder-plugin/aiXcompact-4B

测试数据显示，aiXcompact-4B可将历史上下文平均压缩至原长度的25.89%。相较于主流Agent Harness直接调用通用大模型进行压缩的方式，该模型在降低Token开销、提升压缩效率的同时，兼顾了压缩质量与后续任务执行效果。

在Terminal-Bench基准测试中，接入aiXcompact-4B后，OpenCode相对于DeepSeek-V4-Pro的整体任务完成准确率未出现下降。在私有化部署场景下，针对特定任务的Benchmark显示，其单次GPU推理成本较DeepSeek-V4-Pro直降78%。

采用API调用方式估算，aiXcompact-4B单次上下文压缩请求的Token费用仅为0.019元。相比DeepSeek-V4-Pro、GLM-5.3和Qwen3.8-Max，费用分别降低97.30%、97.08%和97.98%，为高频上下文压缩提供了更具性价比的选择。

在企业级研发场景中，Agent需执行跨多文件、多环节的复杂迭代任务。以新增用户注册功能为例，Agent需理解项目结构、查找逻辑、修改文件、运行测试并根据日志反复调整。

多轮交互导致文件读取、工具调用和执行日志不断累积，引发上下文持续膨胀，直接推高Token总量、推理时延及算力成本。同时，重要工程约束与过程信息混杂，易导致智能体遗忘早期需求、丢失关键报错信息，造成长任务推理质量下滑。即便使用大上下文窗口模型，也难以完全规避长上下文性能退化问题。

因此，编程Agent需要动态治理历史上下文，过滤无效信息并保留关键业务约束。aiXcompact-4B通过减少多轮执行中的重复Token消耗，在控制成本的同时，让有限窗口承载更多有效信息。

AI研发上下文包含用户需求、分析过程、工具调用及返回结果等明确结构。aiXcompact-4B创新采用结构化判别机制，对历史轨迹生成三类处理决策：

所有决策均有操作记录供开发者检查。此外，模型还会生成结构化任务摘要，记录用户意图、关键技术信息、错误修复及待办事项。输出的不是无结构文本，而是可直接提供给Agent继续执行的消息序列，维持工具调用与返回结果的配对关系，保障任务无缝接续。

该机制将历史上下文平均压缩至原长度的25.89%，为后续调用腾出空间，有效降低整个研发任务的总Token消耗。

在大幅减少Token消耗的同时，aiXcompact-4B注重压缩后信息的完整性。评测显示，其在规则综合分、信息保留等关键指标上，表现接近参数量达1.6万亿的DeepSeek-V4-Pro。

这一成果得益于“教师大模型蒸馏 + 4B学生模型LoRA微调 + 结构化压缩决策”的技术路径。训练数据全部来源于真实研发场景下的Agent运行轨迹，经归一化、筛选及采样后，由教师模型生成参考决策并校验，用于学生模型专项训练。这种将高频特定任务从通用大模型中拆分出来的方式，实现了低成本、高效率的专用能力构建。

aiXcompact-4B是aiXcoder践行“场景定义模型”理念的最新成果。此前，公司已推出面向代码生成与补全的aiXcoder-7B、面向代码变更应用的aiXapply-4B以及面向Token消耗优化的aiXpruner-4B。即将推出的aiXdecision模型将专注于Agent决策环节。

此次开源将小模型矩阵拓展至Agent上下文管理环节，体现了aiXcoder通过大小模型协同支撑不同领域复杂任务的技术路线。

aiXcompact-4B开源地址：

https://github.com/aixcoder-plugin/aiXcompact-4B

欢迎下载体验，共同探索大小模型架构在企业级AI研发私有化和领域化落地的更多可能。