近日，Agentic AICon智能体应用与架构工程大会在深圳成功举办。大会聚焦“把Agent落地企业生产环境”的工程实践，覆盖智能体工程、应用、产品及组织四大主线，汇集阿里、腾讯、华为、京东等近60位行业专家，深入探讨智能体从技术创新到规模化应用的工程路径。
aiXcoder算法专家蒋思源受邀出席，发表《Agent系统中的大小模型协作：有限算力下的企业研发架构实践》主题演讲。他指出，企业级Agent规模化应用的关键在于如何让有限算力持续产生更大研发价值。aiXcoder通过“大小模型协作”技术路径，由大模型负责复杂推理与全局规划，专精小模型承接高频执行及垂直领域任务，在清晰分工与统一调度下，提升系统吞吐、降低响应时延，实现有限资源下的高质量研发任务交付。
突破Agent规模化落地的算力成本与并发瓶颈，构建大小模型协作架构
在企业Agent应用中，从需求理解到结果验证的多个环节往往依赖通用大模型，即使是边界清晰、重复性高的任务也频繁占用大量推理资源，导致算力开销高昂。随着Agent应用从试点走向多团队、多任务并发运行，推理成本累积、响应时延增加及系统吞吐压力成为制约规模化部署的核心工程难题。
实际上，Agent执行链路中不同环节对模型能力的需求存在差异：需求理解、方案设计等需要强推理与规划能力；而代码变更、日志筛选、上下文整理等高频任务推理复杂度较低但调用频繁，适合专用模型优化；特定领域任务则可通过针对性后训练形成专精能力。
针对上述痛点，aiXcoder采用大小模型分工协作的系统架构：大模型主导整体规划与复杂推理，经针对性训练的专精小模型处理高频、耗时及具特定约束的领域任务，并将结果返回主Agent。这种分工兼顾算力效率、推理难度与领域专长，使模型能力与工作场景精准匹配，让宝贵的算力资源集中于高价值环节。
真实工程数据驱动，训练小模型专精能力
大小模型协作的有效性取决于专精小模型的可靠性。小模型不仅需掌握单项任务处理方法，还需适应不同代码环境与上下文交互。aiXcoder通过将真实研发场景中的任务约束转化为训练样本和反馈信号，利用针对性数据构建与后训练，赋予小模型融入Agent工作流的专精能力。
在数据构建方面，从代码提交记录、Agent交互轨迹、工具返回证据及企业领域知识中提取数据，将长链路任务拆解为边界明确的子任务，经筛选验证形成贴近实际需求的训练集。在模型训练方面，结合监督微调（SFT）、在线策略蒸馏（OPD）和智能体强化学习（Agentic RL）等技术，持续提升小模型在特定任务中的执行力、可靠性与泛化表现。
SFT（监督微调）：帮助小模型掌握任务基本处理方式。通过学习标注或验证的子任务样本，对齐输入输出要求、操作边界及领域知识，确立基础能力范式。
OPD（在线策略蒸馏）：通过教师模型指导学生模型生成过程。学生在当前策略下生成轨迹，教师提供逐Token监督，调整输出行为以贴近实际执行情况，提升输出可靠性。
Agentic RL（智能体强化学习）：面向多轮工具交互任务。模型在受控环境中尝试完成任务，根据执行结果和验证反馈获得奖励，逐步优化动作选择与工具使用策略。
构建基准测评体系，量化验证大小模型协作效果
除针对性训练外，aiXcoder构建了可验证的Benchmark（基准测试）测评体系，结合单项能力与端到端任务评价，为架构优化提供依据。
单项评测关注小模型职责完成情况，包括代码修改正确性、信息保留度、领域任务效果及延迟吞吐指标；端到端评测则检验接入专精小模型后Agent的整体任务完成效果，并评估整体耗时与算力投入。该体系将小模型收益量化至整个Agent系统，在确保效果不降的前提下，核算Token成本、吞吐量及等待时间，验证“同一套算力完成更多研发任务”的可行性。
多LoRA协同与统一调度，多项专精能力共享算力
随着专精任务增加，独立部署多项小模型会带来沉重的硬件资源开销。为此，aiXcoder创新打造“基于多LoRA的训练与推理”技术架构，为轻量化部署提供路径：围绕兼容基础模型，为不同任务训练专用适配模块，共享基础权重，并统一管理版本、路由和资源。企业可在共享推理资源基础上按需调用，大幅减少重复部署完整模型的硬件负担。
在资源统一调度层面，系统根据任务时效要求、请求特点安排优先级、批次和资源配额，优先响应迫切需求，避免开发者因后台长任务等待。通过底座共享与调度协同，大模型集中处理规划推理，专精小模型服务体系扩展企业能力，实现有限算力承载更多并发研发需求。
aiXcoder小模型矩阵，承接高频执行与领域任务
围绕企业级Agent中的高频子任务，aiXcoder将专精能力封装为可复用的小模型服务，支持主Agent按需调用，减少大模型在高频重复执行上的计算开销，为复杂推理和多任务并发释放算力空间。
aiXcoder-7B代码补全模型：面向企业研发中的代码补全需求，结合上下文自动生成代码，提升编写效率。
aiXapply-4B代码变更应用模型：将大模型生成的代码修改片段准确高效地合并至原始文件，加快变更应用，减少对完整文件的重复生成，并通过控制修改边界降低意外改动风险。
aiXcompact-4B上下文压缩模型：对Agent历史上下文进行结构化分析、筛选和压缩，保留关键信息，降低每轮推理Token消耗，以更低成本支撑复杂任务推进。
aiXpruner-4B Token消耗优化模型：针对文件读取、搜索和日志等工具返回内容，识别并提取与当前任务相关的片段及出处，减少冗余，减缓上下文增长，降低后续推理Token消耗。
aiXdecision-4B决策模型（即将推出）：面向Agent执行过程中的高频判断与决策任务，重点研究上下文管理、工具结果校验、模型选择与任务路由等场景，提供高效决策支持。
随着Agent逐步融入企业研发流程，如何在现有算力条件下兼顾任务质量与运行效率成为规模化应用的关键。aiXcoder通过识别高频耗时工作、利用真实工程数据训练专精能力、建立Benchmark测评体系以及实施共享推理资源与统一调度，展示了大小模型协作的具体实践路径。这一方案旨在充分利用现有算力资源，在保持任务效果的前提下，支撑Agent更高质量、更高效地完成更多研发任务，切实提升企业研发效能。
为什么大模型能力难以直接转化为企业研发生产力？
百万行代码的企业级存量系统，如何用AI迭代？aiXcoder大型复杂软件工程实践
突破复杂公式解析瓶颈，aiXcoder「公式转代码方案」落地航天多家院所
