近日,Agentic AICon智能体应用与架构工程大会在深圳成功举办。大会聚焦“Agent落地企业生产环境”的工程实践,覆盖智能体工程、应用、产品及组织四大主线,汇聚阿里、腾讯、华为、京东等近60位行业专家,深入拆解智能体从技术创新走向规模化应用的工程路径。
aiXcoder算法专家蒋思源受邀出席,并发表《Agent系统中的大小模型协作:有限算力下的企业研发架构实践》主题演讲。
蒋思源指出,企业级Agent规模化应用的关键,在于如何让有限算力持续创造更大的研发价值。aiXcoder长期深耕企业级AI私有化部署与领域化落地,提出以“大小模型协作”为核心技术路径:由大模型负责复杂推理与全局规划,专精小模型承接高频执行任务及垂直领域特定任务。通过清晰的模型分工与统一资源调度,充分释放企业现有算力潜能,提升系统吞吐量,降低响应时延,从而在有限资源下完成更多高质量研发任务。
突破算力成本与并发瓶颈,构建大小模型协作架构
在当前企业Agent应用中,从需求理解、任务规划到工具调用及结果验证,多个环节均依赖通用大模型。即便是边界清晰、重复性高的任务,也频繁占用大量推理资源,导致算力开销高昂。随着Agent应用从小规模试点转向多团队、多任务并发运行,推理成本累积、响应时延增加及系统吞吐压力增大,成为制约规模化部署的核心工程难题。
事实上,Agent执行链路中不同环节对模型能力的需求存在差异:需求理解、方案设计及跨模块处理依赖强推理与规划能力;而代码变更应用、日志筛选、上下文整理等高频任务,虽然推理复杂度较低,但调用频率高、累计Token消耗大,适合通过专用模型优化;特定领域任务则可通过针对性后训练形成专精能力。
针对上述痛点,aiXcoder采用大小模型分工协作的系统架构:大模型主导整体规划与复杂推理,经针对性训练的专精小模型承接高频、耗时及具特定约束的领域任务,并将结果与证据返回主Agent。
这种分工不仅考量算力效率与推理难度,更兼顾领域专长,确保模型能力与工作任务精准匹配。企业可将宝贵的大模型资源集中于需复杂思考的环节,让有限算力投入更具价值的工作。
真实工程数据驱动,训练小模型专精能力
大小模型协作的有效性,取决于专精小模型能否可靠执行受托任务。除掌握单项技能外,小模型还需适应不同代码、上下文及环境交互,在实际研发流程中保持稳定表现。
为此,aiXcoder将真实研发场景的任务约束转化为训练样本与反馈信号,通过针对性的数据构建与后训练,赋予小模型融入Agent工作流的专精能力。
在数据构建方面,aiXcoder从代码提交记录、Agent与工具交互轨迹、工具原始证据及企业领域知识中提取数据,将长链路研发任务拆解为边界明确的子任务,经构造、筛选和验证形成训练集。这些数据保留了真实任务的输入、约束与结果,使训练更贴近企业实际需求。
在模型训练方面,基于真实工程数据,结合监督微调(SFT)、在线策略蒸馏(OPD)和智能体强化学习(Agentic RL等技术,持续提升专用小模型在特定任务中的执行力、可靠性与泛化性。
- SFT(监督微调):帮助小模型掌握任务基本处理方式。通过标注或验证的子任务样本,让模型学习输入输出要求、操作边界及领域知识,对齐基础能力。
- OPD(在线策略蒸馏):教师模型指导学生模型生成过程。学生模型按当前策略生成轨迹,教师模型提供逐Token监督,帮助学生调整输出行为,提升执行可靠性。
- Agentic RL(智能体强化学习):面向多轮工具交互任务。模型在受控环境中尝试完成任务,根据执行结果获得奖励反馈,逐步优化动作选择与工具使用。
构建基准测评体系,量化验证协作效果
除针对性训练外,aiXcoder构建了一套可验证的Benchmark(基准测试)测评体系,结合单项能力与端到端任务评价,为大小模型协作架构的选择与优化提供依据。
单项评测关注小模型是否履行职责,包括代码修改正确性、信息保留度、领域任务效果以及延迟和吞吐指标;端到端评测则检验接入专精小模型后Agent的整体任务完成效果,评估整体耗时与算力投入。
完善的评测体系将每个专精小模型的收益量化至整个Agent系统,在确保整体效果不降的前提下,核算Token成本、吞吐量及等待时间,并映射至具体企业研发任务,验证“同一套算力完成更多研发任务”的可行性。
多LoRA协同与统一调度,共享算力资源
随着专精任务增加,独立部署多项小模型会带来新的硬件资源开销。若每项服务都加载完整模型,重复的权重和资源占用将限制同一硬件承载的服务数量。
aiXcoder创新打造“基于多LoRA的训练与推理”技术架构,为多个小模型共同服务企业研发提供轻量化部署路径:围绕兼容基础模型,为不同任务训练专用适配模块,共享基础权重,并统一管理模型版本、任务路由和运行资源。企业可在共享推理资源基础上,按需灵活调用不同专精模型,减少重复部署带来的硬件开销。
在资源统一调度上,系统根据任务时效要求、请求特点安排优先级、批次和资源配额,优先响应迫切任务,避免开发者因后台长任务而持续等待。
通过底座共享与调度协同,大小模型分工落实至算力有效利用层面:大模型集中处理规划与复杂推理,专精小模型服务体系持续扩展企业能力,让有限算力承载更多并发研发需求。
aiXcoder小模型矩阵,承接高频与领域任务
围绕企业级Agent中的高频子任务,aiXcoder将专精能力封装为可复用的小模型服务,支持主Agent按需调用,减少大模型高频重复执行的计算开销,为复杂推理和多任务并发释放算力空间。
- aiXcoder-7B代码补全模型:面向企业研发代码补全需求,结合上下文自动生成代码,提升编写效率。
- aiXapply-4B代码变更应用模型:将大模型生成的代码修改片段,按原有格式与上下文结构准确合并至原始文件,加快变更应用,减少完整文件重复生成,同时控制修改边界,降低意外改动风险。
- aiXcompact-4B上下文压缩模型:对Agent历史上下文进行结构化分析、筛选和压缩,保留关键信息,降低每轮推理Token消耗,以更低成本支撑复杂任务高效推进。
- aiXpruner-4B Token消耗优化模型:识别文件读取、搜索和日志等工具返回内容中与任务相关的片段,提取内容及出处,减少冗余,减缓上下文增长,降低后续推理Token消耗。
- aiXdecision-4B决策模型(即将推出):面向Agent执行过程中的高频判断与决策任务,重点研究上下文管理、工具结果校验、模型选择与任务路由等场景,提供高效决策支持,完善大小模型协作体系。
随着Agent逐步融入企业研发流程,如何在现有算力条件下兼顾任务质量与运行效率,成为规模化应用的重要课题。
aiXcoder此次分享展示了大小模型协作的具体路径:从Agent研发链路中识别高频、耗时工作,以真实工程数据和验证反馈训练模型专精能力,通过Benchmark测评整体效果,再以共享推理资源和统一调度提高运行效率。
这一实践始终围绕企业核心目标:充分利用现有算力资源,在保持Agent任务效果的前提下,让有限算力支撑更高质量、更高效的研发任务,有效提升企业研发效能。
为什么大模型能力难以直接转化为企业研发生产力?
百万行代码的企业级存量系统,如何用AI迭代?aiXcoder大型复杂软件工程实践
突破复杂公式解析瓶颈,aiXcoder「公式转代码方案」落地航天多家院所

