软件开发是大模型应用最广泛、最具价值的方向之一。随着大模型和智能体深入软件研发全流程,科学衡量其能力边界、工程价值与资源效率,已成为推动技术进步和产业应用的重要基础。当前,大模型评测基准持续丰富,但真实研发任务覆盖不足、评价判据一致性不够、测试结果难以复现等问题仍然存在,单纯追逐榜单分数容易带来评价偏差与资源浪费。建立贴近真实工程任务、覆盖软件研发全生命周期、能够解释问题所在的评测体系,成为业界共同关注的方向。
2026年11月7日下午,“大模型辅助软件开发能力评测技术论坛”在2026 CCF中国软件大会期间举办。会上由中国信息通信研究院人工智能研究所平台与工程化部主任曹峰作开场致辞,由复旦大学吴毅坚教授和中国信通院人工智能研究所工程师闫东伟主持,来自中国信通院、华为技术有限公司、北京航空航天大学、中国科学院计算机网络信息中心、南洋理工大学、北京硅心科技有限公司等单位的专家与代表参会,围绕大模型与智能体代码能力基准测试体系、关键技术与工程实践开展深入交流。
图1:大模型辅助软件开发能力评测技术论坛
会议伊始,中国信息通信研究院人工智能研究所曹峰主任致辞并作开场介绍。他指出,大模型基准测试应贴近真实研发任务,避免片面追逐榜单分数带来的评价偏差与资源浪费。他介绍,中国信通院自2024年起持续开展“方升-Code”大模型代码能力基准测试,近期联合复旦大学、北京航空航天大学、天津大学、东北大学、中国科学院计算机网络信息中心及行业头部企业将评测范围从代码编写拓展至需求、设计、开发、测试、运维全生命周期,并牵头推进代码大模型基准测试相关ITU国际标准及行业、团体标准研制,将评测实践转化为规范要求。他表示,本次论坛旨在汇聚产学研用各方力量,共同解决真实场景覆盖、评价依据一致、测试结果可复现等问题,推动形成更加科学、开放、可持续的评测体系。
在主题演讲环节,曹峰主任以《方升-Code基准测试体系介绍及测试结果解读》为题,介绍了基准测试体系的框架设计与最新测试结果。他提出,大模型评测的基本单位正从“一次生成”迁移到“一条任务轨迹”,评价维度由准确性、流畅性、相关性扩展至目标达成、稳定性、恢复率、成本与可追溯。升级后的体系覆盖需求分析、软件设计、智能编码、软件测试、软件运维全生命周期。本轮测试显示,模型综合能力较2024年初有明显提升,但各环节能力分布并不均衡,过半数模型生成结果的代码规模高于参考结果,同分模型的Token消耗差异同样显著,为工程选型提供了新的参考维度。
图1:中国信息通信研究院曹峰主题演讲
华为技术有限公司高级技术专家王千祥以《软件开发智能体的评测:价值、要点与建议》为题,从测、验、评三个层次辨析了软件开发智能体的评价方法,并提出“Agent = LLM + Harness + RSI”的智能体构成公式。他指出,随着代码生成门槛下降,验证环节成为大模型时代软件工程的深水区,评测目标应从“智力好”转向“新三好”,以任务完成度衡量智力、以Token消耗衡量成本等综合指标进行评估,同时提出与已有评测机构、开源社区、典型客户及学术机构联合共建评测集的四条落地建议。
图2:华为技术有限公司王千祥主题演讲
北京航空航天大学教授石琳在《从单点测评到全流程画像——软件研发大模型评测基准构建与实践》报告中,介绍了团队基于真实工程样本构建的方升-需求ReqBench、方升-测试TestBench、方升-问答QABench三类基准。团队依据工程证据明确评分要点,并结合程序计分与人工复核,提高评分的一致性。评测结果显示,国内头部模型在需求和测试任务中已进入第一梯队,但在高难度测试任务中,模型仍容易遗漏核心测试点和测试用例的前置条件。
图3:北京航空航天大学石琳主题演讲
中国科学院计算机网络信息中心副研究员裴昶华以《智能运维如何科学评测:从能力基准到真实场景验证》为题,结合团队与中国信通院共建“方升-Code”软件运维评测基准的实践,介绍了运维评测从单项能力测试走向真实场景验证的思路。他以OpsEval 3.0为例,说明如何在真实系统中考察智能体定位和修复故障的能力,以业务是否恢复判断修复成效,并通过多次执行检验其可靠性。同时团队还建设了OpsSigma故障注入靶场,以相对竞争、竞争覆盖、时间线索三要素为故障难度打分,支撑故障的生成与进化。
图4:中国科学院计算机网络信息中心裴昶华主题演讲
南洋理工大学博士后王翀以《软件复杂性视角下的智能化开发评测》为题,探讨如何在功能正确性的基础上评估代码质量。他指出,可信的代码评测需要同时考虑任务复杂度、测试充分性和补丁可接受性。部分跨文件任务已在需求中指明待修改的代码,仅凭改动规模容易高估实际求解难度。研究显示,任务复杂度提升后,模型在各评测集上的解出率明显下降。他建议从结构与决策两个维度改进评测,在任务设计中提高结构复杂度,在结果评价中考察模型能否遵循项目设计约束、作出合理的设计决策。
图5:南洋理工大学王翀主题演讲
最后,北京硅心科技有限公司算法专家蒋思源以《企业代码智能体评测:从基准构建到系统级验收》为题,介绍了在企业内部如何将真实代码合并请求(PR)转化为评测任务。智能体依据任务描述和代码仓库基线生成补丁,验收端使用参考修复和隐藏测试用例验证结果。为适配企业私有依赖和租户差异,团队记录每项任务的知识快照、环境版本和系统状态。他还介绍了RepoMeasure方法,通过模型模拟并比对候选实现与参考实现的行为路径,无需运行程序即可预测验收结果。在跨模型实验中,预测通过率与实际执行通过率接近。
图6:北京硅心科技有限公司蒋思源主题演讲
下一步,中国信通院将围绕“探前沿、引研用、聚生态”三条主线推进相关工作,持续完善评测体系与数据基础,深化面向真实工程任务的评测方法,完善“模型—应用”分层评价框架,并搭建开放共享平台、推动国内评测实践与国际标准互认。欢迎业界各方积极参与,共同推动大模型辅助软件研发能力评测体系更加科学、开放与可持续,为大模型能力提升、企业应用选型和软件产业智能化发展提供支撑。
联系人
中国信通院人工智能研究所
闫老师:13041008356(微信同号)
齐老师:18686962307(微信同号)

