当前，以大模型和智能体为代表的新一代人工智能技术快速演进，大模型代码能力正由局部任务向复杂软件工程问题解决拓展。面向产业界实际需求，近日，中国信息通信研究院（简称“中国信通院”）组织完成了2026年第三季度大模型代码能力专项测试。
“方升-Code”基准测试体系介绍
自2024年起，中国信通院持续开展“方升-Code”大模型代码能力基准测试研究。2025年12月，联合复旦大学、北京航空航天大学等多所高校及百度、腾讯、华为等企业启动评测体系升级，正式发布“方升-Code”V2.0基准测试体系。
“方升-Code”V2.0以构念清晰、任务真实、测量稳定为建设要求，具备以下五大特点：
一是立足真实工程任务。保留真实项目仓库上下文与约束，考察模型理解需求、自主完成任务及验证结果的能力。
二是兼顾难度与可用性。按软件复杂度分级，综合评价结果正确性、工程质量、实际价值、效率成本与过程表现。
三是保障数据质量并动态更新。通过自动验证、人工复核及泄漏检测，确保任务描述与验收标准一致。
四是强化执行管控与过程分析。在隔离环境中控制资源访问，记录工具调用与代码修改轨迹，支撑结果验证。
五是推动评测资源开源共享。开放部分数据集与评测方法，支持结果复现与企业内部测试。
“方升-Code”基准测试体系
“方升-Code”测试数据和测试方法
当前，“方升-Code”V2.0已累计构建超过5000条评测数据。本次测试涵盖代码生成、代码问题解决、单元测试、研发问答4项任务，选取高、中、低不同难度等级测试数据300条，对国内外22个典型大模型开展测试。
“方升-Code”代码能力测试模型名单（2026 Q3）
“方升-Code”测试结果
子任务1：代码生成任务测试结果
该任务考察大模型将功能需求转化为完整、可运行代码，并与既有项目接口正确衔接的能力。
代码生成任务模型得分
代码生成任务得分与Token消耗关系
测试结果发现：
一是复杂任务表现拉开模型差距。难度增加时，头部模型表现稳定，部分模型得分明显下降。
二是生成代码仍需完整工程验证。失败主要表现为探索未收敛、仓库集成不匹配及边界场景覆盖不足。
子任务2：代码问题解决任务测试结果
该任务考察模型根据问题描述和代码上下文准确定位缺陷、完成修复并通过测试验证的能力。
代码问题解决任务模型得分
代码问题解决任务得分与Token消耗关系
解决成功结果的代码复杂度和膨胀率
测试结果发现：
一是修复效果与资源消耗非简单正相关。高消耗未必带来更优修复效果，需兼顾效率。
二是需关注生成代码质量。部分结果存在代码膨胀或逻辑复杂问题，影响可维护性。
三是未成功修复结果仍具参考价值。不同模型的辅助价值差异明显，评分从4.1分到8.0分不等。
子任务3：单元测试任务测试结果
该任务考察模型针对复杂函数生成可运行测试用例、覆盖关键路径并设计有效断言的能力。
单元测试任务模型得分
单元测试任务得分与Token消耗
测试结果发现：
一是复杂路径覆盖不足。分支、边界等路径覆盖不充分，控制流理解与测试输入构造能力仍需提升。
二是项目适配不足是编译失败主因。错误集中于API、符号及类型与项目不匹配。
三是指令遵循不足影响可用性。部分结果混入解释文字或格式标记，导致编译失败。
子任务4：研发问答任务测试结果
该任务考察模型理解真实代码库工程机制、查找有效证据并给出准确回答的能力。
研发问答任务模型得分
研发问答任务得分与Token消耗
测试结果发现：
一是头部模型得分接近、优势各异。在引用依据、过程质量和表达准确性等方面各有侧重。
二是高分低消耗模型效率更高。能快速聚焦关键疑点，通过针对性分析与验证形成准确结论。
未来，中国信通院将持续推进大模型代码能力基准测试研究：
一是完善任务体系，拓展端到端应用构建等任务，健全动态校准机制；
二是深化能力诊断，分析模型短板与成因，支撑模型优化与选型；
三是开展分层评价，分别评估模型原生代码能力与代码智能体实际编码能力；
四是推进Harness框架标准化评测，纳入国内代表性框架，区分模型能力与框架效果。
联系方式：
闫老师 13041008356（微信同号） yandongwei@caict.ac.cn
秦老师 13488684897（微信同号） qinsisi@caict.ac.cn
校 审 | 谨言、珊珊
编 辑 | 凌霄
推荐阅读
