10 个关键问题Q&A
-
什么是低资源编程语言？
模型可学习的公开代码、文档较少，但支撑关键基础设施的编程语言，典型代表 COBOL、Fortran、Visual Basic。
-
COBOL 语言当前承担哪些业务？
支撑超 40% 网上银行系统、80% 线下信用卡交易、95% ATM 交易等金融核心业务。
-
MultiLangBench 评测任务是什么？
测试模型从零编写兼容 SQLite 的数据库引擎，覆盖 20 门编程语言，检验代码实现功能正确性。
-
MultiLangBench 如何校验代码正确性？
输入数据库与 SQL 语句，对比模型生成数据库与官方 SQLite 输出，校验数据一致性。
-
GPT‑6 Astra 在 COBOL 任务表现如何？
MultiLangBench 评测中 COBOL 通过率由 10.9% 提升至 72.1%，仍是 20 门语言中难度最高的。
-
COBOL 代码迁移评测最大难点是什么？
COBOL 独特定点数截断、业务记录处理规则；迁移不仅要程序可运行，输出必须字节级完全一致。
-
GPT‑6.1 Sol 在 COBOL 迁移最高准确率是多少？
调高推理强度后，准确率可达 97.9%。
-
GPT‑6 Luna 产品定位是什么？
低成本模型版本，所有被测语言性能优于 GPT‑5.6 Sol，API 调用成本大幅下降。
-
MultiLangBench 评测套件是否开源？
已在 GitHub 开源评测框架与测试用例，附带各语言评测结果。
-
AI 迁移完成的 COBOL 代码能否直接上线生产？
不能，必须安排专业工程师复审，对照业务规则和依赖做完整测试。
原文来源：OpenAI 官方文章《Advancing coding in low‑resource programming languages》 （音频：7 分 21 秒） 分享链接：https://openai.com/index/low-resource-programming-languages/
OpenAI 最新模型升级，在COBOL、Fortran、Visual Basic这类低资源编程语言上，代码编写与迁移能力显著增强。和 Python、JavaScript 相比，这类语言可供模型学习的开源代码与文档更少，但它们支撑着全球大量关键基础设施与基础服务。
COBOL：支撑超 40% 网上银行系统、80% 线下信用卡交易以及 95% ATM 取款交易； Fortran：广泛用于气象、核工程等科研计算领域。
提升 AI 处理这类语言的能力，能够帮助技术团队维护、现代化改造这些支撑基础服务的老旧软件系统。
这项研发工作来自开发者与企业客户反馈：现有代码大模型在这类老旧编程语言上表现普遍不佳。维护与改造这类系统存在诸多难点：文档残缺、原始开发人员早已离职，大量核心业务规则只埋藏在代码之中。无论团队是修复 bug，还是将系统迁移到新语言，都必须保证原有系统行为完全不变。
为衡量模型能力进展，OpenAI 设计了两套评测基准：
- MultiLangBench
测试模型从零编写兼容 SQLite 的数据库引擎，覆盖 20 种编程语言； - COBOL 迁移评测集
测试模型在保留原有业务行为前提下，把存量 COBOL 程序迁移到其他语言。
两套评测分别对应两类核心软件工程能力：从零开发新软件、保留原有软件逻辑。 最新模型在两项评测上均取得大幅提升，准确率更高，调用成本更低。
MultiLangBench：从零构建 SQLite 数据库引擎
MultiLangBench 的任务：让模型使用指定编程语言，实现一个兼容 SQLite 的数据库引擎。模型需要搭建完整代码库、管理状态、处理异常、新增功能，同时保证原有功能不被破坏。
评测方案：以数据库文件作为统一交互接口。待测程序接收初始数据库与 SQL 语句，输出修改后的数据库文件；再用官方 SQLite 参考实现校验输出内容是否符合预期。这套方案可以跨编程语言执行完全一致的测试用例。评测用例改编自 SQLite 原生测试套件，衡量模型在长代码任务中可实现的有效功能规模，同时统计测试通过率与 API 调用成本。
在最高推理强度下：
- GPT‑6 Astra
20 门语言平均测试通过率 87.4%；前代 GPT‑5.6 Sol 仅 26.8%。所有被测语言均有提升：COBOL（10.9% →72.1%）、OCaml（25.6%→85.8%）、Fortran（21.4%→83.5%）、Visual Basic（27.5%→89.4%）。20 门语言里有 19 门得分超过 83%；COBOL 依旧是最难的，得分 72.1%。 - GPT‑6 Luna
低成本版本，所有语言同样优于 GPT‑5.6 Sol。最高推理强度下平均通过率 40.3%；COBOL (10.9%→17.1%)、OCaml (25.6%→34.1%)、Fortran (21.4%→31.4%)、Visual Basic (27.5%→41.6%)。单样本 API 成本约 0.77 美元，相比 GPT‑5.6 Sol 的 3.48 美元，降低约 78%。
OpenAI 已在 GitHub 开源 MultiLangBench 评测框架与测试套件：https://github.com/openai/MultiLangBench，附带各语言详细评测结果。开发者可以查看评测范围、查阅对应语言模型表现，定位自身业务场景下的能力短板。
COBOL 代码库迁移评测
第二项评测任务：模型把 COBOL 程序迁移到 C++、Java、Kotlin、Python 或 Rust，必须完全保留原有程序行为。
成功迁移，不仅要读懂业务逻辑，还必须吃透 COBOL 独特的语言行为。COBOL 多用于金融交易、业务记录处理，像数值舍入规则、空记录处理逻辑都绑定业务要求。例如 COBOL 定点数默认直接截断小数，不会自动舍入；如果重写代码时擅自增加舍入逻辑，程序虽然能正常运行，但金融计算结果会出错。
评测采用隐藏测试用例，要求可观测输出做到字节级一致，全部用例通过才算迁移成功。
提示：该能力适合老旧系统维护与现代化改造，但投入生产环境仍需要专业工程师复审，并对照业务规则和依赖做完整测试。
评测结果：
- GPT‑6.1 Sol
低推理强度下准确率 86.6%；同配置下 GPT‑5.6 Sol 仅 5.4%，API 成本仅为前代的 61%。 -
调高推理强度，准确率可达 97.9%，评测集性能接近天花板。
该结果证明：面向企业老旧系统现代化改造，AI 代码迁移已经朝着更高准确率、更低成本方向显著进步。
面向企业软件的能力升级
两套评测，加上开发者与企业客户的真实反馈，帮助 OpenAI 持续定位模型优势与不足。
长期目标：让大模型掌握跨语言软件工程能力 —— 读懂陌生代码仓库、规划代码变更、调用构建工具、执行测试、定位调试故障。
开发者可以通过 API 调用最新模型，开展多语言代码开发任务。大家反馈的模型卡点、需要优先支持的编程语言与工作流，会反向指导模型训练与评测迭代，更好支撑企业核心业务系统。