对于基于COBOL的系统,行为细节至关重要:程序可能顺利运行,却以不同方式进行金额舍入,或处理缺失记录。2026年10月19日,OpenAI公布了两项针对训练资料较少的编程语言的评估结果:涵盖20种语言的开放基准MultiLangBench,以及一项单独的COBOL迁移测试。

这项公告的实际价值在于,读者可以查看测试集本身,并将公布的指标与具体任务联系起来:用训练资料较少的语言编写程序,以及在迁移旧代码时保持其原有行为。
两项评估,两种不同任务
MultiLangBench测试模型能否从头开始,以指定语言构建兼容SQLite的数据库引擎。任务要求组织代码、管理状态、处理错误并添加功能,同时保持既有行为。最终成绩按通过测试的比例计算;OpenAI还公布了API调用成本。
为了比较不同语言,测试采用统一的数据库文件校验方式:实现程序接收原始数据库和SQL查询,随后检查修改后的数据库是否符合预期结果。在已公布的测试集中,OpenAI对SQLite测试进行了适配,并称评估覆盖20种语言。开发者可以在MultiLangBench代码仓库中查看代码和结果。
另一项评估关注将现有COBOL程序迁移到C++、Java、Kotlin、Python或Rust。能否成功取决于是否精确保留可观察到的行为:OpenAI采用了隐藏测试,要求输出内容逐字节一致。公司特别指出,舍入规则和缺失记录的处理等细节十分重要。
公布的数字意味着什么
据OpenAI称,在最高推理级别下,GPT‑6 Astra在MultiLangBench中20种语言的平均测试通过率为87.4%;GPT‑5.6 Sol的对应成绩为26.8%。在COBOL迁移测试中,GPT‑6.1 Sol于低推理级别下的准确率为86.6%,而同一模式下GPT‑5.6 Sol为5.4%。在更高推理级别下,GPT‑6.1 Sol的成绩达到97.9%。
这些指标只适用于上述两种测试场景。MultiLangBench评估的是构建受限的SQLite兼容引擎,而COBOL测试则通过隐藏测试检查一组程序的输出是否得到保留。因此,这些数字适合用于筛选下一步要自行测试的候选模型,而不能直接用来评判任何企业代码库。OpenAI在10月19日发布的研究说明中公布了方法和结果。
如何将测试用于系统现代化项目
对于考虑迁移遗留系统的团队,下一步可以把关键业务规则转化为可验证的行为测试。整理具有代表性的输入和预期输出,其中应包括边界金额、舍入、空记录或缺失记录,以及错误情况。记录原始程序的结果,然后用同一套测试评估候选方案。
不要只比较测试通过率。还应记录调用成本、人工修正次数和差异类型;此外,要单独检查与外部系统的接口,以及测试片段可能未涵盖的依赖。这样的流程可以帮助团队判断模型在哪些方面有助于分析和重写模块,哪些关键逻辑仍应由人工把关并通过专门测试验证。
10月19日的公告为评估训练样例较少的语言中的代码模型提供了一个可复现的起点。实际决策的关键在于,将开放测试与系统自身的规则进行对照:决定迁移是否适用的,是行为能否一致,而不是模型是否熟悉目标语言的语法。