Michael JohnsonCOBOLシステムでは、動作の細部が重要です。プログラムがエラーなく終了しても、金額の丸め方が変わったり、存在しないレコードの処理が異なったりすることがあります。2026年10月19日、OpenAIは学習データが比較的少ないプログラミング言語を対象とする2つの評価結果を公開しました。20言語を対象とするオープンベンチマークのMultiLangBenchと、COBOL移行の個別テストです。
この発表の実用的な価値は、テストセットそのものを調べ、発表された指標を具体的な作業に照らして比較できる点にあります。つまり、学習データにあまり含まれていない言語でプログラムを作成することと、移行時に既存コードの動作を維持することです。
2つの評価が測る、異なる課題
MultiLangBenchは、モデルが指定された言語でSQLite互換のデータベースエンジンを一から構築できるかを評価します。課題ではコードを構成し、状態を管理し、エラーを処理し、従来の動作を保ちながら機能を追加する必要があります。最終評価はテストの合格率で示され、OpenAIはAPI呼び出しのコストも公表しています。
言語間の比較では、データベースファイルを介した共通の検証方法を用います。実装に元のデータベースとSQLクエリを渡し、変更後のデータベースが期待される結果と一致するかを確認します。OpenAIは公開したテストセットでSQLiteのテストを適応させ、20言語で評価したと報告しています。開発者はMultiLangBenchのリポジトリでコードと結果を確認できます。
もう一つの評価は、既存のCOBOLプログラムをC++、Java、Kotlin、Python、またはRustへ移行することを対象としています。ここでは、観測可能な動作を正確に維持できるかが成否を左右します。OpenAIは、出力がバイト単位で一致することを求める非公開テストを使用しました。同社は、丸め規則や欠落レコードの処理といった細部が重要だと指摘しています。
公表された数値が示すもの
OpenAIによると、GPT‑6 Astraは最高の推論レベルでMultiLangBenchの20言語平均テスト合格率87.4%を記録しました。GPT‑5.6 Solについては26.8%としています。COBOL移行テストでは、GPT‑6.1 Solが低い推論レベルで86.6%の精度を示したのに対し、同じ条件でのGPT‑5.6 Solは5.4%でした。推論レベルを上げると、GPT‑6.1 Solの結果は97.9%に達しました。
これらの数値は、説明された2つのテストシナリオに関するものです。MultiLangBenchは範囲を限定したSQLite互換エンジンの作成を評価し、COBOLテストは非公開テストによってプログラム群の出力維持を検証します。そのため、これらの数値は独自のテストに進む候補を選ぶ際には役立ちますが、あらゆる企業のコードベースを直接評価するものではありません。OpenAIは10月19日付の研究解説で、手法と結果を公開しました。
モダナイゼーション計画でテストを活用する方法
レガシーシステムの移行を検討するチームにとって、次の有効な一歩は、重要なビジネスルールを検証可能な動作の集合に変えることです。境界値の金額、丸め、空または存在しないレコード、エラーなどを含む代表的な入力と期待される出力を集めましょう。元のプログラムの結果を記録し、その後、候補となるモデルを同じテストセットで評価します。
合格率だけで比較しないことも重要です。呼び出しコスト、手作業での修正回数、差異の種類を記録し、テスト対象のコードでは網羅できない可能性がある外部システムとのインターフェースや依存関係も個別に検証しましょう。このプロセスを通じて、モデルがモジュールの調査や書き換えに役立つ箇所と、重要なロジックを手作業による管理や専門的なテストの対象として残すべき箇所が見えてきます。
10月19日の発表により、利用可能な例が比較的少ない言語でコードモデルを評価するための、再現可能な出発点が加わりました。実際の判断で最も重要なのは、公開テストを自社システムのルールと照らし合わせることです。移行に適しているかどうかを決めるのは、移行先の言語の構文に慣れているかではなく、動作が一致するかどうかです。