Michael JohnsonCOBOLプログラムを現代的な言語に移行する際、構文を保てても金額の計算ルールが変わってしまう可能性がある。OpenAIはまさにこの問題を扱う10月19日の発表を公開し、COBOL、Fortranなど学習用データが比較的少ない言語でのモデルのテスト結果を報告するとともに、MultiLangBenchを公開した。
旧式の企業システムを保守するチームにとって、この発表の価値は、報告された数値だけでなく、異なる2種類の検証にある。一方は複数の言語でゼロからプログラムを作成する能力を評価し、もう一方はCOBOLコードの移行後に観測可能な挙動が保たれるかを調べる。これらのタスクでは必要なテストが異なり、導入時のリスクとの関係もそれぞれ違う。
2つのベンチマーク、2つのエンジニアリング課題
MultiLangBenchでは、モデルはクエリを受け付け、データベースファイルを変更するSQLite互換エンジンを作成する。OpenAIによると、20言語でのテスト平均合格率は、最大の推論レベルでGPT‑6 Astraが87.4%、GPT‑5.6 Solが26.8%だった。各実装は、データベースの期待される内容に基づいて検証され、実行時間とAPIコストも評価される。
同社はテスト基盤を含むMultiLangBenchをGitHubで公開した。公開リポジトリには、SQLite TCL Testsを基に作成したテストと、結果の検証ルールが記載されている。開発者は、評価対象となる操作を確認し、自分のモデル設定でテストを再現できる。
COBOLの移行では、別の能力が試される。既存プログラムをC++、Java、Kotlin、Python、またはRustに書き換え、非公開テストで元の挙動を保つ能力だ。OpenAIによると、推論レベルを低く設定した場合、GPT‑6.1 Solの精度は86.6%で、同じ条件のGPT‑5.6 Solは5.4%だった。より高い推論レベルでは、この評価におけるGPT‑6.1 Solの数値は97.9%に達した。
移行ではビジネスルールの検証が欠かせない理由
OpenAIは、互換性が元の言語の意味論に左右されると指摘している。たとえばCOBOLの固定小数点演算では、明示的に丸めを指定しない場合、余分な小数桁が切り捨てられる。新しい実装で異なる丸め方をすれば、プログラムが正常に動いても、金融計算の結果が変わるおそれがある。
したがって、移行ベンチマークではテストケースの出力が一致することが基準となる。一方、チームが実務で確認すべきなのは、独自の計算ルール、データ形式、システムの依存関係も含めた適合性だ。まずは入出力が明確なモジュールを選び、実際の境界ケースで期待結果を記録してから、元のバージョンと書き換えたバージョンを並行してテストするとよい。
結果が開発チームにもたらすもの
OpenAIの数値は、公開されたデータセットと推論設定に基づいている。MultiLangBenchが評価するのはSQLite互換実装の作成能力であり、COBOLのテストセットが評価するのは移行後の挙動の維持だ。これらの数値は、それぞれ特定のテスト結果を示すものである。チームにとっては、モデル選定の目安や再現可能な独自比較の土台になるが、あらゆる本番システムとの互換性を保証するものではない。
実務上の結論は明快だ。モデルは自社のコードと独自の検証ケースでテストし、成功率と合わせてコストも算出する必要がある。COBOLの近代化では、丸め、レコードの欠落、旧プログラムの挙動に埋め込まれたその他のルールを特に確認したい。新たな結果によって検証への取り組みやすさは高まるが、同等性を確かめる責任は引き続きエンジニアリングプロセスにある。