OpenAI zeigt Fortschritte von KI bei COBOL und Fortran – und öffnet einen Test zur Überprüfung

Ein COBOL-Programm lässt sich in eine moderne Sprache übertragen, ohne die Syntax zu verändern – und dabei können sich dennoch die Regeln für Geldberechnungen ändern. Genau diesem Problem widmet OpenAI seinen Beitrag vom 19. Oktober: Das Unternehmen berichtet über die Ergebnisse seiner Modelle bei Programmieraufgaben in COBOL, Fortran und anderen Sprachen mit weniger Trainingsmaterial und stellt MultiLangBench bereit.

Für Teams, die alte Unternehmenssysteme warten, besteht der Nutzen der Nachricht nicht nur in den gemeldeten Prozentwerten, sondern auch in zwei unterschiedlichen Prüfverfahren. Das eine bewertet die Erstellung von Programmen von Grund auf in verschiedenen Sprachen; das andere prüft, ob eine Migration von COBOL-Code das beobachtbare Verhalten bewahrt. Diese Aufgaben erfordern unterschiedliche Tests und sind auf unterschiedliche Weise mit dem Risiko einer Einführung verbunden.

Zwei Tests – zwei technische Aufgaben

Bei MultiLangBench soll ein Modell eine mit SQLite kompatible Engine erstellen, die Abfragen entgegennimmt und eine Datenbankdatei verändert. OpenAI nennt den durchschnittlichen Anteil bestandener Tests für 20 Sprachen: GPT‑6 Astra erreichte bei maximaler Reasoning-Stufe 87,4 %, GPT‑5.6 Sol 26,8 %. Jede Implementierung wird anhand des erwarteten Datenbankinhalts überprüft; außerdem werden Laufzeit und API-Kosten bewertet.

Das Unternehmen hat MultiLangBench auf GitHub einschließlich der Testinfrastruktur veröffentlicht. Das Repository beschreibt Tests, die auf der SQLite-TCL-Testsuite basieren, sowie die Regeln für die Ergebnisprüfung. So können Entwickler nachvollziehen, welche konkreten Operationen bewertet werden, und die Prüfung anschließend mit ihrer eigenen Modellkonfiguration wiederholen.

Bei der COBOL-Migration wird eine andere Fähigkeit geprüft: Ein bestehendes Programm soll nach C++, Java, Kotlin, Python oder Rust übertragen werden, wobei sein Verhalten bei verdeckten Tests erhalten bleiben muss. OpenAI meldet für GPT‑6.1 Sol bei niedriger Reasoning-Stufe eine Genauigkeit von 86,6 %, gegenüber 5,4 % für GPT‑5.6 Sol im selben Modus. Bei einer höheren Reasoning-Stufe erreicht GPT‑6.1 Sol in dieser Bewertung 97,9 %.

Warum bei der Migration Geschäftsregeln geprüft werden müssen

OpenAI betont in der Beschreibung, dass die Kompatibilität von der Semantik der Ausgangssprache abhängt. So verwirft die Festkommaarithmetik von COBOL überzählige Nachkommastellen, sofern die Rundung nicht ausdrücklich festgelegt ist. Rundet eine neue Implementierung anders, kann das Programm erfolgreich laufen und trotzdem andere Finanzwerte ausgeben.

Das Kriterium des Migrationstests ist daher, dass die Ausgaben in den geprüften Fällen übereinstimmen. Für ein Team sollte die praktische Prüfung jedoch auch die eigenen Berechnungsregeln, Datenformate und Systemabhängigkeiten einbeziehen. Ein sinnvoller erster Schritt ist, ein Modul mit klar definierten Ein- und Ausgaben auszuwählen, Referenzergebnisse für reale Grenzfälle festzuhalten und die ursprüngliche und die übertragene Version parallel auszuführen.

Was die Ergebnisse Teams bringen

Die Zahlen von OpenAI beziehen sich auf die veröffentlichten Datensätze und Reasoning-Einstellungen. MultiLangBench bewertet die Erstellung einer SQLite-kompatiblen Implementierung, während der COBOL-Datensatz die Verhaltenserhaltung bei der Migration prüft; die Kennzahlen beschreiben genau diese Tests. Teams erhalten damit einen Anhaltspunkt für die Auswahl von Modellen und eine Grundlage für eigene reproduzierbare Vergleiche – aber keine fertige Bewertung der Kompatibilität mit einem beliebigen Produktivsystem.

Die praktische Schlussfolgerung ist einfach: Modelle sollten mit dem eigenen Code und eigenen Testfällen geprüft werden; zugleich sollten die Kosten gemeinsam mit der Erfolgsquote betrachtet werden. Bei der Modernisierung von COBOL sind insbesondere Prüfungen von Rundung, ausgelassenen Datensätzen und weiteren Regeln wichtig, die im Verhalten des alten Programms verankert sind. Die neuen Ergebnisse erleichtern solche Prüfungen; die Verantwortung, die Äquivalenz zu bestätigen, bleibt Teil des Entwicklungsprozesses.