Michael JohnsonBei COBOL-Systemen kommt es auf jedes Detail des Verhaltens an: Ein Programm kann ohne Fehler enden und dennoch einen Betrag anders runden oder einen fehlenden Datensatz anders verarbeiten. Am 19. Oktober 2026 veröffentlichte OpenAI Ergebnisse aus zwei Programmierbewertungen für Sprachen mit weniger Trainingsmaterial: den offenen MultiLangBench-Test für 20 Sprachen und einen separaten Test zur COBOL-Migration.
Der praktische Nutzen der Ankündigung liegt darin, dass sich der Testsatz untersuchen und die angegebenen Kennzahlen mit konkreten Aufgaben abgleichen lassen: dem Erstellen von Programmen in Sprachen, die in den Daten unterrepräsentiert sind, sowie dem Erhalt des Verhaltens von Altcode bei einer Migration.
Zwei Bewertungen – zwei unterschiedliche Aufgaben
MultiLangBench prüft, ob ein Modell von Grund auf eine mit SQLite kompatible Datenbank-Engine in einer vorgegebenen Sprache erstellen kann. Die Aufgabe umfasst Codeorganisation, Zustandsverwaltung, Fehlerbehandlung und das Hinzufügen von Funktionen, ohne das bisherige Verhalten zu verändern. Das Ergebnis wird anhand des Anteils bestandener Tests bewertet; OpenAI gibt außerdem die Kosten der API-Aufrufe an.
Zum sprachübergreifenden Vergleich verwenden die Tests eine gemeinsame Prüfung über eine Datenbankdatei: Die Implementierung erhält eine Ausgangsdatenbank und eine SQL-Abfrage. Anschließend wird geprüft, ob die veränderte Datenbank dem erwarteten Ergebnis entspricht. Im veröffentlichten Testsatz passte OpenAI SQLite-Tests an und berichtete über eine Bewertung in 20 Sprachen. Entwickler können den Code und die Ergebnisse im MultiLangBench-Repository einsehen.
Eine separate Bewertung befasst sich mit der Migration bestehender COBOL-Programme nach C++, Java, Kotlin, Python oder Rust. Der Erfolg hängt hier davon ab, dass das beobachtbare Verhalten exakt erhalten bleibt: OpenAI verwendete verborgene Tests, bei denen die Ausgaben bytegenau übereinstimmen mussten. Das Unternehmen hebt ausdrücklich Details wie Rundungsregeln und den Umgang mit fehlenden Datensätzen hervor.
Was die veröffentlichten Zahlen aussagen
Laut OpenAI erreichte GPT‑6 Astra in MultiLangBench bei maximaler Denkstufe über 20 Sprachen hinweg einen durchschnittlichen Anteil bestandener Tests von 87,4 %; für GPT‑5.6 Sol nennt das Unternehmen 26,8 %. Im COBOL-Migrationstest erzielte GPT‑6.1 Sol bei niedriger Denkstufe eine Genauigkeit von 86,6 %, gegenüber 5,4 % für GPT‑5.6 Sol im selben Modus. Bei einer höheren Denkstufe stieg das Ergebnis von GPT‑6.1 Sol auf 97,9 %.
Diese Kennzahlen beziehen sich auf die beiden beschriebenen Testszenarien. MultiLangBench bewertet die Erstellung einer begrenzten, SQLite-kompatiblen Engine, während der COBOL-Test den Erhalt der Ergebnisse bei einer Reihe von Programmen anhand verborgener Tests prüft. Die Zahlen eignen sich daher dazu, Kandidaten für eigene Tests auszuwählen, nicht aber zur direkten Bewertung beliebiger Unternehmens-Codebasen. OpenAI legte die Methodik und Ergebnisse in der Beschreibung der Studie vom 19. Oktober offen.
So lässt sich der Test auf ein Modernisierungsprojekt anwenden
Für ein Team, das eine Migration eines Altsystems erwägt, ist ein sinnvoller nächster Schritt, kritische Geschäftsregeln in einen überprüfbaren Verhaltenskatalog zu überführen. Stellen Sie repräsentative Eingaben und erwartete Ausgaben zusammen, darunter Grenzbeträge, Rundungen, leere oder fehlende Datensätze sowie Fehlerfälle. Halten Sie die Ergebnisse des ursprünglichen Programms fest und testen Sie anschließend die Kandidaten mit demselben Katalog.
Vergleichen Sie nicht nur den Anteil erfolgreicher Prüfungen. Dokumentieren Sie die Aufrufkosten, die Anzahl manueller Korrekturen und die Arten von Abweichungen; prüfen Sie außerdem separat die Schnittstellen zu externen Systemen und Abhängigkeiten, die ein Testausschnitt möglicherweise nicht abdeckt. So lässt sich erkennen, wo das Modell bei der Untersuchung und Neuentwicklung eines Moduls hilft und wo kritische Logik unter manueller Kontrolle und spezialisierten Tests bleiben sollte.
Die Ankündigung vom 19. Oktober bietet einen reproduzierbaren Ausgangspunkt, um Codemodelle in Sprachen mit weniger verfügbaren Beispielen zu bewerten. Für die praktische Entscheidung ist es am wichtigsten, den offenen Test mit den eigenen Systemregeln abzugleichen: Entscheidend für die Eignung einer Migration ist die Übereinstimmung des Verhaltens, nicht die bloße Vertrautheit mit der Syntax der Zielsprache.