Michael JohnsonEen COBOL-programma naar een moderne taal overzetten kan de syntaxis behouden, maar tegelijk de regels voor geldberekeningen veranderen. OpenAI wijdde een publicatie van 19 oktober aan precies dit probleem: het bedrijf meldde resultaten van zijn modellen op programmeertests in COBOL, Fortran en andere talen met minder trainingsmateriaal, en stelde de MultiLangBench-testset beschikbaar.
Voor teams die oude bedrijfssystemen onderhouden, zit de waarde van het nieuws niet alleen in de genoemde percentages, maar ook in de twee verschillende soorten tests. De ene beoordeelt het vanaf nul bouwen van programma’s in verschillende talen; de andere controleert of een COBOL-migratie het waarneembare gedrag behoudt. Die taken vereisen verschillende tests en houden elk op een andere manier verband met het risico bij ingebruikname.
Twee tests, twee technische taken
Bij MultiLangBench moet een model een met SQLite compatibele engine bouwen die query’s verwerkt en een databasebestand wijzigt. OpenAI rapporteert het gemiddelde percentage geslaagde tests over 20 talen: GPT‑6 Astra behaalde 87,4% op het hoogste redeneerniveau, terwijl GPT‑5.6 Sol 26,8% haalde. Voor elke implementatie wordt het resultaat gecontroleerd aan de hand van de verwachte database-inhoud; ook de looptijd en API-kosten worden geëvalueerd.
Het bedrijf heeft MultiLangBench op GitHub gepubliceerd, inclusief de testinfrastructuur. De gepubliceerde repository beschrijft tests die zijn gebaseerd op de SQLite TCL Tests-suite en de regels voor de beoordeling van resultaten. Zo kunnen ontwikkelaars bekijken welke bewerkingen precies worden geëvalueerd en de test vervolgens uitvoeren met hun eigen modelconfiguratie.
Bij COBOL-migratie wordt een andere vaardigheid getest: een bestaand programma herschrijven in C++, Java, Kotlin, Python of Rust en het gedrag ervan behouden op verborgen tests. OpenAI meldt een nauwkeurigheid van 86,6% voor GPT‑6.1 Sol op een laag redeneerniveau, tegenover 5,4% voor GPT‑5.6 Sol in dezelfde modus. Op een hoger redeneerniveau bereikt GPT‑6.1 Sol bij deze evaluatie 97,9%.
Waarom een migratie controle van bedrijfsregels vereist
In de beschrijving benadrukt OpenAI dat compatibiliteit afhangt van de semantiek van de brontaal. Zo laat COBOL bij vaste-kommagetallen overtollige decimalen vallen, tenzij afronding expliciet is ingesteld. Als de nieuwe implementatie die anders afrondt, kan het programma succesvol draaien en toch andere financiële resultaten opleveren.
Het criterium voor de migratietest is daarom dat de uitvoer overeenkomt voor de gecontroleerde gevallen; voor een team moet het praktische criterium ook de eigen rekenregels, gegevensformaten en systeemafhankelijkheden omvatten. Een nuttige eerste stap is een module met duidelijke invoer en uitvoer kiezen, referentieresultaten vastleggen voor realistische grensgevallen en de oorspronkelijke en herschreven versies parallel uitvoeren.
Wat de resultaten teams opleveren
De cijfers van OpenAI hebben betrekking op de gepubliceerde datasets en redeneerinstellingen. MultiLangBench beoordeelt het bouwen van een SQLite-compatibele implementatie, terwijl de COBOL-testset het behoud van gedrag bij een migratie meet; de cijfers beschrijven deze specifieke tests. Ze bieden teams een referentiepunt bij het selecteren van modellen en een basis voor een eigen reproduceerbare vergelijking, maar vormen geen kant-en-klare beoordeling van compatibiliteit met elk productiesysteem.
De praktische conclusie is eenvoudig: test modellen op je eigen code en met je eigen controlegevallen, en houd bij de kosten ook rekening met het slagingspercentage. Bij de modernisering van COBOL zijn controles op afronding, ontbrekende records en andere regels die in het gedrag van het oude programma besloten liggen bijzonder belangrijk. De nieuwe resultaten maken zulke tests toegankelijker; het bevestigen van de equivalentie blijft onderdeel van het engineeringproces.