Michael JohnsonIn COBOL-systemen telt elk gedragsdetail: een programma kan zonder fouten eindigen, maar een bedrag anders afronden of een ontbrekend record anders afhandelen. Op 19 oktober 2026 publiceerde OpenAI resultaten van twee programmeerbeoordelingen voor talen met minder trainingsmateriaal: de open MultiLangBench-test voor 20 talen en een afzonderlijke test voor COBOL-migratie.
De praktische waarde van de aankondiging is dat je de testset zelf kunt bekijken en de gerapporteerde prestaties kunt vergelijken met concrete taken: programma’s maken in talen die weinig in de trainingsdata voorkomen en het gedrag van oude code behouden bij een migratie.
Twee beoordelingen, twee verschillende taken
MultiLangBench test of een model vanaf nul een met SQLite compatibele database-engine kan bouwen in een opgegeven taal. De taak vereist dat de code wordt gestructureerd, de toestand wordt beheerd, fouten worden afgehandeld en functies worden toegevoegd, terwijl het eerdere gedrag behouden blijft. De uiteindelijke score is het aandeel geslaagde tests; OpenAI vermeldt ook de kosten van API-aanroepen.
Om talen te vergelijken, gebruiken de tests één gedeelde controle via een databasebestand: de implementatie krijgt een brondatabase en een SQL-query, waarna wordt gecontroleerd of de gewijzigde database overeenkomt met het verwachte resultaat. In de gepubliceerde testset paste OpenAI SQLite-tests aan en rapporteerde het bedrijf resultaten voor 20 talen. Ontwikkelaars kunnen de code en resultaten bekijken in de MultiLangBench-repository.
Een afzonderlijke beoordeling richt zich op het migreren van bestaande COBOL-programma’s naar C++, Java, Kotlin, Python of Rust. Het succes hangt hier af van het nauwkeurig behouden van waarneembaar gedrag: OpenAI gebruikte verborgen tests die vereisten dat de uitvoer byte voor byte overeenkwam. Het bedrijf benadrukt afzonderlijk het belang van details zoals afrondingsregels en de afhandeling van ontbrekende records.
Wat de gepubliceerde cijfers betekenen
Volgens OpenAI behaalde GPT‑6 Astra in MultiLangBench een gemiddeld aandeel geslaagde tests van 87,4% voor 20 talen bij het maximale redeneerniveau; voor GPT‑5.6 Sol vermeldt het bedrijf 26,8%. In de COBOL-migratietest behaalde GPT‑6.1 Sol bij een laag redeneerniveau een nauwkeurigheid van 86,6%, tegenover 5,4% voor GPT‑5.6 Sol in dezelfde modus. Bij een hoger redeneerniveau kwam het resultaat van GPT‑6.1 Sol uit op 97,9%.
Deze cijfers hebben betrekking op de twee beschreven testsituaties. MultiLangBench beoordeelt het bouwen van een beperkte, SQLite-compatibele engine; de COBOL-test beoordeelt of het resultaat behouden blijft voor een reeks programma’s die met verborgen tests worden gecontroleerd. De cijfers kunnen daarom helpen om kandidaten voor eigen tests te selecteren, maar zijn geen directe maatstaf voor willekeurige bedrijfssoftware. OpenAI beschreef de methode en resultaten in de studiebeschrijving van 19 oktober.
De test toepassen op een moderniseringsproject
Voor een team dat een verouderd systeem wil migreren, is het nuttig om kritieke bedrijfsregels om te zetten in een controleerbare gedragsset. Verzamel representatieve invoer en verwachte uitvoer, waaronder grensbedragen, afronding, lege of ontbrekende records en fouten. Leg de resultaten van het oorspronkelijke programma vast en test kandidaten vervolgens met dezelfde set.
Vergelijk niet alleen het aandeel geslaagde controles. Noteer de kosten van aanroepen, het aantal handmatige correcties en de soorten afwijkingen; controleer ook afzonderlijk de interfaces met externe systemen en de afhankelijkheden die mogelijk buiten het bereik van het testfragment vallen. Zo wordt duidelijk waar een model kan helpen bij het onderzoeken en herschrijven van een module, en waar kritieke logica onder handmatige controle en gespecialiseerde tests moet blijven.
De aankondiging van 19 oktober biedt een reproduceerbaar vertrekpunt om codemodellen te beoordelen voor talen met minder beschikbare voorbeelden. Voor een praktische beslissing is het vooral belangrijk om de open test te vergelijken met de eigen systeemregels: bij een migratie bepaalt het behoud van gedrag — niet alleen de bekendheid met de syntaxis van de doeltaal — of een model geschikt is.