Michael JohnsonI COBOL-systemer teller hver detalj i oppførselen: Et program kan kjøre uten feil, men likevel runde et beløp annerledes eller håndtere en manglende post på en annen måte. 19. oktober 2026 publiserte OpenAI resultater fra to evalueringer av programmering på språk med mindre tilgjengelige treningsdata: den åpne MultiLangBench-testen på 20 språk og en separat test av COBOL-migrering.
Den praktiske verdien av kunngjøringen ligger i muligheten til å undersøke selve testsettet og sammenligne de rapporterte måltallene med konkrete oppgaver: å lage programmer på språk med få representasjoner i dataene og bevare oppførselen til gammel kode ved migrering.
To evalueringer – to ulike oppgaver
MultiLangBench undersøker om en modell kan bygge en SQLite-kompatibel databasemotor fra bunnen av på et gitt språk. Oppgaven krever at man strukturerer koden, håndterer tilstand og feil og legger til funksjoner, samtidig som den eksisterende oppførselen bevares. Resultatet måles som andelen tester som bestås; OpenAI oppgir også kostnaden for API-kall.
For å sammenligne språk bruker testene en felles kontroll via en databasefil: Implementasjonen får en opprinnelig database og en SQL-spørring, og deretter kontrolleres det om den endrede databasen samsvarer med forventet resultat. I det publiserte testsettet tilpasset OpenAI SQLite-testene og rapporterte evalueringer på 20 språk. Utviklere kan undersøke koden og resultatene i MultiLangBench-arkivet.
En separat evaluering gjelder migrering av eksisterende COBOL-programmer til C++, Java, Kotlin, Python eller Rust. Her avhenger resultatet av at den observerbare oppførselen bevares nøyaktig: OpenAI brukte skjulte tester som krevde at utdataene samsvarte byte for byte. Selskapet fremhever betydningen av detaljer som avrundingsregler og håndtering av manglende poster.
Hva de publiserte tallene betyr
Ifølge OpenAI fikk GPT‑6 Astra en gjennomsnittlig beståttandel på 87,4 % på tvers av 20 språk i MultiLangBench, med maksimalt resonnementnivå; for GPT‑5.6 Sol oppgir selskapet 26,8 %. I COBOL-migreringstesten oppnådde GPT‑6.1 Sol 86,6 % nøyaktighet med lavt resonnementnivå, mot 5,4 % for GPT‑5.6 Sol i samme modus. Med et høyere resonnementnivå nådde resultatet for GPT‑6.1 Sol 97,9 %.
Tallene gjelder de to beskrevne testscenarioene. MultiLangBench måler utvikling av en avgrenset SQLite-kompatibel motor, mens COBOL-testen måler om resultatet bevares for et sett med programmer som prøves med skjulte tester. Tallene egner seg derfor til å velge kandidater for egen testing, ikke til en direkte vurdering av enhver bedrifts kodebase. OpenAI la fram metode og resultater i beskrivelsen av studien fra 19. oktober.
Slik kan testen brukes i et moderniseringsprosjekt
For et team som vurderer å migrere et eldre system, er et nyttig neste steg å gjøre kritiske forretningsregler om til et sett med kontrollerbar oppførsel. Samle representative inndata og forventede utdata, inkludert grenseverdier, avrunding, tomme eller manglende poster og feil. Registrer resultatene fra det opprinnelige programmet, og test deretter kandidatene mot det samme settet.
Sammenlign mer enn bare andelen beståtte kontroller. Registrer kostnaden for kall, antallet manuelle rettelser og typene avvik; kontroller også grensesnitt mot eksterne systemer og avhengigheter som testutdraget kanskje ikke dekker. En slik prosess viser hvor modellen kan bidra til å undersøke og skrive om en modul, og hvor kritisk logikk bør være underlagt manuell kontroll og spesialiserte tester.
Kunngjøringen 19. oktober ga et reproduserbart utgangspunkt for å evaluere kodemodeller på språk med færre tilgjengelige eksempler. Når man skal ta en praktisk beslutning, er det viktigst å sammenholde den åpne testen med systemets egne regler: Det er samsvar i oppførsel, ikke kjennskap til syntaksen i målspråket, som avgjør om migreringen er egnet.