Michael JohnsonI COBOL-system är varje beteendedetalj viktig: ett program kan avslutas utan fel men ändå avrunda ett belopp annorlunda eller hantera en saknad post på ett annat sätt. Den 19 oktober 2026 publicerade OpenAI resultaten från två utvärderingar av programmering på språk med mindre mängder träningsmaterial: det öppna MultiLangBench-testet för 20 språk och ett separat test av COBOL-migrering.
Det praktiska värdet med tillkännagivandet är möjligheten att studera själva testsviten och jämföra de rapporterade resultaten med konkreta uppgifter: att skapa program på språk som är sparsamt representerade i data och att bevara äldre kods beteende vid migrering.
Två utvärderingar – två olika uppgifter
MultiLangBench testar om en modell från grunden kan bygga en databasmotor som är kompatibel med SQLite på ett angivet språk. Uppgiften kräver att koden struktureras, tillstånd hanteras, fel behandlas och funktioner läggs till utan att det befintliga beteendet förändras. Resultatet mäts som andelen godkända tester; OpenAI redovisar också kostnaden för API-anrop.
För att jämföra språken använder testerna en gemensam kontroll via en databasfil: implementationen får en ursprunglig databas och en SQL-fråga, och sedan kontrolleras om den ändrade databasen motsvarar det förväntade resultatet. I den publicerade sviten anpassade OpenAI SQLite-testerna och uppger att utvärderingen omfattar 20 språk. Utvecklare kan granska koden och resultaten i MultiLangBench-arkivet.
Den separata utvärderingen handlar om att migrera befintliga COBOL-program till C++, Java, Kotlin, Python eller Rust. Framgången beror här på att det observerbara beteendet bevaras exakt: OpenAI använde dolda tester som kräver att utdata överensstämmer byte för byte. Företaget framhåller särskilt vikten av detaljer som avrundningsregler och hantering av saknade poster.
Vad de publicerade siffrorna betyder
Enligt OpenAI fick GPT‑6 Astra i genomsnitt 87,4 % godkända tester i MultiLangBench för de 20 språken, med den högsta nivån av resonemang; för GPT‑5.6 Sol redovisar företaget 26,8 %. I COBOL-migreringstestet uppnådde GPT‑6.1 Sol 86,6 % noggrannhet med låg resonemangsnivå, jämfört med 5,4 % för GPT‑5.6 Sol i samma läge. Med en högre resonemangsnivå nådde GPT‑6.1 Sol 97,9 %.
Resultaten gäller de två beskrivna testsituationerna. MultiLangBench utvärderar skapandet av en avgränsad SQLite-kompatibel motor, medan COBOL-testet mäter om utdata bevaras för en uppsättning program som kontrolleras med dolda tester. Siffrorna kan därför användas för att välja kandidater för egna tester, men inte för att direkt bedöma vilken kodbas som helst i ett företag. OpenAI redogör för metoden och resultaten i beskrivningen av studien från den 19 oktober.
Så kan testet användas i ett moderniseringsprojekt
För ett team som överväger att migrera ett äldre system är ett bra nästa steg att omvandla kritiska affärsregler till ett testbart beteendeunderlag. Samla representativa indata och förväntade utdata, inklusive belopp vid gränsvärden, avrundning, tomma eller saknade poster och fel. Dokumentera resultaten från det ursprungliga programmet och kör sedan kandidaterna mot samma underlag.
Jämför inte bara andelen godkända kontroller. Registrera kostnaden för anrop, antalet manuella korrigeringar och typerna av avvikelser; testa också gränssnitten mot externa system och beroenden som testutdraget kanske inte täcker. En sådan process visar var modellen kan hjälpa till att undersöka och skriva om en modul och var kritisk logik bör förbli under manuell kontroll och omfattas av specialiserade tester.
Tillkännagivandet den 19 oktober gav en reproducerbar utgångspunkt för att utvärdera kodmodeller på språk med mindre tillgång till exempel. För praktiska beslut är det viktigast att jämföra det öppna testet med systemets egna regler: det är överensstämmelse i beteende, inte kännedom om målspråkets syntax, som avgör om en migrering är lämplig.