Michael JohnsonCOBOL-järjestelmissä jokainen käyttäytymisen yksityiskohta on tärkeä: ohjelma voi päättyä virheettä mutta pyöristää summan eri tavalla tai käsitellä puuttuvan tietueen toisin. OpenAI julkaisi 19. lokakuuta 2026 tulokset kahdesta ohjelmointiarvioinnista, jotka koskevat vähemmän koulutusaineistoissa edustettuja kieliä: avoimen, 20 kielen MultiLangBenchin sekä erillisen COBOL-siirtotestin.
Julkistuksen käytännön hyöty on siinä, että itse testijoukkoa voi tutkia ja ilmoitettuja tuloksia verrata konkreettiseen tehtävään: ohjelmien luomiseen niillä kielillä, joita aineistoissa esiintyy vähän, sekä vanhan koodin käyttäytymisen säilyttämiseen siirron yhteydessä.
Kaksi arviointia – kaksi eri tehtävää
MultiLangBench testaa, pystyykö malli rakentamaan alusta lähtien annetulla kielellä SQLite-yhteensopivan tietokantamoottorin. Tehtävässä on järjestettävä koodi, hallittava tilaa, käsiteltävä virheitä ja lisättävä toimintoja vanha käyttäytyminen säilyttäen. Tuloksena ilmoitetaan läpäistyjen testien osuus; OpenAI kertoo myös API-kutsujen hinnan.
Kielten vertailussa käytetään yhteistä tiedostopohjaista tietokantatestiä: toteutus saa alkuperäisen tietokannan ja SQL-kyselyn, minkä jälkeen tarkistetaan, vastaako muokattu tietokanta odotettua tulosta. OpenAI mukautti julkaistun testijoukon SQLite-testeistä ja kertoo arvioineensa 20 kieltä. Kehittäjät voivat tutustua koodiin ja tuloksiin MultiLangBenchin repositoriossa.
Erillinen arviointi käsittelee olemassa olevien COBOL-ohjelmien siirtämistä C++-, Java-, Kotlin-, Python- tai Rust-kielelle. Onnistuminen edellyttää, että havaittava käyttäytyminen säilyy täsmälleen: OpenAI käytti piilotettuja testejä, joissa tulosteen on vastattava tavutasolla. Yhtiö korostaa erikseen yksityiskohtien, kuten pyöristyssääntöjen ja puuttuvien tietueiden käsittelyn, merkitystä.
Mitä julkaistut luvut kertovat
OpenAI:n mukaan GPT‑6 Astra saavutti MultiLangBenchissä keskimäärin 87,4 prosentin läpäisyosuuden 20 kielen testissä suurimmalla päättelytasolla; GPT‑5.6 Solin vastaava tulos oli yhtiön ilmoituksen mukaan 26,8 prosenttia. COBOL-siirtotestissä GPT‑6.1 Solin tarkkuus oli 86,6 prosenttia matalalla päättelytasolla, kun GPT‑5.6 Solin tulos samalla asetuksella oli 5,4 prosenttia. Korkeammalla päättelytasolla GPT‑6.1 Sol saavutti 97,9 prosentin tuloksen.
Luvut koskevat kahta kuvattua testitilannetta. MultiLangBench arvioi rajatun SQLite-yhteensopivan moottorin luomista, kun taas COBOL-testi mittaa tuloksen säilymistä ohjelmavalikoimassa, jota tarkistetaan piilotetuilla testeillä. Siksi luvut sopivat ehdokkaiden valintaan omiin kokeisiin, eivät minkä tahansa yrityksen koodikannan suoraan arviointiin. OpenAI julkaisi menetelmän ja tulokset 19. lokakuuta ilmestyneessä tutkimuskuvauksessaan.
Näin sovellat testiä modernisointihankkeessa
Vanhan järjestelmän siirtoa harkitsevan tiimin kannattaa seuraavaksi muuntaa kriittiset liiketoimintasäännöt testattavaksi käyttäytymisjoukoksi. Kerää edustavia syötteitä ja odotettuja tuloksia, mukaan lukien rajatapaukset, summien pyöristys, tyhjät tai puuttuvat tietueet ja virheet. Tallenna alkuperäisen ohjelman tulokset ja testaa sitten ehdokkaita samaa joukkoa vasten.
Vertaa muutakin kuin läpäisyosuutta. Kirjaa kutsujen kustannukset, käsin tehtyjen korjausten määrä ja poikkeamien tyypit; tarkista erikseen ulkoisten järjestelmien rajapinnat ja riippuvuudet, joita testattava koodikatkelma ei välttämättä kata. Näin selviää, missä malli auttaa moduulin tutkimisessa ja uudelleenkirjoittamisessa ja missä kriittinen logiikka kannattaa jättää ihmisen valvontaan ja erikoistestien varaan.
Lokakuun 19. päivän julkistus tarjosi toistettavan lähtökohdan koodimallien arviointiin kielillä, joista on saatavilla vähemmän esimerkkejä. Käytännön päätöksessä tärkeintä on verrata avointa testiä järjestelmän omiin sääntöihin: siirron soveltuvuuden ratkaisee käyttäytymisen vastaavuus, ei kohdekielen syntaksin tunteminen.