Michael JohnsonW systemach opartych na COBOL-u liczy się każdy szczegół działania: program może zakończyć się bez błędu, a mimo to inaczej zaokrąglić kwotę lub obsłużyć brakujący rekord. 19 października 2026 roku OpenAI opublikowała wyniki dwóch ocen programowania w językach z mniejszą ilością materiałów treningowych: otwartego MultiLangBench obejmującego 20 języków oraz odrębnego testu migracji COBOL-a.
Praktyczna wartość ogłoszenia polega na możliwości zapoznania się z samym zestawem testowym i porównania deklarowanych wyników z konkretnym zadaniem: tworzeniem programów w językach słabo reprezentowanych w danych oraz zachowaniem działania starszego kodu podczas migracji.
Dwie oceny — dwa różne zadania
MultiLangBench sprawdza, czy model potrafi od podstaw stworzyć zgodny z SQLite silnik bazy danych w zadanym języku. Zadanie wymaga zorganizowania kodu, zarządzania stanem, obsługi błędów i dodawania funkcji przy zachowaniu dotychczasowego działania. Wynik jest oceniany na podstawie odsetka zaliczonych testów; OpenAI podaje również koszt wywołań API.
Aby porównać języki, testy wykorzystują wspólną weryfikację za pomocą pliku bazy danych: implementacja otrzymuje bazę wejściową i zapytanie SQL, a następnie sprawdza się, czy zmodyfikowana baza odpowiada oczekiwanemu wynikowi. W opublikowanym zestawie OpenAI dostosowała testy SQLite i podała wyniki dla 20 języków. Deweloperzy mogą zapoznać się z kodem i wynikami w repozytorium MultiLangBench.
Odrębna ocena dotyczy migracji istniejących programów COBOL do C++, Javy, Kotlina, Pythona lub Rusta. Sukces zależy tu od dokładnego zachowania obserwowalnego działania: OpenAI wykorzystała ukryte testy wymagające zgodności danych wyjściowych co do bajtu. Firma osobno podkreśla znaczenie szczegółów, takich jak zasady zaokrąglania i obsługa brakujących rekordów.
Co oznaczają opublikowane liczby
Według OpenAI GPT‑6 Astra uzyskała w MultiLangBench średni odsetek zaliczonych testów wynoszący 87,4% w 20 językach przy maksymalnym poziomie rozumowania; dla GPT‑5.6 Sol firma podaje 26,8%. W teście migracji COBOL-a GPT‑6.1 Sol osiągnęła 86,6% dokładności przy niskim poziomie rozumowania, wobec 5,4% dla GPT‑5.6 Sol w tym samym trybie. Przy wyższym poziomie rozumowania wynik GPT‑6.1 Sol wzrósł do 97,9%.
Wskaźniki te odnoszą się do dwóch opisanych scenariuszy testowych. MultiLangBench ocenia tworzenie ograniczonego silnika zgodnego z SQLite, a test COBOL-a — zachowanie wyników w zestawie programów sprawdzanych za pomocą ukrytych testów. Dlatego liczby te mogą pomóc wybrać modele do własnych prób, ale nie stanowią bezpośredniej oceny dowolnej korporacyjnej bazy kodu. OpenAI ujawniła metodologię i wyniki w opisie badania z 19 października.
Jak wykorzystać test w projekcie modernizacyjnym
Dla zespołu rozważającego migrację starszego systemu dobrym kolejnym krokiem jest przekształcenie kluczowych reguł biznesowych w sprawdzalny zestaw zachowań. Zbierz reprezentatywne dane wejściowe i oczekiwane wyniki, uwzględniając kwoty graniczne, zaokrąglanie, puste lub brakujące rekordy oraz błędy. Zapisz wyniki programu źródłowego, a następnie testuj kandydatów na tym samym zestawie.
Porównuj nie tylko odsetek zaliczonych testów. Zapisuj koszt wywołań, liczbę ręcznych poprawek i rodzaje rozbieżności; osobno sprawdzaj interfejsy z systemami zewnętrznymi oraz zależności, których fragment testowy może nie obejmować. Taki proces pokazuje, gdzie model pomaga analizować i przepisywać moduł, a gdzie kluczową logikę należy pozostawić pod ręczną kontrolą i sprawdzać za pomocą wyspecjalizowanych testów.
Ogłoszenie z 19 października zapewniło powtarzalny punkt wyjścia do oceny modeli kodujących w językach, dla których dostępnych jest mniej przykładów. W praktyce najważniejsze jest odniesienie otwartego testu do własnych reguł systemu: o przydatności migracji decyduje zgodność działania, a nie sama znajomość składni języka docelowego.