Michael JohnsonV systémech COBOL záleží na každém detailu chování: program může skončit bez chyby, ale jinak zaokrouhlit částku nebo zpracovat chybějící záznam. Dne 19. října 2026 zveřejnila OpenAI výsledky dvou hodnocení programování v jazycích s menším objemem trénovacích dat: otevřeného MultiLangBench pro 20 jazyků a samostatného testu migrace COBOL.
Praktický přínos oznámení spočívá v možnosti prozkoumat samotnou testovací sadu a porovnat deklarované ukazatele s konkrétními úlohami: tvorbou programů v jazycích, které jsou v trénovacích datech zastoupeny méně, a zachováním chování starého kódu při migraci.
Dvě hodnocení — dva odlišné úkoly
MultiLangBench ověřuje, zda model dokáže od začátku vytvořit databázový engine kompatibilní se SQLite v zadaném jazyce. Úloha vyžaduje uspořádat kód, spravovat stav, zpracovávat chyby a přidávat funkce při zachování dosavadního chování. Výsledek se hodnotí podle podílu úspěšně splněných testů; OpenAI uvádí také cenu volání API.
Pro porovnání jazyků testy používají společnou kontrolu prostřednictvím databázového souboru: implementace dostane původní databázi a SQL dotaz a následně se ověří, zda změněná databáze odpovídá očekávanému výsledku. V publikované sadě OpenAI upravila testy SQLite a uvedla hodnocení pro 20 jazyků. Vývojáři si mohou prohlédnout kód a výsledky v repozitáři MultiLangBench.
Samostatné hodnocení se věnuje migraci existujících programů COBOL do C++, Javy, Kotlinu, Pythonu nebo Rustu. Úspěch zde závisí na přesném zachování pozorovatelného chování: OpenAI použila skryté testy vyžadující shodu výstupů bajt po bajtu. Společnost zvlášť zdůrazňuje důležitost detailů, jako jsou pravidla zaokrouhlování a zpracování chybějících záznamů.
Co zveřejněná čísla znamenají
Podle údajů OpenAI dosáhl GPT‑6 Astra v MultiLangBench průměrného podílu úspěšně splněných testů 87,4 % napříč 20 jazyky při nejvyšší úrovni uvažování; u GPT‑5.6 Sol společnost uvádí 26,8 %. V testu migrace COBOL dosáhl GPT‑6.1 Sol při nízké úrovni uvažování přesnosti 86,6 %, zatímco GPT‑5.6 Sol ve stejném režimu 5,4 %. Při vyšší úrovni uvažování dosáhl výsledek GPT‑6.1 Sol 97,9 %.
Tyto ukazatele se vztahují ke dvěma popsaným testovacím scénářům. MultiLangBench hodnotí vytvoření omezeného enginu kompatibilního se SQLite, zatímco test COBOL ověřuje zachování výstupu u sady programů pomocí skrytých testů. Čísla proto slouží k výběru kandidátů pro vlastní testování, nikoli k přímému hodnocení libovolné firemní kódové základny. OpenAI popsala metodiku a výsledky v popisu výzkumu z 19. října.
Jak test využít v projektu modernizace
Pro tým zvažující migraci staršího systému je užitečným dalším krokem převést kritická obchodní pravidla na ověřitelnou sadu očekávaného chování. Shromážděte reprezentativní vstupy a očekávané výstupy včetně hraničních částek, zaokrouhlování, prázdných či chybějících záznamů a chyb. Zaznamenejte výsledky původního programu a poté kandidáty testujte na stejné sadě.
Porovnávejte nejen podíl úspěšných kontrol. Zaznamenávejte cenu volání, počet ručních oprav a typy odchylek; samostatně ověřujte rozhraní vůči externím systémům a závislosti, které testovaný úsek nemusí pokrývat. Takový postup ukáže, kde model pomáhá analyzovat a přepisovat modul a kde je třeba kritickou logiku ponechat pod ruční kontrolou a specializovanými testy.
Oznámení z 19. října nabídlo reprodukovatelný výchozí bod pro hodnocení kódovacích modelů v jazycích s menším objemem dostupných příkladů. Pro praktické rozhodnutí je nejdůležitější porovnat otevřený test s vlastními pravidly systému: vhodnost migrace určuje právě shoda chování, nikoli pouhá znalost syntaxe cílového jazyka.