Michael JohnsonPři převodu programu v COBOLu do moderního jazyka lze zachovat syntaxi, a přitom změnit pravidla výpočtu peněz. OpenAI věnovala právě tomuto problému příspěvek z 19. října: společnost informovala o výsledcích svých modelů v testech programování v COBOLu, Fortranu a dalších jazycích s menším množstvím trénovacích dat a zveřejnila sadu MultiLangBench.
Pro týmy, které spravují starší podnikové systémy, je podstatnou částí zprávy nejen uváděné procento, ale také dva odlišné typy ověření. Jeden hodnotí tvorbu programů od nuly v různých jazycích; druhý ověřuje, zda převod kódu COBOL zachovává pozorované chování. Tyto úlohy vyžadují různé testy a každá souvisí s rizikem nasazení jiným způsobem.
Dva testy, dvě technické úlohy
V MultiLangBench má model vytvořit engine kompatibilní se SQLite, který přijímá dotazy a upravuje databázový soubor. OpenAI uvádí průměrný podíl úspěšných testů napříč 20 jazyky: GPT‑6 Astra dosáhla při maximální úrovni uvažování 87,4 %, zatímco GPT‑5.6 Sol 26,8 %. U každé implementace se výsledek ověřuje podle očekávaného obsahu databáze; hodnotí se také doba běhu a cena API.
Společnost zveřejnila MultiLangBench na GitHubu včetně testovací infrastruktury. Publikovaný repozitář popisuje testy vytvořené na základě sady SQLite TCL Tests i pravidla vyhodnocení. Vývojáři si tak mohou prohlédnout, které operace se do hodnocení zahrnují, a následně test zopakovat se svou konfigurací modelu.
U migrace COBOLu se ověřuje jiná schopnost: přepsat existující program do C++, Javy, Kotlinu, Pythonu nebo Rustu a zachovat jeho chování v neveřejných testech. OpenAI uvádí přesnost 86,6 % pro GPT‑6.1 Sol při nízké úrovni uvažování oproti 5,4 % u GPT‑5.6 Sol ve stejném režimu. Při vyšší úrovni uvažování dosahuje GPT‑6.1 Sol v tomto hodnocení 97,9 %.
Proč je při převodu nutné ověřit obchodní pravidla
OpenAI v popisu zdůrazňuje, že kompatibilita závisí na sémantice původního jazyka. Například aritmetika s pevnou řádovou čárkou v COBOLu zahazuje nadbytečná desetinná místa, pokud není výslovně určeno zaokrouhlování. Pokud nová implementace zaokrouhluje jinak, program může úspěšně běžet, a přesto poskytovat odlišné finanční výsledky.
Kritériem migračního testu je proto shoda výstupů v ověřovaných případech; praktická kritéria týmu by však měla zahrnovat i vlastní výpočtová pravidla, formát dat a závislosti systému. Užitečným prvním krokem je vybrat modul s jasně definovanými vstupy a výstupy, zaznamenat referenční výsledky pro skutečné okrajové případy a souběžně spustit původní i přepsanou verzi.
Co výsledky týmům přinášejí
Čísla OpenAI se vztahují k publikovaným sadám a nastavením uvažování. MultiLangBench hodnotí vytvoření implementace kompatibilní se SQLite, zatímco sada COBOL ověřuje zachování chování při převodu; výsledky popisují právě tato konkrétní ověření. Týmům poskytují vodítko při výběru modelů a základ pro vlastní reprodukovatelné srovnání, nikoli hotové hodnocení kompatibility s libovolným produkčním systémem.
Praktický závěr je jednoduchý: modely je třeba testovat na vlastním kódu a vlastních kontrolních případech a náklady počítat společně s úspěšností. Při modernizaci COBOLu jsou obzvlášť důležité kontroly zaokrouhlování, chybějících záznamů a dalších pravidel zakotvených v chování starého programu. Nové výsledky takové ověřování zpřístupňují; potvrzení ekvivalence však zůstává součástí technického procesu.