Michael JohnsonÈ possibile trasferire un programma COBOL a un linguaggio moderno mantenendone la sintassi, ma modificando le regole di calcolo degli importi. OpenAI ha dedicato proprio a questo problema la pubblicazione del 19 ottobre: l’azienda ha riferito i risultati dei propri modelli in test di programmazione con COBOL, Fortran e altri linguaggi con una minore quantità di materiali di addestramento, e ha reso disponibile il set MultiLangBench.
Per i team che mantengono vecchi sistemi aziendali, la parte utile della notizia non riguarda solo le percentuali dichiarate, ma anche due diversi tipi di verifica. Uno valuta la creazione da zero di programmi in vari linguaggi; l’altro controlla se la migrazione del codice COBOL ne conserva il comportamento osservabile. Sono attività che richiedono test diversi e comportano rischi differenti in fase di implementazione.
Due test, due sfide ingegneristiche
In MultiLangBench, il modello deve creare un motore compatibile con SQLite, in grado di accettare query e modificare un file di database. OpenAI riporta la percentuale media di test superati su 20 linguaggi: GPT‑6 Astra ha ottenuto l’87,4% con il livello massimo di ragionamento, mentre GPT‑5.6 Sol ha raggiunto il 26,8%. Ogni implementazione viene verificata confrontando il contenuto atteso del database; vengono valutati anche la durata dell’esecuzione e il costo dell’API.
L’azienda ha pubblicato MultiLangBench su GitHub, inclusa l’infrastruttura di test. Il repository pubblicato descrive test basati sulla suite SQLite TCL Tests e le regole per verificare i risultati. Gli sviluppatori possono così esaminare le operazioni incluse nella valutazione e ripeterla con la propria configurazione del modello.
Per la migrazione di COBOL viene valutata un’altra capacità: riscrivere un programma esistente in C++, Java, Kotlin, Python o Rust mantenendone il comportamento nei test nascosti. OpenAI riporta una precisione dell’86,6% per GPT‑6.1 Sol con un livello di ragionamento basso, contro il 5,4% di GPT‑5.6 Sol nella stessa modalità. Con un livello di ragionamento più elevato, GPT‑6.1 Sol raggiunge il 97,9% in questa valutazione.
Perché la migrazione richiede di verificare le regole aziendali
Nella descrizione, OpenAI sottolinea che la compatibilità dipende dalla semantica del linguaggio sorgente. Per esempio, l’aritmetica a virgola fissa di COBOL scarta le cifre decimali in eccesso se non viene specificato esplicitamente l’arrotondamento. Se la nuova implementazione arrotonda in modo diverso, il programma può funzionare correttamente e tuttavia produrre risultati finanziari differenti.
Il criterio del test di migrazione è quindi la corrispondenza dei risultati nei casi verificati, mentre il criterio pratico del team dovrebbe includere le proprie regole di calcolo, il formato dei dati e le dipendenze del sistema. Un primo passo utile è scegliere un modulo con input e output chiari, registrare i risultati di riferimento per casi limite reali ed eseguire in parallelo la versione originale e quella riscritta.
Cosa significano i risultati per i team
I dati di OpenAI si riferiscono ai set pubblicati e alle impostazioni di ragionamento utilizzate. MultiLangBench valuta la creazione di un’implementazione compatibile con SQLite, mentre il set COBOL verifica la conservazione del comportamento durante la migrazione: i risultati descrivono queste valutazioni specifiche. Per i team costituiscono un punto di riferimento per selezionare i modelli e una base per confronti riproducibili, non una valutazione pronta della compatibilità con qualsiasi sistema di produzione.
La conclusione pratica è semplice: conviene testare i modelli sul proprio codice e sui propri casi di controllo, considerando il costo insieme al tasso di successo. Per modernizzare COBOL sono particolarmente importanti le verifiche dell’arrotondamento, dei record mancanti e delle altre regole incorporate nel comportamento del programma originale. I nuovi risultati rendono più accessibile questo tipo di verifica; confermare l’equivalenza resta una responsabilità del processo ingegneristico.