Michael JohnsonNei sistemi COBOL ogni sfumatura del comportamento è importante: un programma può terminare senza errori, ma arrotondare diversamente un importo o gestire in altro modo un record mancante. Il 19 ottobre 2026 OpenAI ha pubblicato i risultati di due valutazioni sulla programmazione in linguaggi con meno dati di addestramento: il benchmark aperto MultiLangBench, che copre 20 linguaggi, e un test separato sulla migrazione da COBOL.
Il valore pratico dell’annuncio sta nella possibilità di esaminare il set di test e confrontare i risultati dichiarati con attività concrete: creare programmi in linguaggi poco rappresentati nei dati e preservare il comportamento del codice legacy durante la migrazione.
Due valutazioni, due compiti diversi
MultiLangBench verifica se un modello è in grado di creare da zero, nel linguaggio assegnato, un motore di database compatibile con SQLite. Il compito richiede di organizzare il codice, gestire lo stato, trattare gli errori e aggiungere funzionalità preservando il comportamento precedente. Il risultato è valutato in base alla quota di test superati; OpenAI comunica anche il costo delle chiamate API.
Per confrontare i linguaggi, i test adottano una verifica comune tramite un file di database: l’implementazione riceve il database iniziale e una query SQL, quindi si controlla se il database modificato corrisponde al risultato atteso. Nel benchmark pubblicato, OpenAI ha adattato i test di SQLite e ha dichiarato una valutazione su 20 linguaggi. Gli sviluppatori possono consultare il codice e i risultati nel repository MultiLangBench.
Una valutazione separata riguarda la migrazione di programmi COBOL esistenti in C++, Java, Kotlin, Python o Rust. In questo caso, il successo dipende dalla conservazione precisa del comportamento osservabile: OpenAI ha usato test nascosti che richiedono una corrispondenza byte per byte dei dati in uscita. L’azienda sottolinea in particolare l’importanza di dettagli come le regole di arrotondamento e la gestione dei record mancanti.
Come interpretare i risultati pubblicati
Secondo OpenAI, GPT‑6 Astra ha ottenuto in MultiLangBench una media dell’87,4% di test superati sui 20 linguaggi, con il livello massimo di ragionamento; per GPT‑5.6 Sol l’azienda riporta il 26,8%. Nel test di migrazione da COBOL, GPT‑6.1 Sol ha raggiunto l’86,6% di accuratezza con un livello di ragionamento basso, contro il 5,4% di GPT‑5.6 Sol nella stessa modalità. Con un livello di ragionamento più elevato, GPT‑6.1 Sol ha raggiunto il 97,9%.
Questi risultati si riferiscono ai due scenari di test descritti. MultiLangBench valuta la creazione di un motore limitato compatibile con SQLite, mentre il test COBOL misura la conservazione dei risultati su un insieme di programmi verificato con test nascosti. Le cifre sono quindi utili per individuare modelli da sottoporre a prove proprie, non per valutare direttamente qualsiasi base di codice aziendale. OpenAI ha illustrato metodologia e risultati nella descrizione dello studio del 19 ottobre.
Come applicare il test a un progetto di modernizzazione
Per un team che sta valutando la migrazione di un sistema legacy, un passo utile è trasformare le regole aziendali critiche in un insieme di comportamenti verificabili. Raccogliete input rappresentativi e output attesi, includendo importi limite, arrotondamenti, record vuoti o mancanti ed errori. Registrate i risultati del programma originale, poi sottoponete i candidati allo stesso insieme di test.
Non confrontate soltanto la quota di verifiche superate. Registrate il costo delle chiamate, il numero di correzioni manuali e i tipi di discrepanza; controllate separatamente le interfacce con i sistemi esterni e le dipendenze che il frammento di test potrebbe non coprire. Questo processo mostra dove il modello può aiutare ad analizzare e riscrivere un modulo e dove, invece, la logica critica dovrebbe restare sotto controllo umano e affidarsi a test specializzati.
L’annuncio del 19 ottobre ha aggiunto un punto di partenza riproducibile per valutare modelli di programmazione nei linguaggi con meno esempi disponibili. Per prendere una decisione pratica, è più importante confrontare il test aperto con le regole specifiche del proprio sistema: a determinare l’idoneità della migrazione è la corrispondenza del comportamento, non la semplice familiarità con la sintassi del linguaggio di destinazione.