Michael JohnsonIl est possible de porter un programme COBOL vers un langage moderne tout en conservant sa syntaxe, mais en modifiant les règles de calcul financier. OpenAI a consacré sa publication du 19 octobre à ce problème : l’entreprise a communiqué les résultats de ses modèles sur des tests de programmation en COBOL, Fortran et d’autres langages disposant de moins de ressources d’entraînement, et a publié le jeu de tests MultiLangBench.
Pour les équipes chargées de maintenir d’anciens systèmes d’entreprise, l’intérêt de l’annonce ne tient pas seulement aux pourcentages communiqués, mais aussi aux deux types de vérification distincts. Le premier évalue la création de programmes à partir de zéro dans plusieurs langages ; le second vérifie si le portage de code COBOL préserve le comportement observable. Ces tâches exigent des tests différents et présentent des risques distincts lors du déploiement.
Deux tests, deux tâches d’ingénierie
Dans MultiLangBench, le modèle doit créer un moteur compatible avec SQLite, capable de traiter des requêtes et de modifier un fichier de base de données. OpenAI indique le pourcentage moyen de tests réussis dans 20 langages : GPT‑6 Astra a obtenu 87,4 % au niveau de raisonnement maximal, contre 26,8 % pour GPT‑5.6 Sol. Chaque implémentation est évaluée en fonction du contenu attendu de la base ; la durée d’exécution et le coût de l’API sont également pris en compte.
L’entreprise a publié MultiLangBench sur GitHub, infrastructure de test comprise. Le dépôt publié décrit des tests conçus à partir de la suite SQLite TCL Tests ainsi que les règles de vérification des résultats. Les développeurs peuvent ainsi examiner les opérations précises évaluées, puis reproduire le test avec leur propre configuration de modèle.
Pour la migration de COBOL, une autre capacité est évaluée : réécrire un programme existant en C++, Java, Kotlin, Python ou Rust tout en préservant son comportement lors de tests cachés. OpenAI fait état d’une précision de 86,6 % pour GPT‑6.1 Sol au niveau de raisonnement faible, contre 5,4 % pour GPT‑5.6 Sol dans le même mode. Au niveau de raisonnement supérieur, le score de GPT‑6.1 Sol atteint 97,9 % pour cette évaluation.
Pourquoi le portage exige de vérifier les règles métier
Dans sa description, OpenAI souligne que la compatibilité dépend de la sémantique du langage source. Par exemple, l’arithmétique en virgule fixe de COBOL tronque les décimales excédentaires si aucun arrondi n’est explicitement défini. Si la nouvelle implémentation les arrondit autrement, le programme peut s’exécuter correctement tout en produisant des résultats financiers différents.
Le critère du test de migration est donc la concordance des résultats pour les cas vérifiés, tandis que l’équipe doit aussi tenir compte de ses propres règles de calcul, du format des données et des dépendances du système. Une première étape utile consiste à choisir un module dont les entrées et les sorties sont bien définies, à consigner les résultats de référence pour des cas limites réels, puis à exécuter en parallèle les versions d’origine et réécrite.
Ce que les résultats apportent aux équipes
Les chiffres d’OpenAI se rapportent aux jeux de tests et aux paramètres de raisonnement publiés. MultiLangBench évalue la création d’une implémentation compatible avec SQLite, tandis que le jeu de tests COBOL porte sur la préservation du comportement lors du portage ; ces scores décrivent ces évaluations précises. Ils fournissent aux équipes un repère pour présélectionner des modèles et une base pour établir leurs propres comparaisons reproductibles, mais ne constituent pas une évaluation de la compatibilité avec n’importe quel système de production.
La conclusion pratique est simple : il faut tester les modèles sur son propre code et ses propres cas de contrôle, et évaluer les coûts en même temps que le taux de réussite. Pour moderniser du COBOL, il est particulièrement important de vérifier les arrondis, les enregistrements manquants et les autres règles inscrites dans le comportement de l’ancien programme. Ces nouveaux résultats facilitent ces vérifications ; la confirmation de l’équivalence reste une étape du processus d’ingénierie.