Michael JohnsonDans les systèmes COBOL, chaque détail de comportement compte : un programme peut s’exécuter sans erreur, mais arrondir un montant différemment ou traiter autrement un enregistrement manquant. Le 19 octobre 2026, OpenAI a publié les résultats de deux évaluations de programmation portant sur des langages moins représentés dans les données d’entraînement : le benchmark ouvert MultiLangBench, qui couvre 20 langages, et un test distinct de migration de COBOL.
L’intérêt pratique de cette annonce tient à la possibilité d’examiner le jeu de tests lui-même et de comparer les indicateurs publiés avec des tâches concrètes : créer des programmes dans des langages peu représentés dans les données et préserver le comportement du code ancien lors de sa migration.
Deux évaluations, deux tâches différentes
MultiLangBench vérifie si un modèle peut créer de zéro, dans un langage donné, un moteur de base de données compatible avec SQLite. La tâche consiste à structurer le code, gérer l’état, traiter les erreurs et ajouter des fonctionnalités tout en préservant le comportement existant. Le résultat est évalué selon la proportion de tests réussis ; OpenAI indique également le coût des appels à l’API.
Pour comparer les langages, les tests s’appuient sur une vérification commune au moyen d’un fichier de base de données : l’implémentation reçoit une base initiale et une requête SQL, puis le système vérifie si la base modifiée correspond au résultat attendu. Dans le jeu de tests publié, OpenAI a adapté les tests de SQLite et indique avoir évalué 20 langages. Les développeurs peuvent consulter le code et les résultats dans le dépôt MultiLangBench.
Une évaluation distincte porte sur la migration de programmes COBOL existants vers C++, Java, Kotlin, Python ou Rust. La réussite dépend ici de la préservation exacte du comportement observable : OpenAI a utilisé des tests cachés exigeant une correspondance octet par octet des sorties. L’entreprise souligne notamment l’importance de détails tels que les règles d’arrondi et le traitement des enregistrements manquants.
Que signifient les chiffres publiés ?
Selon OpenAI, GPT‑6 Astra a obtenu un taux moyen de réussite de 87,4 % aux tests de MultiLangBench sur 20 langages, avec le niveau de raisonnement maximal ; l’entreprise indique 26,8 % pour GPT‑5.6 Sol. Dans le test de migration COBOL, GPT‑6.1 Sol a atteint une précision de 86,6 % avec un faible niveau de raisonnement, contre 5,4 % pour GPT‑5.6 Sol dans les mêmes conditions. Avec un niveau de raisonnement supérieur, le résultat de GPT‑6.1 Sol est monté à 97,9 %.
Ces indicateurs correspondent aux deux scénarios de test décrits. MultiLangBench évalue la création d’un moteur limité compatible avec SQLite, tandis que le test COBOL vérifie la préservation des résultats sur un ensemble de programmes au moyen de tests cachés. Ces chiffres peuvent donc aider à sélectionner des modèles à soumettre à des essais internes, mais ne permettent pas d’évaluer directement n’importe quelle base de code d’entreprise. OpenAI a présenté la méthode et les résultats dans sa étude publiée le 19 octobre.
Comment appliquer le test à un projet de modernisation
Pour une équipe qui envisage de migrer un système ancien, une prochaine étape utile consiste à transformer les règles métier critiques en comportements vérifiables. Constituez un ensemble représentatif d’entrées et de sorties attendues, comprenant des montants limites, des règles d’arrondi, des enregistrements vides ou manquants et des erreurs. Consignez les résultats du programme d’origine, puis évaluez les modèles candidats avec le même ensemble.
Ne comparez pas uniquement la proportion de vérifications réussies. Consignez le coût des appels, le nombre de corrections manuelles et les types d’écarts ; vérifiez séparément les interfaces avec les systèmes externes et les dépendances que l’extrait testé peut ne pas couvrir. Cette démarche montre où le modèle aide à examiner et à réécrire un module, et où il vaut mieux maintenir la logique critique sous contrôle humain et la soumettre à des tests spécialisés.
L’annonce du 19 octobre fournit un point de départ reproductible pour évaluer des modèles de code sur des langages moins représentés dans les exemples disponibles. Pour prendre une décision pratique, le plus important est de comparer le benchmark ouvert aux règles propres au système : c’est la préservation du comportement, et non la simple connaissance de la syntaxe du langage cible, qui détermine si une migration est adaptée.