Michael JohnsonEs posible trasladar un programa COBOL a un lenguaje moderno conservando la sintaxis y, aun así, cambiar las reglas de cálculo monetario. OpenAI dedicó a este problema su publicación del 19 de octubre: la empresa comunicó los resultados de sus modelos en pruebas de programación con COBOL, Fortran y otros lenguajes con menos material de entrenamiento, y abrió el conjunto MultiLangBench.
Para los equipos que mantienen sistemas corporativos antiguos, lo útil de la noticia no son solo los porcentajes anunciados, sino también los dos tipos distintos de evaluación. Uno mide la creación de programas desde cero en varios lenguajes; el otro comprueba si la migración de código COBOL conserva el comportamiento observable. Estas tareas requieren pruebas diferentes y conllevan distintos riesgos de implementación.
Dos pruebas, dos tareas de ingeniería
En MultiLangBench, el modelo debe crear un motor compatible con SQLite que acepte consultas y modifique un archivo de base de datos. OpenAI comunica el porcentaje medio de pruebas superadas en 20 lenguajes: GPT‑6 Astra obtuvo un 87,4 % con el nivel máximo de razonamiento, mientras que GPT‑5.6 Sol alcanzó un 26,8 %. Cada implementación se verifica comparando el contenido esperado de la base de datos; también se evalúan el tiempo de ejecución y el coste de la API.
La empresa publicó MultiLangBench en GitHub, incluida la infraestructura de pruebas. El repositorio publicado describe las pruebas creadas a partir del conjunto SQLite TCL Tests y las reglas para verificar los resultados. Así, los desarrolladores pueden consultar qué operaciones se evalúan y luego reproducir la prueba con la configuración de modelos que elijan.
La migración de COBOL evalúa otra capacidad: reescribir un programa existente en C++, Java, Kotlin, Python o Rust y conservar su comportamiento en pruebas ocultas. OpenAI informa de una precisión del 86,6 % para GPT‑6.1 Sol con un nivel bajo de razonamiento, frente al 5,4 % de GPT‑5.6 Sol en el mismo modo. Con un nivel de razonamiento más alto, GPT‑6.1 Sol alcanza un 97,9 % en esta evaluación.
Por qué la migración exige comprobar las reglas de negocio
En su descripción, OpenAI subraya que la compatibilidad depende de la semántica del lenguaje original. Por ejemplo, la aritmética de punto fijo de COBOL descarta los decimales sobrantes si no se especifica el redondeo de forma explícita. Si la nueva implementación los redondea de otra manera, el programa puede ejecutarse correctamente y, aun así, producir resultados financieros distintos.
Por eso, el criterio de la prueba de migración es que coincidan las salidas en los casos evaluados; el criterio práctico del equipo también debe incluir sus propias reglas de cálculo, formatos de datos y dependencias del sistema. Un primer paso útil es elegir un módulo con entradas y salidas claras, fijar resultados de referencia para casos límite reales y ejecutar en paralelo las versiones original y reescrita.
Qué aportan los resultados a los equipos
Las cifras de OpenAI corresponden a los conjuntos publicados y a las configuraciones de razonamiento utilizadas. MultiLangBench evalúa la creación de una implementación compatible con SQLite, mientras que el conjunto de COBOL mide la conservación del comportamiento durante la migración; los resultados describen esas pruebas concretas. Para los equipos, son una referencia para seleccionar modelos y una base para realizar comparaciones reproducibles propias, no una evaluación lista para usar de la compatibilidad con cualquier sistema de producción.
La conclusión práctica es sencilla: conviene probar los modelos con código y casos de control propios, y calcular el coste junto con la tasa de éxito. En la modernización de COBOL son especialmente importantes las comprobaciones del redondeo, los registros omitidos y otras reglas arraigadas en el comportamiento del programa antiguo. Los nuevos resultados facilitan estas pruebas, pero confirmar la equivalencia sigue siendo parte del proceso de ingeniería.