Michael JohnsonEn los sistemas COBOL, cada matiz del comportamiento importa: un programa puede terminar sin errores y, aun así, redondear una suma de otra manera o gestionar un registro ausente de forma distinta. El 19 de octubre de 2026, OpenAI publicó los resultados de dos evaluaciones de programación en lenguajes con menos material de entrenamiento: MultiLangBench, una prueba abierta en 20 lenguajes, y una evaluación independiente de migración de COBOL.
El valor práctico del anuncio reside en la posibilidad de examinar el conjunto de pruebas y comparar las métricas comunicadas con tareas concretas: crear programas en lenguajes poco representados en los datos y preservar el comportamiento del código antiguo durante la migración.
Dos evaluaciones, dos tareas distintas
MultiLangBench comprueba si un modelo puede crear desde cero, en el lenguaje especificado, un motor de base de datos compatible con SQLite. La tarea exige organizar el código, gestionar el estado, tratar errores y añadir funciones sin alterar el comportamiento existente. El resultado se mide según la proporción de pruebas superadas; OpenAI también informa del coste de las llamadas a la API.
Para comparar los lenguajes, las pruebas utilizan una comprobación común mediante un archivo de base de datos: la implementación recibe una base de datos inicial y una consulta SQL, y después se verifica si la base modificada coincide con el resultado esperado. En el conjunto publicado, OpenAI adaptó las pruebas de SQLite y comunicó evaluaciones en 20 lenguajes. Los desarrolladores pueden consultar el código y los resultados en el repositorio de MultiLangBench.
La evaluación independiente se centra en migrar programas COBOL existentes a C++, Java, Kotlin, Python o Rust. El éxito depende de preservar con exactitud el comportamiento observable: OpenAI utilizó pruebas ocultas que exigían que las salidas coincidieran byte por byte. La empresa destaca, en particular, la importancia de detalles como las reglas de redondeo y el tratamiento de registros ausentes.
Qué significan las cifras publicadas
Según OpenAI, GPT‑6 Astra obtuvo en MultiLangBench una media del 87,4 % de pruebas superadas en los 20 lenguajes con el nivel máximo de razonamiento; para GPT‑5.6 Sol, la empresa informa de un 26,8 %. En la prueba de migración de COBOL, GPT‑6.1 Sol alcanzó una precisión del 86,6 % con un nivel bajo de razonamiento, frente al 5,4 % de GPT‑5.6 Sol en el mismo modo. Con un nivel de razonamiento más alto, el resultado de GPT‑6.1 Sol llegó al 97,9 %.
Estas cifras corresponden a los dos escenarios de prueba descritos. MultiLangBench evalúa la creación de un motor limitado compatible con SQLite, mientras que la prueba de COBOL mide la conservación de los resultados en un conjunto de programas mediante pruebas ocultas. Por ello, las cifras sirven para seleccionar modelos candidatos para una evaluación propia, no para valorar directamente cualquier base de código empresarial. OpenAI publicó la metodología y los resultados en la descripción del estudio del 19 de octubre.
Cómo aplicar la prueba a un proyecto de modernización
Para un equipo que evalúa migrar un sistema heredado, un siguiente paso útil es convertir las reglas de negocio críticas en un conjunto de comportamientos verificables. Reúna entradas representativas y resultados esperados, incluidos importes límite, redondeos, registros vacíos o ausentes y errores. Registre los resultados del programa original y, después, someta a los candidatos al mismo conjunto de pruebas.
No compare únicamente la proporción de comprobaciones superadas. Registre el coste de las llamadas, el número de correcciones manuales y los tipos de discrepancias; compruebe por separado las interfaces con sistemas externos y las dependencias que el fragmento evaluado podría no abarcar. Este proceso permite determinar dónde el modelo ayuda a investigar y reescribir un módulo, y dónde conviene mantener la lógica crítica bajo supervisión manual y pruebas especializadas.
El anuncio del 19 de octubre añadió un punto de partida reproducible para evaluar modelos de código en lenguajes con menos ejemplos disponibles. Para tomar una decisión práctica, lo más importante es contrastar la prueba abierta con las reglas propias del sistema: la idoneidad de una migración depende de que el comportamiento coincida, no solo de conocer la sintaxis del lenguaje de destino.