Michael JohnsonMigrar um programa COBOL para uma linguagem moderna pode preservar a sintaxe e, ainda assim, alterar as regras de cálculo financeiro. A OpenAI dedicou a publicação de 19 de outubro justamente a esse problema: a empresa divulgou resultados de seus modelos em testes de programação com COBOL, Fortran e outras linguagens com menos material de treinamento e abriu o conjunto MultiLangBench.
Para as equipes que mantêm sistemas corporativos antigos, a parte útil da notícia não são apenas as porcentagens divulgadas, mas também os dois tipos distintos de avaliação. Um mede a criação de programas do zero em diferentes linguagens; o outro verifica se a migração de código COBOL preserva o comportamento observado. Essas tarefas exigem testes diferentes e envolvem riscos distintos na implantação.
Dois testes — dois desafios de engenharia
No MultiLangBench, o modelo deve criar um mecanismo compatível com SQLite que aceite consultas e modifique um arquivo de banco de dados. A OpenAI informa a porcentagem média de testes aprovados em 20 linguagens: o GPT‑6 Astra obteve 87,4% no nível máximo de raciocínio, enquanto o GPT‑5.6 Sol alcançou 26,8%. Cada implementação é avaliada pelo conteúdo esperado do banco de dados; também são medidos o tempo de execução e o custo da API.
A empresa publicou o MultiLangBench no GitHub, incluindo a infraestrutura de testes. O repositório publicado descreve testes criados com base no conjunto SQLite TCL Tests e as regras de verificação dos resultados. Isso permite que os desenvolvedores examinem quais operações são incluídas na avaliação e, em seguida, reproduzam o teste com sua própria configuração de modelo.
Na migração de COBOL, é avaliada outra capacidade: reescrever um programa existente em C++, Java, Kotlin, Python ou Rust e preservar seu comportamento em testes ocultos. A OpenAI informa uma precisão de 86,6% para o GPT‑6.1 Sol no nível baixo de raciocínio, contra 5,4% do GPT‑5.6 Sol no mesmo modo. Em um nível mais alto de raciocínio, o indicador do GPT‑6.1 Sol chega a 97,9% nessa avaliação.
Por que a migração exige verificar as regras de negócio
Na descrição, a OpenAI ressalta que a compatibilidade depende da semântica da linguagem de origem. Por exemplo, a aritmética de ponto fixo do COBOL descarta casas decimais excedentes quando o arredondamento não é especificado explicitamente. Se a nova implementação arredondar de outra forma, o programa poderá ser executado com sucesso e, ainda assim, produzir resultados financeiros diferentes.
Por isso, o critério do teste de migração é a correspondência das saídas nos casos avaliados, mas o critério prático da equipe também deve incluir as próprias regras de cálculo, o formato dos dados e as dependências do sistema. Um primeiro passo útil é escolher um módulo com entradas e saídas claras, registrar resultados de referência para casos extremos reais e executar em paralelo as versões original e reescrita.
O que os resultados oferecem às equipes
Os números da OpenAI se referem aos conjuntos publicados e às configurações de raciocínio. O MultiLangBench avalia a criação de uma implementação compatível com SQLite, enquanto o conjunto de COBOL mede a preservação do comportamento durante a migração; os indicadores descrevem essas avaliações específicas. Para as equipes, eles oferecem uma referência para selecionar modelos e uma base para comparações próprias e reproduzíveis, não uma avaliação pronta de compatibilidade com qualquer sistema de produção.
A conclusão prática é simples: vale testar os modelos com o próprio código e casos de controle próprios, contabilizando o custo junto com a taxa de sucesso. Na modernização de COBOL, são especialmente importantes as verificações de arredondamento, registros ausentes e outras regras incorporadas ao comportamento do programa antigo. Os novos resultados tornam esse tipo de verificação mais acessível; comprovar a equivalência continua sendo responsabilidade do processo de engenharia.