Michael JohnsonEm sistemas COBOL, cada nuance de comportamento importa: um programa pode terminar sem erros, mas arredondar um valor de forma diferente ou processar um registro ausente de outra maneira. Em 19 de outubro de 2026, a OpenAI publicou os resultados de duas avaliações de programação em linguagens com menos material de treinamento: o MultiLangBench, aberto e voltado a 20 linguagens, e um teste separado de migração de COBOL.
O valor prático do anúncio está na possibilidade de examinar o próprio conjunto de testes e comparar os indicadores divulgados com tarefas concretas: criar programas em linguagens pouco representadas nos dados e preservar o comportamento do código antigo durante a migração.
Duas avaliações, duas tarefas diferentes
O MultiLangBench verifica se um modelo consegue criar do zero, na linguagem indicada, um mecanismo de banco de dados compatível com SQLite. A tarefa exige organizar o código, gerenciar o estado, tratar erros e acrescentar funcionalidades sem alterar o comportamento existente. O resultado é medido pela proporção de testes aprovados; a OpenAI também informa o custo das chamadas à API.
Para comparar linguagens, os testes usam uma verificação comum por meio de um arquivo de banco de dados: a implementação recebe o banco original e uma consulta SQL, e então se verifica se o banco alterado corresponde ao resultado esperado. No conjunto publicado, a OpenAI adaptou os testes do SQLite e informou resultados para 20 linguagens. Os desenvolvedores podem consultar o código e os resultados no repositório MultiLangBench.
A avaliação separada é dedicada à migração de programas COBOL existentes para C++, Java, Kotlin, Python ou Rust. Nesse caso, o sucesso depende da preservação exata do comportamento observável: a OpenAI usou testes ocultos que exigem correspondência byte a byte dos resultados. A empresa destaca a importância de detalhes como regras de arredondamento e tratamento de registros ausentes.
O que significam os números divulgados
Segundo a OpenAI, o GPT‑6 Astra obteve uma média de 87,4% de testes aprovados no MultiLangBench, em 20 linguagens, com o nível máximo de raciocínio; para o GPT‑5.6 Sol, a empresa informa 26,8%. No teste de migração de COBOL, o GPT‑6.1 Sol alcançou 86,6% de precisão com nível baixo de raciocínio, ante 5,4% do GPT‑5.6 Sol no mesmo modo. Com um nível de raciocínio mais alto, o resultado do GPT‑6.1 Sol chegou a 97,9%.
Esses indicadores dizem respeito aos dois cenários de teste descritos. O MultiLangBench avalia a criação de um mecanismo limitado compatível com SQLite; já o teste de COBOL mede a preservação dos resultados em um conjunto de programas verificados por testes ocultos. Portanto, os números ajudam a selecionar modelos para testes próprios, mas não servem para avaliar diretamente qualquer base de código empresarial. A OpenAI divulgou a metodologia e os resultados na descrição do estudo de 19 de outubro.
Como aplicar o teste a um projeto de modernização
Para uma equipe que avalia a migração de um sistema legado, um próximo passo útil é transformar as regras de negócio críticas em um conjunto de comportamentos verificáveis. Reúna entradas representativas e os resultados esperados, incluindo valores-limite, arredondamentos, registros vazios ou ausentes e erros. Registre os resultados do programa original e, em seguida, teste os modelos candidatos com o mesmo conjunto.
Compare mais do que a proporção de verificações bem-sucedidas. Registre o custo das chamadas, o número de correções manuais e os tipos de divergência; verifique separadamente as interfaces com sistemas externos e as dependências que o trecho de teste talvez não cubra. Esse processo mostra onde o modelo ajuda a investigar e reescrever um módulo e onde a lógica crítica deve permanecer sob controle humano e ser coberta por testes especializados.
O anúncio de 19 de outubro ofereceu um ponto de partida reproduzível para avaliar modelos de código em linguagens com menos exemplos disponíveis. Para uma decisão prática, o mais importante é comparar o teste aberto com as regras do próprio sistema: é a correspondência de comportamento, e não a familiaridade com a sintaxe da linguagem de destino, que determina se a migração é adequada.