Michael JohnsonВ системах на COBOL важен каждый нюанс поведения: программа может завершиться без ошибки, но иначе округлить сумму или обработать отсутствующую запись. 19 октября 2026 года OpenAI опубликовала результаты двух оценок программирования на языках с меньшим объёмом обучающих материалов: открытого MultiLangBench по 20 языкам и отдельного теста миграции COBOL.
Практическая ценность анонса — в возможности изучить сам тестовый набор и сопоставить заявленные показатели с конкретной работой: созданием программ на мало представленных в данных языках и сохранением поведения старого кода при переносе.
Две оценки — две разные задачи
MultiLangBench проверяет, способен ли модель собрать с нуля совместимый с SQLite движок базы данных на заданном языке. В задаче нужно организовать код, управлять состоянием, обрабатывать ошибки и добавлять функции, сохраняя прежнее поведение. Итог оценивается по доле пройденных тестов; OpenAI также сообщает стоимость API-вызовов.
Для сравнения языков тесты используют общую проверку через файл базы данных: реализация получает исходную базу и SQL-запрос, а затем проверяется, соответствует ли изменённая база ожидаемому результату. В опубликованном наборе OpenAI адаптировала тесты SQLite и сообщила об оценке по 20 языкам. Разработчики могут изучить код и результаты в репозитории MultiLangBench.
Отдельная оценка посвящена миграции существующих программ COBOL на C++, Java, Kotlin, Python или Rust. Здесь успех зависит от точного сохранения наблюдаемого поведения: OpenAI использовала скрытые тесты, требующие побайтного совпадения выходных данных. Компания отдельно отмечает важность деталей вроде правил округления и обработки пропущенных записей.
Что означают опубликованные цифры
По данным OpenAI, GPT‑6 Astra получила в MultiLangBench среднюю долю пройденных тестов 87,4% по 20 языкам при максимальном уровне рассуждений; для GPT‑5.6 Sol компания приводит 26,8%. В тесте миграции COBOL GPT‑6.1 Sol показала 86,6% точности при низком уровне рассуждений против 5,4% у GPT‑5.6 Sol в том же режиме. При более высоком уровне рассуждений результат GPT‑6.1 Sol достиг 97,9%.
Эти показатели относятся к двум описанным тестовым сценариям. MultiLangBench оценивает создание ограниченного SQLite-совместимого движка, а тест COBOL — сохранение результата на наборе программ с проверкой скрытыми тестами. Поэтому цифры пригодны для выбора кандидатов на собственное испытание, а не для прямой оценки любой корпоративной кодовой базы. OpenAI раскрыла методику и результаты в описании исследования от 19 октября.
Как применить тест к проекту модернизации
Для команды, рассматривающей перенос унаследованной системы, полезный следующий шаг — превратить критичные бизнес-правила в проверяемый набор поведения. Соберите репрезентативные входы и ожидаемые выходы, включая граничные суммы, округление, пустые или отсутствующие записи и ошибки. Зафиксируйте результаты исходной программы, затем прогоняйте кандидатов по тому же набору.
Сравнивайте не только долю успешных проверок. Записывайте стоимость вызовов, число ручных исправлений и типы расхождений; отдельно проверяйте интерфейсы с внешними системами и зависимости, которые тестовый фрагмент может не охватывать. Такой процесс показывает, где модель помогает исследовать и переписывать модуль, а где критичную логику следует оставить под ручным контролем и специализированными тестами.
Анонс от 19 октября добавил воспроизводимую отправную точку для оценки кодовых моделей на языках с меньшим объёмом доступных примеров. Для практического решения важнее всего сопоставить открытый тест с собственными правилами системы: именно совпадение поведения, а не знакомство синтаксиса целевого языка, определяет пригодность миграции.