Michael JohnsonУ системах на COBOL важливий кожен нюанс поведінки: програма може завершитися без помилки, але інакше округлити суму або обробити відсутній запис. 19 жовтня 2026 року OpenAI опублікувала результати двох оцінювань програмування мовами з меншим обсягом навчальних матеріалів: відкритого MultiLangBench для 20 мов і окремого тесту міграції COBOL.
Практична цінність анонсу — у можливості вивчити сам тестовий набір і порівняти заявлені показники з конкретною роботою: створенням програм малопоширеними в даних мовами та збереженням поведінки старого коду під час перенесення.
Два оцінювання — два різні завдання
MultiLangBench перевіряє, чи здатна модель із нуля створити сумісний із SQLite рушій бази даних заданою мовою. У цьому завданні потрібно організувати код, керувати станом, обробляти помилки й додавати функції, зберігаючи попередню поведінку. Підсумок оцінюють за часткою пройдених тестів; OpenAI також повідомляє вартість викликів API.
Щоб порівнювати мови, у тестах застосовують спільну перевірку через файл бази даних: реалізація отримує вихідну базу та SQL-запит, після чого перевіряють, чи відповідає змінена база очікуваному результату. У опублікованому наборі OpenAI адаптувала тести SQLite й повідомила про оцінювання 20 мовами. Розробники можуть переглянути код і результати в репозиторії MultiLangBench.
Окреме оцінювання присвячене міграції наявних програм COBOL на C++, Java, Kotlin, Python або Rust. Тут успіх залежить від точного збереження спостережуваної поведінки: OpenAI використовувала приховані тести, які вимагали побайтового збігу вихідних даних. Компанія окремо наголошує на важливості таких деталей, як правила округлення та обробка відсутніх записів.
Що означають опубліковані цифри
За даними OpenAI, GPT‑6 Astra показала в MultiLangBench середню частку пройдених тестів 87,4% для 20 мов за максимального рівня міркування; для GPT‑5.6 Sol компанія наводить 26,8%. У тесті міграції COBOL GPT‑6.1 Sol продемонструвала точність 86,6% за низького рівня міркування, тоді як GPT‑5.6 Sol у тому самому режимі — 5,4%. За вищого рівня міркування результат GPT‑6.1 Sol сягнув 97,9%.
Ці показники стосуються двох описаних тестових сценаріїв. MultiLangBench оцінює створення обмеженого рушія, сумісного із SQLite, а тест COBOL — збереження результату на наборі програм, перевірених прихованими тестами. Тому цифри годяться для вибору кандидатів на власне випробування, а не для безпосереднього оцінювання будь-якої корпоративної кодової бази. OpenAI розкрила методику й результати в описі дослідження від 19 жовтня.
Як застосувати тест у проєкті модернізації
Для команди, яка розглядає перенесення успадкованої системи, корисний наступний крок — перетворити критично важливі бізнес-правила на перевірюваний набір поведінки. Зберіть репрезентативні вхідні дані й очікувані виходи, зокрема граничні суми, округлення, порожні або відсутні записи та помилки. Зафіксуйте результати вихідної програми, а потім перевіряйте кандидатів на тому самому наборі.
Порівнюйте не лише частку успішних перевірок. Записуйте вартість викликів, кількість ручних виправлень і типи розбіжностей; окремо перевіряйте інтерфейси із зовнішніми системами та залежності, яких тестовий фрагмент може не охоплювати. Такий процес показує, де модель допомагає досліджувати й переписувати модуль, а де критично важливу логіку слід залишити під ручним контролем і перевіряти спеціалізованими тестами.
Анонс від 19 жовтня додав відтворювану відправну точку для оцінювання моделей коду мовами з меншим обсягом доступних прикладів. Для практичного рішення найважливіше зіставити відкритий тест із власними правилами системи: придатність міграції визначає саме збіг поведінки, а не знайомство із синтаксисом цільової мови.