Michael JohnsonCOBOL 기반 시스템에서는 동작의 세부 사항 하나하나가 중요하다. 프로그램이 오류 없이 끝나더라도 금액을 다르게 반올림하거나 누락된 레코드를 다르게 처리할 수 있다. 2026년 10월 19일, OpenAI는 학습 자료가 상대적으로 적은 프로그래밍 언어를 대상으로 한 두 가지 평가 결과를 공개했다. 20개 언어를 다루는 공개 MultiLangBench와 별도의 COBOL 마이그레이션 테스트다.
이번 발표의 실질적인 가치는 테스트 세트 자체를 살펴보고, 제시된 지표를 구체적인 작업과 비교할 수 있다는 데 있다. 즉, 데이터가 적은 언어로 프로그램을 만들고, 이전 코드의 동작을 마이그레이션 후에도 보존하는 작업이다.
서로 다른 과제를 평가하는 두 가지 테스트
MultiLangBench는 모델이 처음부터 SQLite 호환 데이터베이스 엔진을 지정된 언어로 만들 수 있는지 평가한다. 과제에는 코드 구조화, 상태 관리, 오류 처리, 기능 추가와 기존 동작의 보존이 포함된다. 최종 점수는 통과한 테스트의 비율이며, OpenAI는 API 호출 비용도 함께 공개한다.
언어별 비교에는 데이터베이스 파일을 통한 공통 검증 방식이 사용된다. 구현물에 원본 데이터베이스와 SQL 쿼리를 입력한 뒤, 변경된 데이터베이스가 예상 결과와 일치하는지 확인한다. OpenAI가 공개한 세트는 SQLite 테스트를 적용했으며, 20개 언어에 대한 평가 결과를 담고 있다. 개발자는 MultiLangBench 저장소에서 코드와 결과를 확인할 수 있다.
별도의 평가는 기존 COBOL 프로그램을 C++, Java, Kotlin, Python 또는 Rust로 마이그레이션하는 작업을 다룬다. 여기서는 관찰 가능한 동작을 정확히 보존하는 것이 중요하다. OpenAI는 출력이 바이트 단위로 일치해야 하는 비공개 테스트를 사용했다. 회사는 반올림 규칙이나 누락된 레코드 처리 같은 세부 사항이 중요하다고 별도로 강조한다.
공개된 수치가 의미하는 것
OpenAI에 따르면 GPT‑6 Astra는 최대 추론 수준에서 MultiLangBench의 20개 언어 평균 테스트 통과율 87.4%를 기록했다. GPT‑5.6 Sol의 수치는 26.8%다. COBOL 마이그레이션 테스트에서는 GPT‑6.1 Sol이 낮은 추론 수준에서 86.6%의 정확도를 보였으며, 같은 조건에서 GPT‑5.6 Sol은 5.4%를 기록했다. 추론 수준을 높였을 때 GPT‑6.1 Sol의 결과는 97.9%에 달했다.
이 수치는 앞서 설명한 두 가지 테스트 시나리오에 한정된다. MultiLangBench는 범위가 제한된 SQLite 호환 엔진의 생성을 평가하고, COBOL 테스트는 비공개 테스트로 프로그램 묶음의 출력 보존 여부를 확인한다. 따라서 이 지표는 자체 평가를 위한 후보 모델을 고르는 데 참고할 수 있지만, 모든 기업 코드베이스를 직접 평가하는 기준은 아니다. OpenAI는 10월 19일 연구 설명에서 방법론과 결과를 공개했다.
시스템 현대화 프로젝트에 테스트 적용하기
레거시 시스템의 이전을 검토하는 팀이 다음 단계로 삼을 만한 일은 중요한 비즈니스 규칙을 검증 가능한 동작 테스트로 만드는 것이다. 경계 금액, 반올림, 비어 있거나 누락된 레코드, 오류를 포함해 대표성 있는 입력과 기대 출력을 준비한다. 먼저 기존 프로그램의 결과를 기록한 다음, 같은 테스트 세트로 후보 모델을 검증한다.
테스트 통과율만 비교해서는 안 된다. 호출 비용, 수동 수정 횟수, 불일치 유형도 기록하고, 테스트 코드가 다루지 못할 수 있는 외부 시스템 연동과 의존성도 따로 점검한다. 이런 과정은 모델이 모듈을 분석하고 재작성하는 데 도움이 되는 부분과, 중요한 로직을 수동 관리 및 전문 테스트의 통제 아래 두어야 하는 부분을 보여준다.
10월 19일 발표는 이용 가능한 예시가 상대적으로 적은 언어에서 코드 모델을 평가할 수 있는 재현 가능한 출발점을 마련했다. 실제 의사결정에서는 공개 테스트를 시스템 고유의 규칙과 비교하는 것이 무엇보다 중요하다. 마이그레이션의 적합성을 결정하는 것은 대상 언어의 문법에 대한 익숙함이 아니라 동작이 일치하는지 여부다.