Michael JohnsonCOBOL 프로그램을 현대적인 언어로 옮기면서 구문은 보존하더라도 금액 계산 규칙이 달라질 수 있다. OpenAI는 바로 이 문제를 다룬 10월 19일 게시물에서 COBOL, Fortran 및 학습 자료가 상대적으로 적은 다른 언어의 프로그래밍 테스트 결과를 공개하고 MultiLangBench를 선보였다.
레거시 기업 시스템을 유지보수하는 팀에 이번 소식이 유용한 이유는 공개된 수치뿐 아니라 서로 다른 두 가지 평가 방식 때문이다. 하나는 여러 언어로 처음부터 프로그램을 만드는 능력을 평가하고, 다른 하나는 COBOL 코드 이식 후 관찰 가능한 동작이 보존되는지 확인한다. 두 작업에는 서로 다른 테스트가 필요하며, 도입 과정의 위험과도 각기 다른 방식으로 연결된다.
두 가지 테스트, 두 가지 엔지니어링 과제
MultiLangBench에서는 모델이 SQLite와 호환되는 엔진을 만들고, 쿼리를 처리해 데이터베이스 파일을 수정해야 한다. OpenAI는 20개 언어에서 통과한 테스트의 평균 비율을 공개했다. GPT‑6 Astra는 추론 수준을 최대로 설정했을 때 87.4%를 기록했고, GPT‑5.6 Sol은 26.8%를 기록했다. 각 구현은 데이터베이스의 예상 내용과 대조해 검증하며, 실행 시간과 API 비용도 평가한다.
회사는 테스트 인프라를 포함한 MultiLangBench GitHub 저장소를 공개했다. 공개 저장소에는 SQLite TCL Tests 세트를 기반으로 만든 테스트와 결과 검증 규칙이 설명되어 있다. 개발자는 평가에 어떤 작업이 포함되는지 살펴본 뒤, 자신의 모델 설정으로 테스트를 재현할 수 있다.
COBOL 마이그레이션에서는 다른 능력을 평가한다. 기존 프로그램을 C++, Java, Kotlin, Python 또는 Rust로 다시 작성하고, 비공개 테스트에서 기존 동작을 보존하는지 확인한다. OpenAI에 따르면 추론 수준을 낮게 설정했을 때 GPT‑6.1 Sol의 정확도는 86.6%였고, 같은 설정에서 GPT‑5.6 Sol은 5.4%였다. 추론 수준을 높이면 이 평가에서 GPT‑6.1 Sol의 수치는 97.9%까지 올라간다.
이식 과정에서 비즈니스 규칙을 검증해야 하는 이유
OpenAI는 호환성이 원본 언어의 의미 체계에 달려 있다고 강조한다. 예를 들어 COBOL의 고정소수점 연산은 반올림을 명시적으로 지정하지 않으면 초과 소수 자릿수를 버린다. 새 구현이 이를 다르게 반올림하면 프로그램은 정상 실행되면서도 금융 결과가 달라질 수 있다.
따라서 마이그레이션 테스트의 기준은 검증 대상 사례에서 출력이 일치하는지 여부다. 실제 팀은 여기에 자체 계산 규칙과 데이터 형식, 시스템 의존성도 포함해야 한다. 좋은 첫 단계는 입출력이 명확한 모듈을 골라 실제 경계 사례의 기준 결과를 기록하고, 기존 버전과 새 버전을 병렬로 실행하는 것이다.
테스트 결과가 팀에 주는 의미
OpenAI의 수치는 공개된 데이터셋과 추론 설정에 따른 결과다. MultiLangBench는 SQLite 호환 구현의 생성을 평가하고, COBOL 테스트 세트는 이식 과정에서 동작이 보존되는지를 평가한다. 이 수치들은 해당 평가에 대한 결과다. 팀은 이를 모델을 선별하는 참고 자료이자 자체적으로 재현 가능한 비교를 수행할 기반으로 활용할 수 있지만, 어떤 운영 시스템과의 호환성을 보장하는 평가로 받아들여서는 안 된다.
실무적인 결론은 간단하다. 모델은 자체 코드와 검증 사례로 테스트하고, 비용은 성공률과 함께 따져야 한다. COBOL 현대화에서는 반올림, 누락된 레코드, 그리고 기존 프로그램의 동작에 내재된 다른 규칙을 특히 꼼꼼히 검증해야 한다. 새로운 결과는 이러한 검증을 더 쉽게 시작할 수 있게 하지만, 동등성을 확인할 책임은 여전히 엔지니어링 과정에 있다.