코딩 에이전트에게 연구 업무를 맡기고 완성된 결과를 기대할 수 있을까? 구체적인 작업에 따라 다르다. 2026년 8월 1일부터 10월 18일까지의 OpenAI 데이터에서 에이전트는 사람의 개입 없이 학습 실행을 모니터링하는 작업을 가장 잘 수행했고, 추론 및 모델 서빙 코드는 훨씬 낮은 성과를 보였다.
11월 18일 보고서에서 회사는 연구자들이 에이전트에게 맡긴 작업을 비교하고, OpenAI 내부에서 이러한 도구의 사용이 어떻게 달라졌는지 설명했다. 핵심적인 실무적 결론은 ‘에이전트 업무’를 서로 다른 수용 기준을 지닌 여러 작업의 집합으로 다뤄야 한다는 것이다. 시간당 평균 성과나 모델이 ‘코드를 잘 쓴다’는 인상만으로는 구체적인 결과물에 대한 검토를 대신할 수 없다.
평가에서 달라진 점
OpenAI의 이전 연구 가속화 보고서는 9월에 나왔다. 새 보고서는 에이전트 사용, 직원 설문, 업무 흐름, 작업 유형별 성공률에 관한 데이터를 추가해 범위를 넓혔다. 다만 제시된 결과는 OpenAI의 내부 연구 조직을 설명하는 것이며, 모든 모델이나 기업에 적용되는 보편적인 평가는 아니다.
가장 이해하기 쉬운 비교 지표 중 하나는 에이전트가 사람의 개입 없이 완료한 작업의 비율이다. 사람이 2~4시간 걸리는 것으로 평가된 작업에서는 해당 비율이 3월 23%에서 10월 46%로 올랐다. 4~8시간 범주에서는 13%에서 35%로 바뀌었다. 이 범주들은 개별 업무를 개입 없이 끝까지 수행하는 능력을 보여주는 것이지, 전체 연구 업무 중 모델에 넘길 수 있는 비중을 나타내는 것은 아니다.
중요한 방법론적 세부 사항도 있다. 에이전트의 능력과 함께 에이전트에게 맡기는 작업의 선택도 달라졌다. OpenAI는 시간 범주별 성공률 증가가 모델 개선뿐 아니라 위임되는 작업 구성의 변화도 반영할 수 있다고 명시한다. 따라서 시간 기준 비교는 내부 추세를 파악하는 데 유용하지만, 연구자들이 어떤 작업을 맡길지 결정한 효과와 모델의 기여를 그 자체만으로 분리할 수는 없다.
작업 명칭이 소요 시간보다 중요한 이유
보고서에 요약된 구체적인 작업별 성과에서 OpenAI는 사람의 개입 없이 완료한 비율을 학습 실행 모니터링 79%, 해당 학습 실행 35%, 추론 및 서빙 스택 코드 작성 25%로 제시한다. 모델 학습과 관련된 인접한 두 작업조차 결과가 크게 달랐다.


이 때문에 ‘연구 지원’과 같은 포괄적인 범주는 계획 수립에 적합하지 않다. 문제가 있는지 알아차리기 위해 학습 실행을 지켜보는 일은 관찰과 신호 감지 작업이다. 학습을 실행하려면 적절한 작업과 실행 조건을 준비해야 한다. 추론 및 서빙 코드는 또 다른 기술 영역에 속한다. 이들을 하나의 지표로 묶으면 실제 업무 흐름에서 중요한 차이가 사라진다.
회사는 ‘커뮤니케이션’(69%)과 ‘분석’(58%) 범주에 대해 ‘개발’(43%)보다 높은 평가도 제시한다. 하지만 이런 넓은 범주조차 작업 간 차이를 감춘다. 적절한 일을 선택하려면 예를 들어 실행 로그에서 미리 정한 장애를 찾아내는 것처럼 검증 가능한 결과를 명시하고, 사람이 무엇을 확인해야 하는지도 별도로 정하는 편이 유용하다.
사용량이 많다고 성과도 같은 것은 아니다
보고서에 따르면 에이전트는 OpenAI 내부 업무 흐름에서 눈에 띄는 요소가 됐다. 회사가 API 가격으로 환산한 추정치에 따르면 10월 연구자의 일일 에이전트 도구 사용액 중앙값은 약 2,400달러였고, 90백분위 값은 약 23,000달러였다. 두 수치 모두 공개된 API 요금 기준의 환산액일 뿐, 실제 원가나 예산 절감 규모가 입증된 수치는 아니다.
또 다른 지표인 ‘에이전트 일수’는 에이전트 사용 8시간을 하루의 작업량으로 계산한다. 평균값은 연구자 1인당 하루 0.5일에서 5.7일로 증가했다. 사전 학습 및 후속 학습 팀에서는 연구자 한 명당 하루 평균 에이전트 총 작업량이 약 8일에 달했다. 여러 에이전트가 동시에 작동할 수 있으므로 이 지표는 에이전트의 누적 작업 시간을 설명할 뿐, 직원 한 명의 근무 시간 길이를 뜻하지 않는다. OpenAI는 또한 이 지표가 주로 대화형 사용을 집계해 자동화 사용량을 과소 집계할 수 있다고 밝혔다.
사용량 증가는 직원들이 업무 과정에 에이전트를 적극적으로 포함하고 있음을 보여준다. 하지만 다른 팀에서의 효용을 평가하기에는 충분하지 않다. 예산, 선택한 모델, 에이전트 세션의 길이, 작업의 성격이 다를 수 있다. OpenAI의 데이터는 모든 연구 부서에 적용할 표준이라기보다 어떤 업무 지표를 수집할 수 있는지를 보여주는 사례로 특히 유용하다.
사람의 역할이 남아 있는 곳
OpenAI는 연구자 10명과의 인터뷰를 통해 위임의 실제 모습을 설명했다. 에이전트는 코드 작성과 디버깅, 실험 분석, 대규모 데이터셋 검토를 도왔다. 동시에 직원들은 품질이 낮은 산출물, 분석 과정의 잘못된 가정, 실험 실행을 위한 비효율적인 시도에 대해서도 이야기했다. 회사는 GPT‑6 Astra 출시를 위해 직원들이 제안한 아이디어는 직원들의 것으로 돌렸으며, 모델은 구현을 도왔다고 별도로 밝혔다.
연구자가 설명한 작업 방식 중 팀에 적용하기 쉬운 방법이 하나 있다. 에이전트에게 예시 하나를 만들게 한 뒤 이를 확인하고 수정하고, 그 다음 비슷한 작업을 연속해서 맡기는 것이다. 이 순서는 오류가 전체 데이터셋으로 확산되기 전에 작업 지시나 데이터 형식의 문제를 빠르게 드러낸다. 검증 비용이 큰 작업에서는 바로 작업 규모를 키우는 것보다 이런 접근이 더 유용한 경우가 많다.
팀에 적용하는 방법
관찰 가능한 결과와 명확한 수용 조건이 있는 반복 작업 하나부터 시작하라. 사람의 개입이 몇 번 필요했는지, 어떤 오류가 발생했는지, 검토에 얼마나 걸렸는지 기록하라. 이 정보로 에이전트가 실제로 맡아 처리하는 작업과 초안 작성만 가속하는 작업을 구분할 수 있다.
결과가 중대한 작업에는 권한의 경계를 따로 정하라. 예를 들어 에이전트가 이상 징후를 탐지하거나 실행 명령을 준비할 수는 있지만, 확인과 실행은 담당 엔지니어가 맡도록 할 수 있다. 이는 보편적인 안전 체계가 아니라 구체적인 위험과 검증 가능성에 자율성 수준을 맞추는 방법이다.
OpenAI 보고서는 유용한 선택 기준을 제시한다. ‘연구’나 ‘개발’ 전반이 아니라 결과를 검증할 수 있는 구체적인 일을 위임해야 한다. 회사의 데이터에서는 학습 실행 모니터링이 학습 실행이나 추론 코드 작성보다 자율 수행에 더 적합해 보였다. 실무팀이 다음으로 할 일은 자체 작업에서도 같은 차이를 측정하고, 결과가 검증을 통과하는 영역에서 위임 범위를 넓히는 것이다.