Michael JohnsonOpenAI Evals 플랫폼에 모델 품질 검사를 보관하는 개발자는 2026년 10월 31일부터 기존 평가를 확인할 수는 있지만 수정할 수는 없습니다. OpenAI는 대시보드와 API를 11월 30일 종료할 예정입니다. 이는 전환의 서로 다른 단계입니다. 지금은 필요한 자료를 보존할 시간이 남아 있지만, 이후에는 플랫폼이 작동을 멈출 예정입니다. 이번 변경은 호스팅 서비스인 Evals에 관한 것이지 모델 평가 자체에 관한 것은 아닙니다. 일정은 OpenAI의 지원 중단 제품 목록에 명시돼 있습니다.
10월 31일에 바뀐 점
10월 31일부터 기존 평가는 읽기 전용으로 제공됩니다. Evals 대시보드와 API는 11월 30일 종료될 예정입니다. 문서에는 전환 기간이 설명돼 있지만, 사용자 평가가 다른 제품으로 자동 이전된다는 보장은 없습니다.
자료를 이용할 수 있는 동안 팀은 검사를 반복하는 데 필요한 데이터를 보존하는 것이 좋습니다. 여기에는 테스트 사례, 프롬프트 지침, 예상 답변, 채점기 설정, 실행 결과가 포함됩니다. 이는 이전을 위한 실무 권고이지, 보장된 내보내기 형식의 목록은 아닙니다. 팀에서 실제로 이용할 수 있는 항목을 확인하고, 저장한 파일이 Evals 인터페이스 외부에서도 열리는지 점검하세요.
Evals 대신 OpenAI가 제시하는 옵션
문서에서는 두 가지 시나리오를 검토하도록 안내합니다. OpenAI 플랫폼의 Datasets는 빠른 반복 작업을 위한 기능입니다. 팀은 사례를 추가하고, 프롬프트 변형을 실행해 결과를 평가하며, 필요하면 채점기를 사용할 수 있습니다. 설명된 유형에는 문자열의 정확한 일치, 텍스트 유사도 평가, 모델 기반 채점기, Python 코드 실행이 포함됩니다.
평가를 프로그래밍 방식으로 설정하는 방법은 문서의 Evals API 안내에 설명돼 있습니다. 그러나 OpenAI의 일정에 따르면 API도 대시보드와 마찬가지로 11월 30일 종료될 예정입니다. 따라서 장기적인 플랫폼 대체재가 아니라 기존 작업 흐름을 설명하는 자료로 보는 것이 좋습니다.
이전은 목록 작성부터 시작하는 편이 좋습니다. 각 평가 세트가 어떤 일을 했는지 확인하세요. 프롬프트를 수동으로 비교했는지, 릴리스 파이프라인에서 자동 테스트를 수행했는지, 아니면 일괄 실행을 했는지 살펴보면 됩니다. 사례를 빠르게 반복하려는 경우 OpenAI는 Datasets를 제안합니다. API에 의존하거나 대규모로 실행하는 시나리오라면 팀에 필요한 작업과 결과 저장을 지원하는 다른 작업 흐름을 선택해 검증해야 합니다.
종료 전에 보존할 항목
평가를 다시 수행하는 데 필요한 자료의 목록을 작성하세요. 입력 사례, 예상 답변, 프롬프트 문구, 채점 기준과 설정, 비교에 중요한 실행 결과가 여기에 포함됩니다. 그런 다음 선택한 대체 도구에서 소규모 테스트 세트를 다시 실행해 평가 기준과 결과 해석이 계속 비교 가능한지 확인하세요.
기준 데이터와 평가 규칙이 있으면 이전 후에도 검사를 재현하는 데 도움이 됩니다. 팀에서 외부 모델, API 실행 또는 대규모 데이터 세트를 사용했다면 다음 도구를 선택할 때 이런 요구 사항을 고려하세요. OpenAI 문서는 Datasets와 기존 Evals API의 기능을 설명하지만, 기존의 모든 시나리오가 Datasets로 자동 이전된다고 확인해 주지는 않습니다.
계정에서 사용할 수 있는 저장 방법을 확인하고, 예정된 종료 전에 저장한 파일을 Evals 외부에서 열어 보세요. 내보내기 형식이나 자동 이전을 보장한다고 문서에 나와 있지 않으므로, 이런 테스트를 통해 팀에 중요한 데이터가 실제로 보존됐는지 확인할 수 있습니다.
이번 전환의 영향 대상
Evals 대시보드에서 평가를 만들거나 실행한 개발자와 Evals API에 의존하는 팀은 일정을 주의해야 합니다. OpenAI의 일정에 따르면 플랫폼의 두 구성 요소 모두 2026년 11월 30일 종료될 예정이며, 문서에는 관련 API가 이 날짜 이후에도 이용 가능하다는 설명이 없습니다.
실질적인 조치는 필요한 테스트 자료와 결과를 보존한 뒤, 소규모 데이터로 새로운 평가 절차를 시험하는 것입니다. 그러면 팀은 종료되는 플랫폼에 의존하지 않고 모델과 프롬프트를 계속 비교할 수 있습니다.
