대량의 이미지에 자동 신호를 활용하면서도 이를 최종 판단으로 간주하지 않으려면 어떻게 해야 할까요? 2026년 11월 16일, OpenAI는 승인된 기관이 API를 통해 CSAM Image Classifier를 이용할 수 있다고 발표했습니다. 모델은 이미지 한 장을 입력받아 아동 성착취물(CSAM)일 가능성과 AI 생성 CSAM일 가능성을 각각 나타내는 두 가지 신호를 반환합니다. 이 도구의 실질적인 목적은 사람의 검토를 대체하는 것이 아니라 검토 우선순위를 정하는 것입니다.

여기서 중요한 구분은 분류기가 검토 대기열에 추가적인 필터를 제공하지만, 결과를 처리하는 절차는 별도로 마련해야 한다는 점입니다. 안전 및 검토 담당자는 결과 레이블뿐 아니라 어떤 결정이 여전히 조직의 몫인지도 이해해야 합니다.
11월 16일에 달라진 점
11월 16일자 OpenAI 업데이트에 따르면 승인된 기관은 사람의 검토를 위해 이미지의 우선순위를 정하는 데 분류기를 무료로 사용할 수 있습니다. 이는 제품의 역할을 정확히 설명합니다. 시스템이 주의가 필요할 수 있는 자료를 분류하면, 사람이 승인된 절차에 따라 후속 검토를 진행합니다.
API의 세부 사항은 분류기 문서에 설명되어 있습니다. omni-moderation-csam-latest 모델을 선택하고 POST /v1/moderations 요청을 별도로 보내야 합니다. 문서에 따르면 요청당 최대 20MB 크기의 정지 이미지 한 장을 사용할 수 있습니다. 기관은 입력 자료를 자체 승인 절차에 따라 처리해야 하며, 이미 알려진 CSAM을 분류기에 보내서는 안 됩니다.
모델이 두 가지 신호를 반환하는 이유
응답에는 likely-csam과 likely-csam/gen-ai라는 별도의 범주가 포함됩니다. 이 구분을 통해 팀은 잠재적 CSAM 신호와 잠재적 AI 생성 자료 신호를 구별할 수 있습니다. 이는 대기열을 분류하고 분석하는 데 유용합니다. 감지된 위험 유형에 따라 각각 적절한 내부 절차로 전달할 수 있기 때문입니다.

각 범주에는 불리언 플래그와 숫자 점수가 포함됩니다. OpenAI는 점수를 해당 범주와 모델 스냅샷 내에서 일치 정도를 나타내는 값으로 설명합니다. 또한 이 점수는 보정된 확률이 아니며 0.5와 같은 보편적 임계값과 비교할 수 없다고 경고합니다. 따라서 대기열 설정은 자동 결정을 위한 임의의 임계값이 아니라 팀이 플래그와 점수를 실제로 어떻게 활용할지를 기준으로 해야 합니다.
실무 절차는 다음과 같습니다. 기관이 허용된 이미지 한 장을 전송하고 결과를 받은 뒤, 전체 플래그와 개별 범주를 확인하고 자체 절차에 따라 사람의 평가를 진행합니다. 결과를 원본 자료 및 내부 결정과 연결해 기록하면, 이미지가 왜 대기열에 들어갔는지와 누가 검토했는지를 팀이 설명하는 데 도움이 됩니다.
자동화의 경계
OpenAI는 분류기 문서에서 범주 플래그만으로 이미지가 CSAM이라고 확정할 수 없으며, 분류기가 당국에 콘텐츠를 자동으로 신고하지도 않는다고 강조합니다. 기관은 자체 검토, 에스컬레이션 및 정보 전달 절차를 적용해야 합니다. 모델은 자료 선별을 돕지만, 결과 해석과 후속 조치에 대한 책임은 팀의 업무 절차에 포함됩니다.
따라서 분류기 결과는 전문가를 위한 우선 검토 표시로 기능합니다. 팀은 누가 신호가 감지된 자료를 검토할지, 결과를 어떻게 기록할지, 자체 절차에 따라 자료를 다음 단계로 어떻게 전달할지를 정해야 합니다.
이 도구에 적합한 작업
공개된 사양에 따르면 이 분류기는 이미지용이며 지정된 두 범주의 신호를 반환합니다. OpenAI의 일반 조정 모델인 omni-moderation-latest는 더 광범위한 작업을 수행합니다. 문서에 따르면 이 모델의 sexual/minors 범주는 텍스트에 적용됩니다. 이미지 전용 분류기는 이미지 처리 흐름의 별도 작업을 담당하며, 입력 유형과 검토 절차에 따라 적합한 모델을 선택해야 합니다.
시스템을 설계할 때는 모델 신호, 사람의 판단, 운영상 조치라는 세 가지를 구분하는 것이 유용합니다. 신호는 기계가 산출한 결과이고, 판단은 전문가의 검토 결과이며, 조치는 자료 전달이나 내부 절차에 따른 다른 단계입니다. 이를 별도로 기록하면 조직이 실제로 내린 결정을 모델의 판단으로 잘못 돌리지 않을 수 있습니다.
일반 모델과 비교할 때도 정확성이 중요합니다. 문서에는 입력, 두 가지 범주, 응답 필드와 사용상의 제한이 설명되어 있지만, 비교 정확도 테스트는 제시되어 있지 않습니다. 도입을 검토할 때는 접근 권한을 누가 갖는지, 사람의 검토가 어떻게 이뤄지는지, 결과를 어떻게 기록하는지, 잘못되었거나 이견이 있는 신호를 팀이 어떻게 처리하는지 등 구체적인 절차와의 적합성을 평가하는 것이 좋습니다.
연결 전에 기관이 확인할 사항
- 접근 권한: 이 도구는 승인된 기관을 대상으로 하며, OpenAI 양식을 통해 접근을 신청해야 합니다.
- 입력: 요청당 이미지 파일 한 개, 최대 20MB입니다. 이 모델은 텍스트 분류를 지원하지 않습니다.
- 해석: 범주 플래그는 설정된 임계값에 따라 결정되며, 숫자 점수는 보정된 확률이 아닙니다.
- 절차: 사람의 검토, 에스컬레이션, 자료의 신고 여부는 기관의 책임입니다.
결국 11월 16일의 변화는 승인된 기관이 이미지 우선순위를 정하는 데 사용할 수 있는 전용 필터의 제공입니다. 이 도구는 사람의 검토에 앞서 작동합니다. 팀은 두 가지 기계 신호를 받고 자체 규칙에 따라 검토한 다음 후속 조치를 직접 결정합니다.