Hvordan kan man gå gjennom en stor strøm av bilder uten å gjøre et automatisk signal til en endelig avgjørelse? 16. november 2026 kunngjorde OpenAI at CSAM Image Classifier blir tilgjengelig via API for godkjente organisasjoner. Modellen tar imot ett bilde og gir to separate signaler: ett om mulig materiale med seksuelle overgrep mot barn (CSAM), og ett om mulig AI-generert CSAM. Verktøyets praktiske formål er å prioritere materiale for menneskelig gjennomgang, ikke å erstatte den.

Dette er det viktige skillet: Klassifikatoren gir teamet enda et filter i modereringskøen, men resultatet krever sin egen behandlingsprosess. For fagpersoner innen sikkerhet og moderering er det viktig å forstå ikke bare etiketten, men også hvilke avgjørelser som fortsatt ligger hos organisasjonen.
Hva endret seg 16. november
I OpenAIs oppdatering 16. november opplyste selskapet at godkjente organisasjoner kan bruke klassifikatoren gratis for å prioritere bilder til menneskelig gjennomgang. Dette beskriver produktets rolle presist: Systemet sorterer materiale som kan kreve oppmerksomhet, og mennesker gjennomfører den videre gjennomgangen etter en godkjent prosedyre.
Detaljer om API-et står i dokumentasjonen for klassifikatoren. Velg modellen omni-moderation-csam-latest og send en separat POST \/v1\/moderations-forespørsel. Dokumentasjonen åpner for ett statisk bilde på opptil 20 MB per forespørsel. Organisasjoner bør følge sin egen godkjente prosess for håndtering av inndata; allerede kjent CSAM skal ikke sendes til klassifikatoren.
Hvorfor modellen gir to signaler
Svaret inneholder de separate kategoriene likely-csam og likely-csam\/gen-ai. Dette skillet gjør det mulig for teamet å skille mellom et signal om mulig CSAM og et signal om mulig AI-generert materiale. Det kan være nyttig for ruting og køanalyse: Ulike typer oppdaget risiko kan håndteres etter de relevante interne rutinene.

Hver kategori inneholder en boolsk verdi og en numerisk skår. OpenAI beskriver skåren som et mål på styrken av samsvaret innenfor samme kategori og modellversjon. Selskapet advarer om at skåren ikke er en kalibrert sannsynlighet og ikke bør sammenlignes med en universell terskel, som 0,5. Derfor bør utformingen av køen baseres på hvordan det enkelte teamet skal bruke verdiene, ikke på en vilkårlig terskel for automatisk avgjørelse.
Den praktiske rekkefølgen er slik: Organisasjonen sender inn ett tillatt bilde, mottar et resultat, kontrollerer det overordnede flagget og de enkelte kategoriene, og sender deretter materialet til menneskelig vurdering etter sin egen prosedyre. Ved å knytte resultatet til originalobjektet og den interne avgjørelsen kan teamet forklare hvorfor bildet havnet i køen, og hvem som gjennomgikk det.
Hvor går grensen for automatisering
OpenAI understreker i dokumentasjonen for klassifikatoren at et kategoriflagg i seg selv ikke fastslår at et bilde er CSAM, og at klassifikatoren ikke automatisk rapporterer innhold til myndighetene. Organisasjonene må bruke sine egne rutiner for gjennomgang, eskalering og videreformidling av informasjon. Modellen bidrar til å sortere materialet, mens ansvaret for tolkning og oppfølging ligger i teamets arbeidsflyt.
Resultatet fra klassifikatoren fungerer her som en prioriteringsmarkør for fagpersonen. Teamet bør fastsette hvem som gjennomgår treffene, hvordan konklusjonen dokumenteres, og hvordan materialet føres videre etter organisasjonens rutiner.
Hvilke oppgaver verktøyet passer til
Ifølge den publiserte spesifikasjonen er klassifikatoren laget for bilder og gir to signaler for de angitte kategoriene. OpenAIs generelle modereringsmodell, omni-moderation-latest, dekker et bredere behov; dokumentasjonen opplyser at kategorien sexual\/minors brukes på tekst. Den spesialiserte bildeklassifikatoren dekker en egen oppgave i bildestrømmen, og valg av modell avhenger av typen inndata og gjennomgangsprosessen.
Når systemet utformes, er det nyttig å skille mellom tre ting: modellens signal, menneskets vurdering og den operative handlingen. Signalet er modellens utdata; vurderingen er resultatet av fagpersonens gjennomgang; handlingen er videreformidling av materialet eller et annet trinn i den interne prosedyren. Når disse føres separat, unngår man å tillegge modellen avgjørelser som i realiteten tas av organisasjonen.
Sammenligning med generelle modeller krever også presisjon. Dokumentasjonen beskriver inndata, de to kategoriene, svarfeltene og bruksbegrensningene, men inneholder ingen sammenlignende tester av nøyaktighet. Ved innføring er det derfor nyttig å vurdere om løsningen passer til den konkrete prosessen: hvem som har tilgang, hvordan menneskelig gjennomgang foregår, hvordan resultatene dokumenteres, og hvordan teamet håndterer feilaktige eller omstridte signaler.
Dette bør organisasjoner kontrollere før tilkobling
- Tilgang: Verktøyet er beregnet på godkjente organisasjoner; tilgang søkes om via et skjema fra OpenAI.
- Inndata: Én bildefil per forespørsel, på maksimalt 20 MB; klassifisering av tekst støttes ikke av denne modellen.
- Tolkning: Kategoriflagg settes ut fra konfigurerte terskler, og de numeriske skårene er ikke kalibrerte sannsynligheter.
- Prosess: Menneskelig gjennomgang, eskalering og eventuell rapportering av materialet er fortsatt organisasjonens ansvar.
Endringen 16. november innebærer altså et spesialisert filter for å prioritere bilder, tilgjengelig for godkjente organisasjoner. Det inngår før den menneskelige gjennomgangen: Teamet mottar to maskinelle signaler, vurderer dem etter egne regler og avgjør selv hva som skal skje videre.