Hur kan man granska stora mängder bilder utan att förvandla en automatisk signal till ett slutgiltigt beslut? Den 16 november 2026 meddelade OpenAI att CSAM Image Classifier blir tillgänglig via API för godkända organisationer. Modellen tar emot en bild och returnerar två separata signaler: en om möjligt material med sexuella övergrepp mot barn (CSAM) och en om möjligt AI-genererat CSAM. Verktygets praktiska syfte är att prioritera material för mänsklig granskning, inte att ersätta den.

Det är här den viktiga gränsdragningen går: klassificeraren ger teamet ytterligare ett filter i modereringskön, men resultatet kräver en egen hanteringsprocess. För säkerhets- och modereringsspecialister är det viktigt att förstå både etiketten och vilka beslut som fortfarande ligger hos organisationen.
Vad ändrades den 16 november?
I OpenAI:s uppdatering den 16 november uppgav företaget att godkända organisationer kan använda klassificeraren kostnadsfritt för att prioritera bilder för mänsklig granskning. Det beskriver produktens roll exakt: systemet sorterar material som kan behöva uppmärksamhet, medan människor granskar det vidare enligt en fastställd process.
Detaljer om API:et finns i dokumentationen för klassificeraren. Välj modellen omni-moderation-csam-latest och skicka en separat POST /v1/moderations-begäran. Enligt dokumentationen får begäran innehålla en stillbild på högst 20 MB. Organisationer bör hantera indata enligt sin egen godkända process; redan känt CSAM får inte skickas till klassificeraren.
Varför returnerar modellen två signaler?
Svaret innehåller de separata kategorierna likely-csam och likely-csam/gen-ai. Uppdelningen gör det möjligt för teamet att skilja mellan en signal om potentiellt CSAM och en signal om potentiellt AI-genererat material. Det är användbart för dirigering och analys av kön: olika typer av upptäckta risker kan hanteras enligt respektive interna rutiner.

Varje kategori innehåller en boolesk flagga och en numerisk poäng. OpenAI beskriver poängen som ett mått på styrkan i matchningen inom samma kategori och modellversion. Företaget varnar för att poängen inte är en kalibrerad sannolikhet och inte ska jämföras med en universell tröskel som 0,5. Därför bör konfigurationen av kön utgå från hur det enskilda teamet ska använda flaggorna och poängen, inte från en godtycklig tröskel för automatiska beslut.
Den praktiska ordningen ser ut så här: organisationen skickar in en tillåten bild, tar emot resultatet, kontrollerar den övergripande flaggan och de enskilda kategorierna och skickar sedan materialet vidare för mänsklig granskning enligt sin egen process. Genom att koppla resultatet till det ursprungliga objektet och det interna beslutet kan teamet förklara varför bilden hamnade i kön och vem som granskade den.
Var går gränsen för automatisering?
OpenAI betonar i dokumentationen för klassificeraren att en kategoriflagga i sig inte fastställer att en bild är CSAM och att klassificeraren inte automatiskt rapporterar innehåll till myndigheterna. Organisationer måste följa sina egna rutiner för granskning, eskalering och vidarebefordran av information. Modellen hjälper till att sålla fram material, medan ansvaret för tolkning och efterföljande åtgärder ligger i teamets arbetsflöde.
Klassificerarens resultat fungerar här som en prioriteringsmarkering för en specialist. Teamet bör bestämma vem som granskar träffarna, hur utfallet dokumenteras och hur materialet förs vidare enligt den egna processen.
Vilka uppgifter passar verktyget för?
Enligt den publicerade specifikationen är klassificeraren avsedd för bilder och returnerar två signaler för de angivna kategorierna. OpenAI:s allmänna modereringsmodell, omni-moderation-latest, har ett bredare användningsområde; dokumentationen anger att dess kategori sexual/minors används för text. Den specialiserade bildklassificeraren hanterar en separat uppgift i bildflödet, och modellvalet beror på typen av indata och granskningsprocessen.
När ett system utformas är det bra att hålla isär tre saker: modellsignalen, den mänskliga bedömningen och den operativa åtgärden. Signalen är modellens utdata; bedömningen är specialistens granskningsresultat; åtgärden är vidarebefordran av materialet eller ett annat steg enligt den interna processen. Om de redovisas separat blir det lättare att undvika att tillskriva modellen beslut som i själva verket fattas av organisationen.
Även jämförelser med allmänna modeller kräver precision. Dokumentationen beskriver indata, de två kategorierna, svarsfälten och begränsningarna för användningen, men innehåller inga jämförande tester av träffsäkerhet. Vid införande är det därför relevant att utvärdera hur väl lösningen passar den konkreta processen: vem som har åtkomst, hur den mänskliga granskningen går till, hur resultatet dokumenteras och hur teamet hanterar felaktiga eller omtvistade signaler.
Vad bör organisationer kontrollera före anslutning?
- Åtkomst: Verktyget är avsett för godkända organisationer; åtkomst begärs via ett formulär från OpenAI.
- Indata: En bildfil per begäran, högst 20 MB; modellen stöder inte klassificering av text.
- Tolkning: Kategoriflaggor sätts utifrån konfigurerade trösklar, och de numeriska poängen är inte kalibrerade sannolikheter.
- Process: Mänsklig granskning, eskalering och eventuell rapportering av materialet är organisationens ansvar.
Förändringen den 16 november innebär alltså ett specialiserat filter för prioritering av bilder, tillgängligt för godkända organisationer. Verktyget hör hemma före den mänskliga granskningen: teamet får två maskinsignaler, bedömer dem enligt sina egna regler och avgör självt vad som ska ske härnäst.