Hoe controleer je een grote stroom afbeeldingen zonder een automatisch signaal tot een definitieve beslissing te maken? Op 16 november 2026 kondigde OpenAI aan dat de CSAM Image Classifier via een API beschikbaar is voor goedgekeurde organisaties. Het model ontvangt één afbeelding en geeft twee afzonderlijke signalen terug: een over mogelijk materiaal van seksueel misbruik van kinderen (CSAM) en een over mogelijk door AI gegenereerd CSAM. Het praktische doel van de tool is om menselijke beoordeling te prioriteren, niet om die te vervangen.

Daar zit het belangrijke onderscheid: de classificator geeft het team een extra filter voor de moderatiewachtrij, maar het resultaat vereist een eigen verwerkingsproces. Voor professionals in veiligheid en moderatie is het belangrijk niet alleen het label te begrijpen, maar ook te weten welke beslissingen nog steeds bij de organisatie liggen.
Wat er op 16 november veranderde
In de update van OpenAI van 16 november meldde het bedrijf dat goedgekeurde organisaties de classificator gratis kunnen gebruiken om afbeeldingen te prioriteren voor menselijke beoordeling. Dat is een nauwkeurige omschrijving van de rol van het product: het systeem sorteert materiaal dat mogelijk aandacht vereist, waarna mensen het verder beoordelen volgens een vastgestelde procedure.
De API-details staan in de documentatie van de classificator. Je moet het model omni-moderation-csam-latest selecteren en een afzonderlijk verzoek POST /v1/moderations versturen. Volgens de documentatie mag een verzoek één stilstaande afbeelding van maximaal 20 MB bevatten. Organisaties moeten hun eigen goedgekeurde procedure voor de omgang met invoer toepassen; reeds bekend CSAM mag niet naar de classificator worden gestuurd.
Waarom het model twee signalen teruggeeft
Het antwoord bevat de afzonderlijke categorieën likely-csam en likely-csam/gen-ai. Door deze opsplitsing kan het team onderscheid maken tussen een signaal voor mogelijk CSAM en een signaal voor mogelijk door AI gegenereerd materiaal. Dat is nuttig voor routering en analyse van de wachtrij: verschillende soorten gedetecteerd risico kunnen volgens de bijbehorende interne procedures worden afgehandeld.

Elke categorie bevat een Booleaanse vlag en een numerieke score. OpenAI beschrijft de score als een maat voor de sterkte van de overeenkomst binnen dezelfde categorie en modelversie. Het bedrijf waarschuwt dat de score geen gekalibreerde waarschijnlijkheid is en niet kan worden vergeleken met een universele drempel zoals 0,5. De inrichting van de wachtrij moet daarom aansluiten bij de manier waarop het team de vlaggen en scores daadwerkelijk gebruikt, en niet bij een willekeurige drempel voor automatische besluitvorming.
De praktische werkwijze ziet er als volgt uit: de organisatie stuurt één toegestane afbeelding in, ontvangt een resultaat, controleert de algemene vlag en de afzonderlijke categorieën en stuurt het materiaal vervolgens volgens de eigen procedure door voor menselijke beoordeling. Door het resultaat te koppelen aan het oorspronkelijke object en de interne beslissing kan het team uitleggen waarom de afbeelding in de wachtrij terechtkwam en wie deze heeft beoordeeld.
Waar de grens van automatisering ligt
OpenAI benadrukt in de documentatie van de classificator dat een categorievlag op zichzelf niet vaststelt dat een afbeelding CSAM is en dat de classificator content niet automatisch aan de autoriteiten meldt. Organisaties moeten hun eigen procedures voor beoordeling, escalatie en informatieoverdracht toepassen. Het model helpt materiaal te selecteren; de verantwoordelijkheid voor interpretatie en vervolgstappen is ingebed in de workflow van het team.
Het classificatieresultaat dient hier als prioriteitsmarkering voor een specialist. Het team moet bepalen wie meldingen beoordeelt, hoe de uitkomst wordt vastgelegd en hoe materiaal volgens de eigen procedure verder wordt doorgegeven.
Voor welke taken de tool geschikt is
Volgens de gepubliceerde specificatie is de classificator bedoeld voor afbeeldingen en geeft hij twee signalen terug voor de genoemde categorieën. Het algemene moderatiemodel van OpenAI, omni-moderation-latest, is bedoeld voor een bredere taak; de documentatie vermeldt dat de categorie sexual/minors daarvan op tekst wordt toegepast. De gespecialiseerde beeldclassificator is gericht op een afzonderlijke taak binnen een beeldstroom; de keuze van het model hangt af van het type invoer en het beoordelingsproces.
Bij het ontwerpen van een systeem is het nuttig drie zaken van elkaar te scheiden: het modelsignaal, het menselijke oordeel en de operationele actie. Het signaal is de machine-uitvoer; het oordeel is het resultaat van beoordeling door een specialist; de actie is het doorgeven van het materiaal of een andere stap volgens de interne procedure. Door deze zaken afzonderlijk bij te houden, wordt voorkomen dat beslissingen van de organisatie aan het model worden toegeschreven.
Ook een vergelijking met algemene modellen vereist precisie. De documentatie beschrijft de invoer, de twee categorieën, de antwoordvelden en de gebruiksbeperkingen, maar bevat geen vergelijkende nauwkeurigheidstests. Bij de invoering is het zinvol om te beoordelen hoe goed de werking aansluit op het specifieke proces: wie toegang heeft, hoe menselijke beoordeling verloopt, hoe de uitkomst wordt vastgelegd en hoe het team foutieve of betwiste signalen afhandelt.
Wat organisaties moeten controleren voordat ze de tool aansluiten
- Toegang: de tool is bedoeld voor goedgekeurde organisaties; toegang kan worden aangevraagd via het formulier van OpenAI.
- Invoer: één afbeeldingsbestand per verzoek, van maximaal 20 MB; classificatie van tekst wordt door dit model niet ondersteund.
- Interpretatie: categorievlaggen worden ingesteld op basis van ingestelde drempels; numerieke scores zijn geen gekalibreerde waarschijnlijkheden.
- Proces: menselijke beoordeling, escalatie en eventuele melding van materiaal blijven de verantwoordelijkheid van de organisatie.
De verandering van 16 november komt dus neer op een gespecialiseerde filter voor het prioriteren van afbeeldingen, beschikbaar voor goedgekeurde organisaties. De filter hoort vóór de menselijke beoordeling in het proces: het team ontvangt twee machinesignalen, beoordeelt die volgens de eigen regels en bepaalt zelf welke vervolgstappen nodig zijn.