Wie lässt sich ein großer Bildstrom prüfen, ohne ein automatisiertes Signal zur endgültigen Entscheidung zu machen? Am 16. November 2026 kündigte OpenAI an, dass zugelassene Organisationen den CSAM Image Classifier über eine API nutzen können. Das Modell nimmt ein einzelnes Bild entgegen und liefert zwei separate Signale: eines für mögliches Material sexuellen Kindesmissbrauchs (CSAM) und eines für mögliches KI-generiertes CSAM. Der praktische Zweck des Tools besteht darin, die menschliche Prüfung zu priorisieren, nicht sie zu ersetzen.

Genau darin liegt die entscheidende Abgrenzung: Der Klassifikator bietet Teams einen weiteren Filter für die Moderationswarteschlange, doch seine Ergebnisse erfordern einen eigenen Bearbeitungsprozess. Fachkräfte für Sicherheit und Moderation müssen nicht nur die Kennzeichnung verstehen, sondern auch wissen, welche Entscheidungen weiterhin bei der Organisation liegen.
Was sich am 16. November geändert hat
In den OpenAI-Änderungshinweisen vom 16. November erklärte das Unternehmen, dass zugelassene Organisationen den Klassifikator kostenlos nutzen können, um Bilder für die menschliche Prüfung zu priorisieren. Das beschreibt die Rolle des Produkts genau: Das System sortiert Inhalte, die möglicherweise Aufmerksamkeit erfordern, während Menschen sie anschließend nach einem genehmigten Verfahren prüfen.
Die API-Details sind in der Dokumentation zum Klassifikator beschrieben. Dazu muss das Modell omni-moderation-csam-latest ausgewählt und eine einzelne Anfrage POST /v1/moderations gesendet werden. Laut Dokumentation darf eine Anfrage ein einzelnes unbewegtes Bild mit einer Größe von bis zu 20 MB enthalten. Organisationen sollten für die Verarbeitung der Eingabedaten ihr eigenes genehmigtes Verfahren anwenden; bereits bekanntes CSAM darf nicht an den Klassifikator übermittelt werden.
Warum das Modell zwei Signale liefert
Die Antwort enthält die separaten Kategorien likely-csam und likely-csam/gen-ai. Durch diese Unterscheidung kann ein Team ein Signal für potenzielles CSAM von einem Signal für potenziell KI-generiertes Material unterscheiden. Das ist für die Weiterleitung und Analyse der Warteschlange nützlich: Verschiedene erkannte Risikotypen können an die jeweils passenden internen Verfahren übergeben werden.

Jede Kategorie umfasst ein boolesches Flag und einen numerischen Wert. OpenAI beschreibt diesen Wert als Maß dafür, wie stark das Bild innerhalb derselben Kategorie und Modellversion übereinstimmt. Das Unternehmen warnt, dass der Wert keine kalibrierte Wahrscheinlichkeit ist und nicht mit einem universellen Schwellenwert wie 0,5 verglichen werden darf. Daher sollte die Gestaltung der Warteschlange darauf beruhen, wie das jeweilige Team Flags und Werte einsetzen will – nicht auf einem willkürlichen Schwellenwert für eine automatische Entscheidung.
Der praktische Ablauf sieht so aus: Die Organisation übermittelt ein zulässiges Einzelbild, erhält ein Ergebnis, prüft das Gesamt-Flag und die einzelnen Kategorien und leitet das Material anschließend gemäß ihrem Verfahren einer menschlichen Prüfung zu. Wenn das Ergebnis mit dem ursprünglichen Objekt und der internen Entscheidung verknüpft wird, kann das Team nachvollziehbar festhalten, warum das Bild in die Warteschlange gelangte und wer es geprüft hat.
Wo die Automatisierung endet
OpenAI betont in der Dokumentation zum Klassifikator, dass ein Kategorien-Flag für sich genommen nicht feststellt, ob ein Bild CSAM ist, und dass der Klassifikator Inhalte nicht automatisch den Behörden meldet. Organisationen müssen ihre eigenen Prüf-, Eskalations- und Meldeverfahren anwenden. Das Modell hilft bei der Auswahl der zu prüfenden Inhalte; die Verantwortung für deren Interpretation und die anschließenden Maßnahmen bleibt Teil des Arbeitsablaufs des Teams.
Das Klassifikatorergebnis dient hier als Prioritätshinweis für Fachkräfte. Das Team sollte festlegen, wer Treffer prüft, wie das Ergebnis dokumentiert wird und wie das Material gemäß dem eigenen Verfahren weitergegeben wird.
Für welche Aufgaben das Tool geeignet ist
Laut veröffentlichter Spezifikation ist der Klassifikator für Bilder vorgesehen und liefert Signale für die genannten zwei Kategorien. Das allgemeinere Moderationsmodell von OpenAI, omni-moderation-latest, deckt ein breiteres Aufgabenspektrum ab; laut Dokumentation gilt dessen Kategorie sexual/minors für Text. Der spezialisierte Bildklassifikator deckt eine eigene Aufgabe im Bildverarbeitungsablauf ab. Welches Modell geeignet ist, hängt von der Art der Eingabedaten und dem Prüfprozess ab.
Bei der Gestaltung eines Systems ist es sinnvoll, drei Dinge voneinander zu trennen: das Modellsignal, das menschliche Urteil und die operative Maßnahme. Das Signal ist eine maschinelle Ausgabe; das Urteil ist das Ergebnis der Prüfung durch eine Fachkraft; die Maßnahme ist die Weitergabe des Materials oder ein anderer Schritt gemäß dem internen Verfahren. Eine getrennte Erfassung hilft dabei, dem Modell keine Entscheidungen zuzuschreiben, die tatsächlich die Organisation trifft.
Auch Vergleiche mit allgemeinen Modellen erfordern Genauigkeit. Die Dokumentation beschreibt Eingabe, zwei Kategorien, Antwortfelder und Anwendungsgrenzen, enthält aber keine vergleichenden Genauigkeitstests. Bei der Einführung sollte geprüft werden, ob der Mechanismus zum konkreten Verfahren passt: Wer hat Zugriff, wie funktioniert die menschliche Prüfung, wie wird das Ergebnis dokumentiert und wie geht das Team mit fehlerhaften oder strittigen Signalen um?
Was Organisationen vor der Anbindung prüfen sollten
- Zugang: Das Tool ist für zugelassene Organisationen vorgesehen; der Zugang wird über ein OpenAI-Formular beantragt.
- Eingabe: eine Bilddatei pro Anfrage, höchstens 20 MB; die Klassifizierung von Text wird von diesem Modell nicht unterstützt.
- Interpretation: Kategorie-Flags werden anhand konfigurierter Schwellenwerte gesetzt; die numerischen Werte sind keine kalibrierten Wahrscheinlichkeiten.
- Verfahren: Menschliche Prüfung, Eskalation und eine mögliche Meldung des Materials bleiben Aufgaben der Organisation.
Die Änderung vom 16. November ist somit ein spezialisierter Filter zur Priorisierung von Bildern, der zugelassenen Organisationen zur Verfügung steht. Er ist der menschlichen Prüfung vorgelagert: Das Team erhält zwei maschinelle Signale, bewertet sie nach den eigenen Regeln und bestimmt selbst die weiteren Schritte.