Jak sprawdzać duży strumień obrazów, nie zamieniając automatycznego sygnału w ostateczną decyzję? 16 listopada 2026 roku OpenAI ogłosiła udostępnienie przez API klasyfikatora obrazów CSAM zatwierdzonym organizacjom. Model przyjmuje jeden obraz i zwraca dwa osobne sygnały: dotyczący potencjalnych materiałów przedstawiających seksualne wykorzystywanie dzieci (CSAM) oraz potencjalnego CSAM wygenerowanego przez AI. Praktycznym celem narzędzia jest ustalanie priorytetów weryfikacji przez człowieka, a nie jej zastępowanie.

Na tym polega istotne rozgraniczenie: klasyfikator zapewnia zespołowi dodatkowy filtr w kolejce moderacji, ale jego wynik wymaga odrębnego procesu obsługi. Specjaliści ds. bezpieczeństwa i moderacji powinni rozumieć nie tylko etykietę, lecz także to, które decyzje nadal należą do organizacji.
Co zmieniło się 16 listopada
W aktualizacji OpenAI z 16 listopada firma poinformowała, że zatwierdzone organizacje mogą bezpłatnie korzystać z klasyfikatora, aby ustalać priorytety obrazów do weryfikacji przez człowieka. To precyzyjny opis roli produktu: system porządkuje materiały, które mogą wymagać uwagi, a ludzie prowadzą dalszą weryfikację zgodnie z zatwierdzoną procedurą.
Szczegóły API opisano w dokumentacji klasyfikatora. Należy wybrać model omni-moderation-csam-latest i wysłać osobne żądanie POST /v1/moderations. Dokumentacja przewiduje w żądaniu jeden nieruchomy obraz o rozmiarze do 20 MB. Organizacje powinny stosować własną zatwierdzoną procedurę pracy z danymi wejściowymi; nie wolno przesyłać do klasyfikatora znanych już materiałów CSAM.
Dlaczego model zwraca dwa sygnały
Odpowiedź zawiera osobne kategorie likely-csam i likely-csam/gen-ai. Dzięki temu zespół może odróżnić sygnał dotyczący potencjalnego CSAM od sygnału wskazującego na potencjalny materiał wygenerowany przez AI. To przydatne przy kierowaniu materiałów i analizie kolejki: różne wykryte rodzaje ryzyka można przekazywać zgodnie z odpowiednimi procedurami wewnętrznymi.

Każda kategoria zawiera flagę logiczną i ocenę liczbową. OpenAI opisuje ocenę jako miarę siły dopasowania w obrębie tej samej kategorii i wersji modelu. Firma ostrzega, że ocena nie jest skalibrowanym prawdopodobieństwem i nie należy porównywać jej z uniwersalnym progiem, takim jak 0,5. Dlatego kolejkę warto konfigurować z uwzględnieniem tego, jak konkretny zespół będzie wykorzystywać flagi i oceny, zamiast opierać automatyczne decyzje na arbitralnym progu.
Praktyczna sekwencja wygląda następująco: organizacja przekazuje jeden dozwolony obraz, otrzymuje wynik, sprawdza flagę ogólną i poszczególne kategorie, a następnie kieruje materiał do oceny przez człowieka zgodnie z własną procedurą. Powiązanie wyniku z pierwotnym obiektem i wewnętrzną decyzją pomaga zespołowi wyjaśnić, dlaczego obraz trafił do kolejki i kto go sprawdził.
Gdzie przebiega granica automatyzacji
W dokumentacji klasyfikatora OpenAI podkreśla, że sama flaga kategorii nie ustala, czy obraz przedstawia CSAM, a klasyfikator nie zgłasza automatycznie treści władzom. Organizacje powinny stosować własne procedury weryfikacji, eskalacji i przekazywania informacji. Model pomaga wybierać materiały do sprawdzenia, natomiast odpowiedzialność za interpretację i dalsze działania pozostaje częścią procesu roboczego zespołu.
Wynik klasyfikatora pełni tu rolę oznaczenia priorytetowego dla specjalisty. Zespół powinien określić, kto sprawdza trafienia, jak dokumentowany jest rezultat i w jaki sposób materiał jest przekazywany dalej zgodnie z procedurą.
Do jakich zadań nadaje się to narzędzie
Zgodnie z opublikowaną specyfikacją klasyfikator jest przeznaczony do obrazów i zwraca dwa sygnały dotyczące wskazanych kategorii. Ogólny model moderacji OpenAI, omni-moderation-latest, służy szerszemu celowi; dokumentacja wskazuje, że jego kategoria sexual/minors dotyczy tekstu. Wyspecjalizowany klasyfikator obrazów obsługuje odrębne zadanie w strumieniu obrazów, a wybór modelu zależy od rodzaju danych wejściowych i procesu weryfikacji.
Projektując system, warto rozdzielić trzy elementy: sygnał modelu, ocenę człowieka i działanie operacyjne. Sygnał to wynik działania maszyny; ocena to rezultat weryfikacji przez specjalistę; działanie to przekazanie materiału lub inny krok zgodny z procedurą wewnętrzną. Osobne ewidencjonowanie tych elementów pomaga nie przypisywać modelowi decyzji faktycznie podejmowanych przez organizację.
Porównywanie z modelami ogólnego przeznaczenia również wymaga precyzji. Dokumentacja opisuje dane wejściowe, dwie kategorie, pola odpowiedzi i ograniczenia zastosowania, ale nie przedstawia porównawczych testów dokładności. Przy wdrażaniu warto ocenić, czy rozwiązanie pasuje do konkretnego procesu: kto ma dostęp, jak przebiega weryfikacja przez człowieka, jak dokumentuje się wynik i jak zespół postępuje z błędnymi lub spornymi sygnałami.
Co organizacje powinny sprawdzić przed wdrożeniem
- Dostęp: narzędzie jest przeznaczone dla zatwierdzonych organizacji; dostęp można uzyskać, składając wniosek za pośrednictwem formularza OpenAI.
- Dane wejściowe: jeden plik obrazu na żądanie, nie większy niż 20 MB; model nie obsługuje klasyfikacji tekstu.
- Interpretacja: flagi kategorii są ustawiane na podstawie skonfigurowanych progów, a oceny liczbowe nie są skalibrowanymi prawdopodobieństwami.
- Proces: weryfikacja przez człowieka, eskalacja i ewentualne zgłoszenie materiału pozostają zadaniami organizacji.
Zmiana z 16 listopada to zatem wyspecjalizowany filtr do ustalania priorytetów dla obrazów, dostępny zatwierdzonym organizacjom. Jego miejsce w procesie jest przed weryfikacją przez człowieka: zespół otrzymuje dwa sygnały maszynowe, ocenia je według własnych zasad i sam określa dalsze działania.