Jak zkontrolovat velké množství obrázků, aniž by se automatický signál stal konečným rozhodnutím? Dne 16. listopadu 2026 OpenAI oznámila, že schváleným organizacím zpřístupňuje přes API klasifikátor CSAM Image Classifier. Model přijme jeden obrázek a vrátí dva samostatné signály: možný materiál zobrazující sexuální zneužívání dětí (CSAM) a možný CSAM generovaný umělou inteligencí. Praktickým smyslem nástroje je stanovit priority pro lidskou kontrolu, nikoli ji nahradit.

Právě v tom spočívá důležité rozlišení: klasifikátor poskytuje týmu další filtr ve frontě moderace, ale jeho výstup vyžaduje vlastní proces zpracování. Pro odborníky na bezpečnost a moderaci je důležité rozumět nejen štítku, ale také tomu, která rozhodnutí stále zůstávají na organizaci.
Co se změnilo 16. listopadu
V aktualizaci OpenAI ze 16. listopadu společnost uvedla, že schválené organizace mohou klasifikátor používat zdarma k určování priorit obrázků pro lidskou kontrolu. To přesně vystihuje úlohu produktu: systém třídí materiály, kterým může být třeba věnovat pozornost, a lidé provádějí další kontrolu podle schváleného postupu.
Podrobnosti o API popisuje dokumentace klasifikátoru. Je třeba zvolit model omni-moderation-csam-latest a odeslat samostatný požadavek POST /v1/moderations. Dokumentace stanoví, že jeden požadavek může obsahovat jeden statický obrázek o velikosti nejvýše 20 MB. Organizace by měly u vstupních dat uplatňovat vlastní schválený postup; již známý CSAM do klasifikátoru odesílat nesmějí.
Proč model vrací dva signály
Odpověď obsahuje samostatné kategorie likely-csam a likely-csam/gen-ai. Toto rozdělení týmu umožňuje rozlišit signál potenciálního CSAM od signálu potenciálně materiálu generovaného umělou inteligencí. Je to užitečné pro směrování i analýzu fronty: různé typy zjištěného rizika lze předávat podle příslušných interních postupů.

Každá kategorie obsahuje booleovský příznak a číselné skóre. OpenAI popisuje skóre jako ukazatel síly shody v rámci stejné kategorie a verze modelu. Společnost upozorňuje, že skóre není kalibrovanou pravděpodobností a nelze je srovnávat s univerzálním prahem, například 0,5. Nastavení fronty by proto mělo vycházet z toho, jak konkrétní tým příznaky a skóre využije, nikoli z libovolného prahu pro automatické rozhodování.
Praktický postup vypadá takto: organizace předá jeden přípustný obrázek, získá výsledek, zkontroluje celkový příznak i jednotlivé kategorie a poté materiál podle svého postupu předá k lidskému posouzení. Propojení výsledku s původním objektem a interním rozhodnutím týmu pomáhá vysvětlit, proč se obrázek dostal do fronty a kdo jej posoudil.
Kde leží hranice automatizace
OpenAI v dokumentaci klasifikátoru zdůrazňuje, že samotný příznak kategorie nedokazuje, že obrázek je CSAM, a klasifikátor obsah automaticky neoznamuje úřadům. Organizace musí uplatňovat vlastní postupy kontroly, eskalace a předávání informací. Model pomáhá vybírat materiály, ale odpovědnost za interpretaci a další kroky je součástí pracovního postupu týmu.
Výsledek klasifikátoru zde slouží jako priorita pro odborníka. Tým by měl určit, kdo upozornění prověřuje, jak se zaznamenává závěr a jak se materiál podle interního postupu předává dál.
Pro jaké úlohy se nástroj hodí
Podle zveřejněné specifikace je klasifikátor určen pro obrázky a vrací dva signály pro uvedené kategorie. Obecný moderovací model OpenAI, omni-moderation-latest, řeší širší úlohu; dokumentace uvádí, že jeho kategorie sexual/minors se vztahuje na text. Specializovaný klasifikátor obrázků pokrývá samostatnou úlohu v obrazovém toku a výběr modelu závisí na typu vstupních dat a procesu kontroly.
Při návrhu systému je užitečné rozlišovat tři věci: signál modelu, lidské posouzení a provozní krok. Signál je strojový výstup; posouzení je výsledek kontroly odborníkem; krok představuje předání materiálu nebo jiný postup podle interních pravidel. Oddělené zaznamenávání pomáhá nepřipisovat modelu rozhodnutí, která ve skutečnosti činí organizace.
I srovnání s obecnými modely vyžaduje přesnost. Dokumentace popisuje vstup, dvě kategorie, pole odpovědi a omezení použití, neuvádí však srovnávací testy přesnosti. Při zavádění nástroje má smysl vyhodnotit, zda mechanismus odpovídá konkrétnímu procesu: kdo má přístup, jak funguje lidská kontrola, jak se zaznamenává výsledek a jak tým zpracovává chybné či sporné signály.
Co by si organizace měly ověřit před nasazením
- Přístup: nástroj je určen schváleným organizacím; o přístup se žádá prostřednictvím formuláře OpenAI.
- Vstup: jeden soubor obrázku na požadavek o velikosti nejvýše 20 MB; klasifikace textu tímto modelem není podporována.
- Interpretace: příznaky kategorií se nastavují podle nakonfigurovaných prahů, číselná skóre však nejsou kalibrovanými pravděpodobnostmi.
- Proces: lidská kontrola, eskalace a případné nahlášení materiálu zůstávají úkolem organizace.
Změna ze 16. listopadu tak spočívá ve specializovaném filtru pro určování priorit obrázků, který je dostupný schváleným organizacím. Jeho místo v procesu je před lidskou kontrolou: tým dostane dva strojové signály, posoudí je podle vlastních pravidel a sám určí další kroky.