Come si può esaminare un grande flusso di immagini senza trasformare un segnale automatico in una decisione definitiva? Il 16 novembre 2026 OpenAI ha annunciato la disponibilità del CSAM Image Classifier tramite API per le organizzazioni approvate. Il modello riceve una singola immagine e restituisce due segnali distinti: uno relativo a un possibile materiale di abuso sessuale su minori (CSAM) e uno relativo a un possibile CSAM generato dall’IA. Lo scopo pratico dello strumento è assegnare priorità alla verifica umana, non sostituirla.

Qui sta la distinzione fondamentale: il classificatore offre al team un ulteriore filtro nella coda di moderazione, ma il risultato richiede un processo di gestione specifico. Per gli specialisti di sicurezza e moderazione è importante capire non solo l’etichetta, ma anche quali decisioni restano di competenza dell’organizzazione.
Che cosa è cambiato il 16 novembre
Nell’aggiornamento di OpenAI del 16 novembre, l’azienda ha dichiarato che le organizzazioni approvate possono usare gratuitamente il classificatore per assegnare priorità alle immagini da sottoporre a verifica umana. Questa descrizione definisce con precisione il ruolo del prodotto: il sistema ordina i contenuti che potrebbero richiedere attenzione, mentre le persone effettuano le verifiche successive secondo la procedura approvata.
I dettagli dell’API sono descritti nella documentazione del classificatore. Occorre selezionare il modello omni-moderation-csam-latest e inviare una richiesta separata POST /v1/moderations. La documentazione prevede una sola immagine fissa, di dimensioni massime pari a 20 MB, per richiesta. Le organizzazioni dovrebbero applicare il proprio processo approvato per la gestione dei dati in ingresso; non è consentito inviare al classificatore materiale CSAM già noto.
Perché il modello restituisce due segnali
La risposta include le categorie distinte likely-csam e likely-csam/gen-ai. Questa separazione permette al team di distinguere un segnale relativo a un possibile CSAM da uno relativo a materiale potenzialmente generato dall’IA. È utile per instradare e analizzare la coda: i diversi tipi di rischio rilevati possono essere assegnati alle procedure interne corrispondenti.

Ciascuna categoria include un indicatore booleano e un punteggio numerico. OpenAI descrive il punteggio come un indicatore della forza della corrispondenza all’interno della stessa categoria e della stessa versione del modello. L’azienda avverte che il punteggio non è una probabilità calibrata e non va confrontato con una soglia universale come 0,5. Perciò, la configurazione della coda dovrebbe basarsi sull’uso che il team intende fare degli indicatori e dei punteggi, non su una soglia arbitraria per una decisione automatica.
La sequenza pratica è la seguente: l’organizzazione invia un’immagine consentita, riceve il risultato, controlla l’indicatore generale e le singole categorie, quindi inoltra il materiale alla valutazione umana secondo la propria procedura. Collegare il risultato all’oggetto originale e alla decisione interna aiuta il team a spiegare perché l’immagine è stata inserita nella coda e chi l’ha esaminata.
Dove si ferma l’automazione
Nella documentazione del classificatore, OpenAI sottolinea che l’indicatore di una categoria non stabilisce, da solo, che un’immagine sia CSAM e che il classificatore non segnala automaticamente i contenuti alle autorità. Le organizzazioni devono applicare le proprie procedure di verifica, escalation e comunicazione delle informazioni. Il modello aiuta a selezionare il materiale, mentre la responsabilità dell’interpretazione e delle azioni successive è parte del flusso di lavoro del team.
In questo contesto, il risultato del classificatore è un contrassegno che assegna priorità alla valutazione di uno specialista. Il team dovrebbe stabilire chi esamina le segnalazioni, come viene registrato l’esito e in che modo il materiale viene trasmesso secondo la procedura adottata.
Per quali attività è adatto lo strumento
Secondo le specifiche pubblicate, il classificatore è destinato alle immagini e restituisce due segnali per le categorie indicate. Il modello di moderazione generale di OpenAI, omni-moderation-latest, affronta un compito più ampio; la documentazione specifica che la sua categoria sexual/minors si applica al testo. Il classificatore specializzato per le immagini risponde a un’esigenza distinta nei flussi di immagini; la scelta del modello dipende dal tipo di dati in ingresso e dal processo di verifica.
Nel progettare un sistema è utile distinguere tre elementi: il segnale del modello, il giudizio umano e l’azione operativa. Il segnale è il risultato automatico; il giudizio è l’esito della verifica svolta da uno specialista; l’azione è l’inoltro del materiale o un altro passaggio previsto dalla procedura interna. Tenerli separati aiuta a non attribuire al modello decisioni che, di fatto, spettano all’organizzazione.
Anche il confronto con i modelli generali richiede precisione. La documentazione descrive i dati in ingresso, le due categorie, i campi della risposta e i limiti d’uso, ma non presenta test comparativi di accuratezza. Al momento dell’implementazione, è utile valutare quanto lo strumento si adatti al processo specifico: chi vi ha accesso, come funziona la verifica umana, come si registra il risultato e come il team gestisce i segnali errati o controversi.
Che cosa dovrebbe verificare un’organizzazione prima di attivare lo strumento
- Accesso: lo strumento è destinato alle organizzazioni approvate; è possibile richiedere l’accesso tramite il modulo di OpenAI.
- Dati in ingresso: un solo file immagine per richiesta, di dimensioni non superiori a 20 MB; il modello non supporta la classificazione del testo.
- Interpretazione: gli indicatori delle categorie vengono impostati in base a soglie configurate e i punteggi numerici non sono probabilità calibrate.
- Processo: la verifica umana, l’escalation e l’eventuale segnalazione del materiale restano responsabilità dell’organizzazione.
In sintesi, la novità del 16 novembre è un filtro specializzato per assegnare priorità alle immagini, disponibile alle organizzazioni approvate. Il suo ruolo nel processo è precedere la verifica umana: il team riceve due segnali automatici, li valuta secondo le proprie regole e decide autonomamente come procedere.