Як перевіряти великий потік зображень, не перетворюючи автоматичний сигнал на остаточне рішення? 16 листопада 2026 року OpenAI оголосила про доступність класифікатора зображень CSAM через API для схвалених організацій. Модель отримує одне зображення та повертає два окремі сигнали: про можливий матеріал сексуального насильства над дітьми (CSAM) і про можливий CSAM, згенерований ШІ. Практичне призначення інструмента — визначати пріоритети для перевірки людиною, а не замінювати її.

У цьому й полягає важливе розмежування: класифікатор дає команді ще один фільтр у черзі модерації, але його результат потребує окремого процесу обробки. Фахівцям із безпеки та модерації важливо розуміти не лише мітку, а й те, які рішення й далі залишаються за організацією.
Що змінилося 16 листопада
У оновленні OpenAI від 16 листопада компанія зазначила, що схвалені організації можуть безкоштовно користуватися класифікатором, щоб визначати пріоритетність зображень для перевірки людиною. Це точний опис призначення продукту: система сортує матеріали, які потенційно потребують уваги, а люди проводять подальшу перевірку відповідно до затвердженого порядку.
Докладніше про API йдеться в документації класифікатора. Потрібно вибрати модель omni-moderation-csam-latest і надіслати окремий запит POST /v1/moderations. Документація передбачає одне нерухоме зображення розміром до 20 МБ у запиті. Організаціям слід використовувати власний затверджений процес роботи з вхідними даними; уже відомий CSAM не можна надсилати класифікатору.
Чому модель повертає два сигнали
Відповідь містить окремі категорії likely-csam і likely-csam/gen-ai. Завдяки такому розподілу команда може розрізняти сигнал про потенційний CSAM і сигнал про потенційно згенерований ШІ матеріал. Це корисно для маршрутизації та аналізу черги: різні типи виявленого ризику можна спрямовувати за відповідними внутрішніми процедурами.

Кожна категорія містить булевий прапорець і числову оцінку. OpenAI описує оцінку як показник сили відповідності в межах тієї самої категорії та версії моделі. Компанія застерігає, що оцінка не є каліброваною ймовірністю і її не можна порівнювати з універсальним порогом на кшталт 0,5. Тому налаштовувати чергу варто з огляду на те, як конкретна команда використовуватиме прапорці й оцінки, а не на основі довільного порога для автоматичного рішення.
Практична послідовність така: організація передає одне дозволене зображення, отримує результат, перевіряє загальний прапорець та окремі категорії, а потім спрямовує матеріал на оцінювання людиною за власною процедурою. Зв’язок між результатом, початковим об’єктом і внутрішнім рішенням допомагає команді пояснити, чому зображення потрапило до черги та хто його розглянув.
Де проходить межа автоматизації
OpenAI наголошує в документації класифікатора, що прапорець категорії сам собою не встановлює, чи є зображення CSAM, і що класифікатор автоматично не повідомляє про контент органам влади. Організації мають застосовувати власні процедури перевірки, ескалації та передавання інформації. Модель допомагає відбирати матеріал, а відповідальність за його тлумачення та подальші дії залишається частиною робочого процесу команди.
У цьому процесі результат класифікатора є позначкою пріоритету для фахівця. Команді слід визначити, хто розглядає спрацьовування, як фіксується підсумок і в який спосіб матеріал передається далі відповідно до її процедури.
Для яких завдань підходить інструмент
Згідно з опублікованою специфікацією, класифікатор призначений для зображень і повертає два сигнали за вказаними категоріями. Загальна модель модерації OpenAI, omni-moderation-latest, розв’язує ширше завдання; у документації зазначено, що її категорія sexual/minors застосовується до тексту. Спеціалізований класифікатор зображень призначений для окремого завдання в потоці зображень, а вибір моделі залежить від типу вхідних даних і процесу перевірки.
Проєктуючи систему, корисно розділити три речі: сигнал моделі, висновок людини та операційну дію. Сигнал — це машинний результат; висновок — результат перевірки фахівцем; дія — передавання матеріалу або інший крок за внутрішньою процедурою. Окремий облік допомагає не приписувати моделі рішення, які насправді ухвалює організація.
Порівняння із загальними моделями також потребує точності. Документація описує вхідні дані, дві категорії, поля відповіді та обмеження використання, але не наводить порівняльних тестів точності. Під час упровадження варто оцінити, наскільки механізм відповідає конкретному процесу: хто має доступ, як відбувається перевірка людиною, як фіксується результат і як команда обробляє помилкові або спірні сигнали.
Що організаціям перевірити перед підключенням
- Доступ: інструмент призначений для схвалених організацій; доступ запитується через форму OpenAI.
- Вхідні дані: один файл зображення на запит, розміром не більше 20 МБ; класифікація тексту цією моделлю не підтримується.
- Тлумачення: прапорці категорій встановлюються за налаштованими порогами, а числові оцінки не є каліброваними ймовірностями.
- Процес: перевірка людиною, ескалація та можливе повідомлення про матеріал залишаються завданнями організації.
Отже, зміна від 16 листопада — це спеціалізований фільтр для визначення пріоритетності зображень, доступний схваленим організаціям. Його місце в процесі — перед перевіркою людиною: команда отримує два машинні сигнали, оцінює їх за власними правилами й сама визначає подальші дії.