jsonscraper
市場
ジャーナルに戻る

OpenAI、承認済み組織向けにCSAM分類器を公開:画像審査の仕組み

モデルは、CSAMの可能性とAI生成CSAMの可能性を別々のシグナルとして返します。審査やその後の対応を判断するのは、引き続き人間です。

編集方針 誤りを報告する

大量の画像を、機械によるシグナルを最終判断にすり替えることなく、どう確認すればよいのでしょうか。2026年11月16日、OpenAIは承認済み組織向けにCSAM Image ClassifierをAPI経由で利用可能にしたと発表しました。モデルは画像を1枚受け取り、児童性的虐待コンテンツ(CSAM)の可能性と、AI生成CSAMの可能性について、それぞれ別のシグナルを返します。このツールの実用上の目的は、人による審査の優先順位付けであり、審査そのものの代替ではありません。

記事:OpenAI、承認済み組織向けにCSAM分類器を公開:画像審査の仕組み
概要:2026年11月16日、OpenAIは承認済み組織向けに、画像CSAM分類器をAPI経由で利用可能にしたと発表しました。分類対象や結果の読み方、モデルが人による審査のプロセスに組み込まれている理由を解説します。
画像の役割:カバー — 中心となる考え
セクション:
ビジュアルの内容:安全な画像モデレーションのワークフローを表現した編集写真:ぼかされた抽象的な画像カード
分類器は、専門家による審査キューに回す画像を抽出します。© jsonscraper · AI生成

重要なのはここです。分類器はモデレーションキューに新たなフィルターを加えますが、その結果を扱うには独自のプロセスが必要です。安全性とモデレーションを担当する専門家にとって重要なのは、ラベルだけでなく、どの判断が引き続き組織側に委ねられているかを理解することです。

11月16日に何が変わったのか

OpenAIの11月16日付アップデートによると、承認済み組織は、人による審査の優先順位付けに分類器を無料で利用できます。これは製品の役割を正確に示しています。システムは注意が必要な可能性のあるコンテンツを振り分け、人が承認済みの手順に沿ってその後の審査を行います。

APIの詳細は分類器のドキュメントに記載されています。モデルとしてomni-moderation-csam-latestを選び、POST /v1/moderationsリクエストを個別に送信します。ドキュメントでは、1リクエストにつき最大20MBの静止画像1枚が指定されています。組織は、入力データを扱う際に自らの承認済みプロセスを適用してください。既知のCSAMを分類器に送信してはなりません。

モデルが2つのシグナルを返す理由

レスポンスにはlikely-csamとlikely-csam/gen-aiという別々のカテゴリーが含まれます。この区分により、チームはCSAMの可能性を示すシグナルと、AI生成コンテンツの可能性を示すシグナルを区別できます。検出されたリスクの種類ごとに適切な内部手順へ回せるため、キューの振り分けや分析に役立ちます。

記事:OpenAI、承認済み組織向けにCSAM分類器を公開:画像審査の仕組み
概要:2026年11月16日、OpenAIは承認済み組織向けに、画像CSAM分類器をAPI経由で利用可能にしたと発表しました。分類対象や結果の読み方、モデルが人による審査のプロセスに組み込まれている理由を解説します。
画像の役割:補足イラスト2 — 別の具体的な側面
セクション:モデルが2つのシグナルを返す理由
ビジュアルの内容:Rのインフォグラフィック
1枚の画像から分類器の2つのシグナルが生成され、その後、人が審査するまでの流れを示す図です。© jsonscraper · AI生成イラスト

各カテゴリーには、ブール値のフラグと数値スコアが含まれます。OpenAIによると、このスコアは同じカテゴリー内での一致の強さを示すもので、モデルのスナップショットにも依存します。同社は、スコアは較正された確率ではなく、0.5のような普遍的なしきい値と比較できないと注意を促しています。そのため、キューの設定は、自動判断のための恣意的なしきい値ではなく、チームがフラグやスコアをどう使うかに基づいて設計する必要があります。

実際の流れは次のとおりです。組織が条件に合う画像を1枚送信し、結果を受け取り、全体フラグと各カテゴリーを確認したうえで、自らの手順に従って人による審査に回します。結果を元の対象と内部判断に結び付けておけば、画像がキューに入った理由や、誰が審査したかをチームが説明しやすくなります。

自動化の境界

OpenAIは分類器のドキュメントで、カテゴリーのフラグだけでは画像がCSAMであると確定できず、分類器がコンテンツを自動的に当局へ報告することもないと強調しています。組織は独自の審査、エスカレーション、情報共有の手順を適用する必要があります。モデルは対象の振り分けを支援しますが、その解釈と後続の対応に関する責任は、チームのワークフローに組み込まれています。

ここで分類器の結果は、専門家に優先的な確認を促す印として機能します。チームは、誰が検知結果を審査するのか、結論をどう記録するのか、手順に沿ってコンテンツをどのように次へ引き継ぐのかを定めておく必要があります。

このツールが適する用途

公開されている仕様によると、分類器は画像を対象とし、指定されたカテゴリーについて2つのシグナルを返します。OpenAIの汎用モデレーションモデルomni-moderation-latestは、より広範なタスクに対応します。ドキュメントによれば、同モデルのsexual/minorsカテゴリーはテキストに適用されます。画像専用の分類器は画像処理の流れにおける別個の課題に対応しており、モデルの選択は入力データの種類と審査プロセスによって異なります。

システムを設計する際は、モデルのシグナル、人による判断、運用上の措置という3つを分けて考えるとよいでしょう。シグナルは機械の出力、判断は専門家による審査の結果、措置はコンテンツの引き継ぎや内部手順に基づくその他の対応です。それぞれを分けて記録すれば、実際には組織が行う判断をモデルの判断として扱うことを避けられます。

汎用モデルとの比較にも正確さが求められます。ドキュメントには入力、2つのカテゴリー、レスポンスのフィールド、適用上の制限が記載されていますが、精度の比較テストは示されていません。導入にあたっては、仕組みが個別のプロセスに合っているかを評価するとよいでしょう。具体的には、アクセス権を持つ人、審査の進め方、結果の記録方法、誤検知や判断が難しいシグナルへの対応などです。

導入前に組織が確認すべきこと

  • アクセス:このツールは承認済み組織向けです。OpenAIの申請フォームからアクセスを申請します。
  • 入力:1リクエストにつき画像ファイル1点、最大20MBです。このモデルはテキスト分類に対応していません。
  • 解釈:カテゴリーのフラグは設定済みのしきい値に基づいて判定され、数値スコアは較正された確率ではありません。
  • プロセス:人による審査、エスカレーション、コンテンツの報告の可能性に関する対応は、引き続き組織が担います。

つまり、11月16日の変更は、承認済み組織が利用できる、画像の優先順位付けに特化したフィルターです。人による審査の前段階でチームに2つの機械的シグナルを提示し、チームが独自のルールで評価して、その後の対応を決定します。

人々

この記事にはまだ人物がリストされていません。

読み続けてくださいGitHub、AI Scanを一度に最大20リポジトリで実行可能に
次の記事を読む

読んだ内容を実用的な連携へ

jsonscraperのソーシャルデータAPIを調べ、リクエストを試し、次のワークフローを構築しましょう。

APIを探す