如何审核大量图像,同时避免把自动信号当作最终结论?2026年11月16日,OpenAI宣布通过API向获批机构开放CSAM Image Classifier。模型接收单张图像,并返回两个独立信号:疑似儿童性虐待材料(CSAM)以及疑似AI生成的CSAM。该工具的实际用途是为人工审核确定优先级,而不是取代人工审核。

关键区别正在于此:分类器为审核队列提供了又一道筛选,但其结果仍需经过专门的处理流程。对于安全和审核团队而言,重要的不只是标签,还包括哪些决定仍由机构负责。
11月16日有哪些变化
在OpenAI 11月16日的更新中,该公司表示,获批机构可以免费使用分类器,为人工审核图像确定优先级。这准确说明了产品的作用:系统筛选可能需要关注的材料,之后由人工按照既定流程进一步审核。
分类器文档介绍了API的详细信息。需要选择模型 omni-moderation-csam-latest,并发送单独的 POST \/v1\/moderations 请求。文档规定,每次请求可包含一张静态图像,大小不超过20 MB。机构应按照自身获批的数据处理流程操作;不得将已知的CSAM提交给分类器。
模型为何返回两个信号
响应包含 likely-csam 和 likely-csam\/gen-ai 两个独立类别。这样的区分可以帮助团队分别识别潜在CSAM和潜在AI生成材料的信号。这有助于分流和分析审核队列:发现的不同类型风险可以按照相应的内部流程处理。

每个类别都包含一个布尔标记和一个数值分数。OpenAI将分数描述为同一类别、同一模型快照下匹配强度的指标。该公司提醒,分数不是经过校准的概率,也不能与0.5这类通用阈值比较。因此,审核队列的设置应依据团队对标记和分数的具体用途,而不是依赖任意阈值自动做出决定。
实际流程如下:机构提交一张符合要求的图像,获得结果,检查总体标记和各个类别,然后按照自身流程将材料交由人工评估。将结果与原始对象及内部决定关联起来,有助于团队说明图像为何进入审核队列,以及由谁进行了审核。
自动化的边界在哪里
OpenAI在分类器文档中强调,类别标记本身并不能确定图像就是CSAM,分类器也不会自动向执法部门报告内容。机构必须采用自己的审核、升级处理和信息移交流程。模型帮助筛选材料,而解释结果和采取后续行动的责任仍属于团队的工作流程。
在这里,分类器结果是供专家优先处理的标记。团队应明确由谁审核触发标记的内容、如何记录结论,以及如何按照自身流程进一步移交材料。
该工具适用于哪些任务
根据已发布的规格,分类器用于图像,并针对所列类别返回两个信号。OpenAI的通用审核模型 omni-moderation-latest 处理的范围更广;文档指出,其 sexual\/minors 类别适用于文本。专用图像分类器面向图像处理流程中的一项独立任务;选择哪种模型取决于输入类型和审核流程。
设计系统时,最好区分三件事:模型信号、人工结论和运营行动。信号是机器输出;结论是专家审核的结果;行动则是移交材料或按照内部流程采取的其他步骤。分别记录这些环节,有助于避免把机构实际作出的决定归到模型名下。
与通用模型进行比较也需要准确。文档介绍了输入、两个类别、响应字段和使用限制,但没有提供准确率对比测试。部署时,应评估该机制是否符合具体流程:谁有访问权限、人工审核如何进行、结果如何记录,以及团队如何处理误报或有争议的信号。
接入前,机构应确认哪些事项
- 访问权限:该工具面向获批机构;可通过OpenAI表单申请访问。
- 输入:每次请求仅支持一个图像文件,大小不超过20 MB;该模型不支持文本分类。
- 结果解读:类别标记根据设定的阈值确定,数值分数不是经过校准的概率。
- 流程:人工审核、升级处理以及是否报告材料,仍由机构负责。
因此,11月16日的变化是向获批机构提供一项专用筛选工具,用于确定图像审核的优先级。它位于人工审核之前:团队收到两个机器信号,按照自身规则进行评估,并自行决定后续行动。