jsonscraper
市场
返回期刊

OpenAI向获批机构开放CSAM分类器:图像审核如何运作

该模型分别返回疑似CSAM和疑似AI生成CSAM的信号。是否审核以及后续如何处理,仍由人工决定。

编辑政策 报告错误

如何审核大量图像,同时避免把自动信号当作最终结论?2026年11月16日,OpenAI宣布通过API向获批机构开放CSAM Image Classifier。模型接收单张图像,并返回两个独立信号:疑似儿童性虐待材料(CSAM)以及疑似AI生成的CSAM。该工具的实际用途是为人工审核确定优先级,而不是取代人工审核。

文章:OpenAI向获批机构开放CSAM分类器:图像审核如何运作
摘要:2026年11月16日,OpenAI宣布通过API向获批机构开放CSAM图像分类器。本文介绍它分类的内容、结果的解读方式,以及为什么该模型被纳入人工审核流程。
图片用途:封面——核心主题
章节:
视觉主题:安全图像审核流程的编辑配图:抽象、模糊的图像卡片
分类器会将图像标记出来,交由专家审核。© jsonscraper · AI生成

关键区别正在于此:分类器为审核队列提供了又一道筛选,但其结果仍需经过专门的处理流程。对于安全和审核团队而言,重要的不只是标签,还包括哪些决定仍由机构负责。

11月16日有哪些变化

在OpenAI 11月16日的更新中,该公司表示,获批机构可以免费使用分类器,为人工审核图像确定优先级。这准确说明了产品的作用:系统筛选可能需要关注的材料,之后由人工按照既定流程进一步审核。

分类器文档介绍了API的详细信息。需要选择模型 omni-moderation-csam-latest,并发送单独的 POST \/v1\/moderations 请求。文档规定,每次请求可包含一张静态图像,大小不超过20 MB。机构应按照自身获批的数据处理流程操作;不得将已知的CSAM提交给分类器。

模型为何返回两个信号

响应包含 likely-csam 和 likely-csam\/gen-ai 两个独立类别。这样的区分可以帮助团队分别识别潜在CSAM和潜在AI生成材料的信号。这有助于分流和分析审核队列:发现的不同类型风险可以按照相应的内部流程处理。

文章:OpenAI向获批机构开放CSAM分类器:图像审核如何运作
摘要:2026年11月16日,OpenAI宣布通过API向获批机构开放CSAM图像分类器。本文介绍它分类的内容、结果的解读方式,以及为什么该模型被纳入人工审核流程。
图片用途:配图2——另一项具体内容
章节:模型为何返回两个信号
视觉主题:R语言信息图
示意图展示了从单张图像到分类器的两个信号,再到人工审核的流程。© jsonscraper · AI生成插图

每个类别都包含一个布尔标记和一个数值分数。OpenAI将分数描述为同一类别、同一模型快照下匹配强度的指标。该公司提醒,分数不是经过校准的概率,也不能与0.5这类通用阈值比较。因此,审核队列的设置应依据团队对标记和分数的具体用途,而不是依赖任意阈值自动做出决定。

实际流程如下:机构提交一张符合要求的图像,获得结果,检查总体标记和各个类别,然后按照自身流程将材料交由人工评估。将结果与原始对象及内部决定关联起来,有助于团队说明图像为何进入审核队列,以及由谁进行了审核。

自动化的边界在哪里

OpenAI在分类器文档中强调,类别标记本身并不能确定图像就是CSAM,分类器也不会自动向执法部门报告内容。机构必须采用自己的审核、升级处理和信息移交流程。模型帮助筛选材料,而解释结果和采取后续行动的责任仍属于团队的工作流程。

在这里,分类器结果是供专家优先处理的标记。团队应明确由谁审核触发标记的内容、如何记录结论,以及如何按照自身流程进一步移交材料。

该工具适用于哪些任务

根据已发布的规格,分类器用于图像,并针对所列类别返回两个信号。OpenAI的通用审核模型 omni-moderation-latest 处理的范围更广;文档指出,其 sexual\/minors 类别适用于文本。专用图像分类器面向图像处理流程中的一项独立任务;选择哪种模型取决于输入类型和审核流程。

设计系统时,最好区分三件事:模型信号、人工结论和运营行动。信号是机器输出;结论是专家审核的结果;行动则是移交材料或按照内部流程采取的其他步骤。分别记录这些环节,有助于避免把机构实际作出的决定归到模型名下。

与通用模型进行比较也需要准确。文档介绍了输入、两个类别、响应字段和使用限制,但没有提供准确率对比测试。部署时,应评估该机制是否符合具体流程:谁有访问权限、人工审核如何进行、结果如何记录,以及团队如何处理误报或有争议的信号。

接入前,机构应确认哪些事项

  • 访问权限:该工具面向获批机构;可通过OpenAI表单申请访问。
  • 输入:每次请求仅支持一个图像文件,大小不超过20 MB;该模型不支持文本分类。
  • 结果解读:类别标记根据设定的阈值确定,数值分数不是经过校准的概率。
  • 流程:人工审核、升级处理以及是否报告材料,仍由机构负责。

因此,11月16日的变化是向获批机构提供一项专用筛选工具,用于确定图像审核的优先级。它位于人工审核之前:团队收到两个机器信号,按照自身规则进行评估,并自行决定后续行动。

人们

尚未列出本文的人员。

继续阅读GitHub 支持一次对 20 个代码仓库运行 AI Scan
阅读下一篇文章

将阅读内容转化为可用的集成

探索 jsonscraper 社交数据 API、测试请求并构建下一个工作流。

查看 API