jsonscraper

Anthropic 向 METR 开放模型风险内部评估

六名研究机构员工获准访问 Anthropic 的内部工具,并可发布风险评估结论;涉及机密数据的内容则受约定例外限制。

编辑政策 报告错误

AI 风险的外部评估取决于研究人员能够获取哪些信息:公司通常比外部评估者更了解内部测试、模型训练和安全机制。2026年10月15日,Anthropic 表示,已开始向 METR 团队开放其内部工具和系统。这家非营利组织的六名员工获得了公司设备和工作场所;METR 可以自行发布风险评估结果。

文章:Anthropic 向 METR 开放模型风险内部评估
摘要:10月15日,Anthropic 表示,已开始向 METR 的六名员工开放内部信息和系统,访问权限与公司自身的风险评估团队相当。METR 可发布评估结果,而 Anthropic 可要求删改预先界定类别中的信息。
图片用途:封面——核心主题
栏目:
视觉主题:一间安全的研究审查室,门已封闭
© jsonscraper · AI 生成插图

根据Anthropic 对协议的说明,该团队获得的访问权限大致相当于公司内部风险评估团队。Anthropic 员工获建议以对待风险评估同事的方式,与 METR 成员分享信息。这样一来,评估者不仅能研究模型行为,也能了解模型训练、评估流程和安全机制等信息。

METR 可以审查什么

METR 可以发布对风险等级、事件和 Anthropic 实践的分析。公司称自己不能否决发布,但可以要求删改预先界定类别中的信息,例如客户数据、受律师—客户特权保护的材料,以及模型架构信息。某段具体内容是否属于这些例外范围,由 Anthropic 决定。另一方面,METR 保留说明其获得的访问权限级别及所提供信息的权利。

这意味着,独立评估将结合对内部材料的访问权限,以及对部分信息披露的限制。读者既需要关注 METR 的结论,也需要了解该团队能够审查哪些材料,以及哪些限制影响了发布。Anthropic 表示,这种合作模式旨在缩小外部评估者与实验室自身之间的知识差距。

访问权限级别如何设置

Anthropic 将与 METR 达成的协议称为其评估者访问权限框架中的第三级。该级别允许评估者获得与公司内部风险评估团队相当的访问权限,并享有类似第二级的发布权。不过,这项工作仅限于一小组 METR 成员,他们须遵守具有约束力的协议;该组织的其他员工,包括参与 Anthropic 其他项目的人员,均与这项工作隔离。

公司表示,已与 METR 合作约一年,其中包括审查风险报告。其他合作关系则处于较早阶段:SecureBio 正在审查 Anthropic 8月报告中有关化学武器和生物武器的章节;公司正考虑在这项工作结束后扩大访问权限。Anthropic 还与 Accenture 和 Faculty 开展另一项合作,涉及模型评估、红队测试和安全防护验证。公司也正与 Hugging Face 等其他组织进行初步讨论。

这对企业意味着什么

对于将模型部署到敏感流程中的组织而言,这项安排的实际价值将体现在已发布的评估中:检查了哪些风险、审查了哪些数据,以及哪些限制影响了结论。Anthropic 的公告说明了访问和发布条件,但没有提供新的模型评估结果。因此,企业买家应将 METR 未来发布的材料视为针对具体检查的证据,而非对该公司所有模型安全性的定论。

10月15日的公告改变了外部评估者获取内部信息的方式,并确认 METR 可以在约定的例外范围内发布结论。后续评估的具体内容,以及对评估条件的说明是否清晰,将决定这一机制对 AI 风险独立审查有多大帮助。

People

No people listed for this article yet.

Keep readingAnthropic在新加坡开设办公室并签署人工智能合作备忘录
Read the next article

将阅读内容转化为可用的集成

探索 jsonscraper 社交数据 API、测试请求并构建下一个工作流。

查看 API