Michael Johnson외부 AI 위험 평가는 연구자가 어떤 정보를 제공받는지에 달려 있습니다. 내부 테스트와 모델 학습, 보호 장치는 일반적으로 외부 평가자보다 해당 기업이 더 잘 알고 있기 때문입니다. 2026년 10월 15일 Anthropic은 METR 팀에 자사의 내부 도구와 시스템에 대한 접근 권한을 제공하기 시작했다고 밝혔습니다. 비영리 단체의 직원 6명은 회사 장비와 업무 공간을 제공받았으며, METR은 위험 평가 결과를 독자적으로 발표할 수 있습니다.
Anthropic의 협약 설명에 따르면, METR 그룹의 접근 권한은 회사 내부 위험 평가팀의 권한과 대체로 비슷합니다. Anthropic 직원들은 위험 평가 업무를 하는 동료에게 정보를 공유하듯 METR 참여자와도 정보를 나누도록 안내받았습니다. 이에 따라 모델의 동작뿐 아니라 학습, 평가 절차, 보호 장치에 관한 정보도 검토할 수 있습니다.
METR이 확인할 수 있는 내용
METR은 Anthropic의 위험 수준과 사고, 관행에 관한 분석을 발표할 수 있습니다. 회사는 발표를 거부할 권한은 없지만, 고객 데이터, 변호사와 의뢰인 간 비밀유지 특권이 적용되는 자료, 모델 아키텍처 정보 등 사전에 정한 범주의 정보를 수정해 달라고 요청할 수 있다고 밝혔습니다. 특정 내용이 이러한 예외에 해당하는지는 Anthropic이 판단합니다. 반면 METR은 자신이 어느 정도의 접근 권한을 받았으며 어떤 정보를 제공받았는지 설명할 권리를 유지합니다.
따라서 독립 평가는 내부 자료에 대한 접근과 일부 정보 공개 제한을 함께 포함합니다. 독자에게는 METR의 결론뿐 아니라 어떤 자료를 검토할 수 있었는지, 어떤 제한이 발표에 영향을 미쳤는지를 설명하는 것도 중요합니다. Anthropic은 외부 평가자와 연구소 사이의 지식 격차를 줄이려는 뜻에서 이러한 협력 방식을 택했다고 설명합니다.
접근 권한의 단계
Anthropic은 METR과의 협약을 자체 평가자 접근 체계의 3단계로 분류합니다. 이 단계에서는 내부 위험 평가팀에 준하는 접근 권한과 2단계에 상응하는 발표 권한이 제공됩니다. 다만 의무적인 협약에 따라 활동하는 METR의 소규모 그룹으로 업무가 제한됩니다. 다른 프로젝트에서 Anthropic과 협력하는 직원을 포함한 METR의 나머지 직원은 이 업무와 분리됩니다.
회사는 METR과 약 1년 동안 협력해 왔으며, 위험 보고서 검토도 함께 진행했다고 밝혔습니다. 다른 협력은 초기 단계에 있습니다. SecureBio는 Anthropic의 8월 보고서 중 화학·생물학 무기에 관한 장을 검토하고 있으며, 회사는 작업이 끝난 뒤 접근 권한 확대를 고려할 수 있다고 했습니다. Anthropic은 Accenture 및 Faculty와 모델 평가, 레드팀 활동, 보호 장치 점검에 관한 별도의 협력도 진행하고 있습니다. Hugging Face를 포함한 다른 조직과는 예비 논의를 하고 있습니다.
기업에 미치는 영향
민감한 업무에 모델을 도입하는 조직에 이 체계가 실질적으로 유용한지는 발표될 평가 결과를 통해 드러날 것입니다. 어떤 위험을 점검했는지, 어떤 데이터를 검토했는지, 어떤 제한이 결론에 영향을 주었는지가 관건입니다. Anthropic의 발표는 접근 및 발표 조건을 설명하지만 새로운 모델 평가 결과를 제시하지는 않습니다. 따라서 기업 구매자는 향후 METR 자료를 회사의 모든 모델에 대한 포괄적인 안전성 판정이 아니라 구체적인 점검에 관한 근거로 살펴볼 필요가 있습니다.
10월 15일 발표는 외부 평가자가 내부 정보에 접근할 수 있는 범위를 바꾸고, 합의된 예외를 전제로 METR에 결과 발표 권한을 부여했습니다. 이후 평가의 내용과 조건에 대한 설명이 얼마나 명확한지가 이 방식이 AI 위험을 독립적으로 점검하는 데 얼마나 유용한지 보여줄 것입니다.