Michael JohnsonA avaliação externa dos riscos da IA depende das informações disponíveis aos pesquisadores: em geral, a empresa conhece melhor do que os avaliadores externos os testes internos, o treinamento dos modelos e os mecanismos de proteção. Em 15 de outubro de 2026, a Anthropic informou que começou a conceder à equipe da METR acesso às suas ferramentas e sistemas internos. Seis funcionários da organização sem fins lucrativos receberam equipamentos e locais de trabalho da empresa; a METR poderá publicar avaliações de risco de forma independente.
De acordo com a descrição do acordo pela Anthropic, o acesso do grupo é aproximadamente comparável ao das equipes internas de avaliação de riscos da empresa. Os funcionários da Anthropic foram orientados a compartilhar informações com os participantes da METR como fariam com colegas que trabalham na avaliação de riscos. Isso permite examinar não apenas o comportamento dos modelos, mas também informações sobre seu treinamento, os processos de avaliação e os mecanismos de proteção.
O que a METR poderá verificar
A METR poderá publicar análises sobre os níveis de risco, incidentes e práticas da Anthropic. A empresa afirma que não pode vetar publicações, mas pode exigir a edição de informações pertencentes a categorias definidas previamente, como dados de clientes, materiais protegidos pelo sigilo advogado-cliente e informações sobre a arquitetura dos modelos. Cabe à Anthropic decidir se determinado trecho se enquadra nessas exceções. A METR, por sua vez, mantém o direito de descrever o nível de acesso que recebeu e as informações que lhe foram fornecidas.
Assim, a avaliação independente combinará o acesso a materiais internos com restrições à divulgação de determinadas informações. Para os leitores, serão importantes tanto as conclusões da METR quanto a descrição dos materiais que o grupo pôde examinar e das restrições que afetaram a publicação. A Anthropic explica que o modelo de colaboração busca reduzir a diferença entre o que sabem os avaliadores externos e o que sabe o próprio laboratório.
Como funciona o nível de acesso
A Anthropic classifica o acordo com a METR como o terceiro nível de seu próprio sistema de acesso para avaliadores. Ele prevê acesso comparável ao das equipes internas de avaliação de riscos e direitos de publicação semelhantes aos do segundo nível. O trabalho, porém, é restrito a um pequeno grupo da METR, sujeito a acordos obrigatórios; os demais funcionários da organização, inclusive os envolvidos em outros projetos com a Anthropic, ficam separados desse trabalho.
A empresa informou que colabora com a METR há cerca de um ano, inclusive em análises de relatórios de risco. Outras parcerias estão em estágios iniciais: a SecureBio está revisando o capítulo sobre armas químicas e biológicas do relatório da Anthropic publicado em agosto; a empresa avalia ampliar o acesso quando esse trabalho terminar. Com a Accenture e a Faculty, a Anthropic desenvolve uma colaboração distinta para avaliação de modelos, red teaming e verificação de mecanismos de proteção. A empresa também mantém conversas preliminares com outras organizações, incluindo a Hugging Face.
O que isso muda para as empresas
Para as organizações que implementam modelos em processos sensíveis, o valor prático do sistema ficará evidente nas avaliações publicadas: quais riscos foram examinados, quais dados foram analisados e quais restrições afetaram as conclusões. O anúncio da Anthropic descreve as condições de acesso e publicação, mas não apresenta novos resultados de avaliação dos modelos. Por isso, compradores corporativos devem considerar os futuros materiais da METR como evidências de verificações específicas, e não como uma conclusão definitiva sobre a segurança de todos os modelos da empresa.
O anúncio de 15 de outubro altera o acesso de avaliadores externos a informações internas e assegura à METR a possibilidade de publicar suas conclusões, com exceções acordadas. O conteúdo das avaliações futuras e a clareza na descrição de suas condições mostrarão quão útil esse sistema será para a verificação independente dos riscos da IA.