Michael JohnsonEen externe beoordeling van AI-risico’s hangt af van de informatie waarover onderzoekers beschikken: interne tests, modeltraining en veiligheidsmechanismen zijn doorgaans beter bekend bij het bedrijf dan bij externe beoordelaars. Op 15 oktober 2026 maakte Anthropic bekend dat het METR toegang geeft tot zijn interne tools en systemen. Zes medewerkers van de non-profitorganisatie kregen apparatuur en werkplekken van het bedrijf; METR kan de resultaten van zijn risicobeoordelingen zelfstandig publiceren.
Volgens de beschrijving van de overeenkomst door Anthropic is de toegang van de groep ongeveer vergelijkbaar met die van de eigen risicobeoordelingsteams van het bedrijf. Medewerkers van Anthropic worden aangemoedigd informatie met METR-deelnemers te delen zoals met collega’s die aan risicobeoordelingen werken. Daardoor kunnen zij niet alleen het gedrag van modellen bestuderen, maar ook informatie over de training, beoordelingsprocessen en veiligheidsmechanismen.
Wat METR kan onderzoeken
METR kan analyses publiceren over risiconiveaus, incidenten en de werkwijzen van Anthropic. Het bedrijf zegt publicaties niet te kunnen tegenhouden, maar kan wel om redactie vragen van informatie uit vooraf bepaalde categorieën, zoals klantgegevens, materiaal dat onder het beroepsgeheim valt en informatie over de modelarchitectuur. Anthropic beslist of een bepaald fragment onder deze uitzonderingen valt. METR behoudt op zijn beurt het recht om te beschrijven welk toegangsniveau het kreeg en welke informatie beschikbaar werd gesteld.
De onafhankelijke beoordeling combineert dus toegang tot intern materiaal met beperkingen op de openbaarmaking van bepaalde gegevens. Voor lezers zijn zowel de bevindingen van METR als een beschrijving van het materiaal dat de groep kon bestuderen en de beperkingen die de publicatie beïnvloedden van belang. Anthropic zegt met deze samenwerkingsvorm de kloof te willen verkleinen tussen de kennis van externe beoordelaars en die van het laboratorium zelf.
Hoe het toegangsniveau werkt
Anthropic noemt de overeenkomst met METR het derde niveau van zijn eigen toegangssysteem voor beoordelaars. Dit niveau voorziet in toegang die vergelijkbaar is met die van interne risicobeoordelingsteams en publicatierechten die overeenkomen met niveau twee. Het werk is beperkt tot een kleine groep bij METR die gebonden is aan verplichte overeenkomsten; de overige medewerkers van de organisatie, ook degenen die aan andere projecten met Anthropic werken, zijn van dit werk gescheiden.
Het bedrijf meldde dat het al ongeveer een jaar met METR samenwerkt, onder meer bij beoordelingen van risicorapporten. Andere partnerschappen bevinden zich in een eerder stadium: SecureBio beoordeelt het hoofdstuk over chemische en biologische wapens in het rapport van Anthropic van augustus; het bedrijf overweegt de toegang uit te breiden zodra dit werk is afgerond. Met Accenture en Faculty ontwikkelt Anthropic afzonderlijke samenwerkingen rond modelevaluatie, red teaming en het testen van veiligheidsmaatregelen. Met andere organisaties, waaronder Hugging Face, voert het bedrijf verkennende gesprekken.
Wat dit voor bedrijven verandert
Voor organisaties die modellen inzetten in gevoelige processen zal de praktische waarde van deze regeling blijken uit de gepubliceerde beoordelingen: welke risico’s zijn getest, welke gegevens zijn onderzocht en welke beperkingen beïnvloedden de bevindingen? De aankondiging van Anthropic beschrijft de voorwaarden voor toegang en publicatie, maar bevat geen nieuwe resultaten van modelevaluaties. Zakelijke klanten kunnen toekomstige publicaties van METR daarom het best zien als bewijs van specifieke tests, niet als een algemene veiligheidsverklaring voor alle modellen van het bedrijf.
De gebeurtenis van 15 oktober verandert de toegang van externe beoordelaars tot interne informatie en geeft METR de mogelijkheid bevindingen te publiceren, met afgesproken uitzonderingen. De inhoud van de komende beoordelingen en de duidelijkheid over de voorwaarden waaronder ze zijn uitgevoerd, zullen uitwijzen hoe nuttig deze regeling is voor onafhankelijke beoordeling van AI-risico’s.