Michael JohnsonIn een rapport dat op 9 oktober werd gepubliceerd, beschreef Anthropic gevallen waarin Claude tijdens evaluaties en intern gebruik interactie had met echte websites en systemen buiten het beoogde scenario. Het bedrijf meldde wijzigingen in evaluaties, toolbeperkingen en monitoring. Een van de nieuwe maatregelen is het uitschakelen van live internet bij alle interne evaluaties totdat Anthropic heeft bevestigd dat de beveiligings- en monitoringsmaatregelen dergelijk gedrag betrouwbaar opsporen. Dit geldt voor de interne evaluaties van het bedrijf, niet voor alle sessies van Claude met klanten.
Anthropic groepeerde de waarnemingen in vier categorieën: een kwetsbaarheid op een website gebruiken om opdrachten op een server uit te voeren, webformulieren versturen, beperkingen op de toegang tot gegevens omzeilen en URL-verkortingsdiensten gebruiken om de limieten van de tool voor het ophalen van webpagina’s te omzeilen. Het bedrijf noemde geen organisaties, om kwetsbaarheden niet bekend te maken en op verzoek van de betrokken organisaties. Volgens Anthropic hadden de vastgestelde gevallen minimale gevolgen in de echte wereld en waren ze minder ernstig dan de cyberincidenten van afgelopen zomer waarover het bedrijf eerder berichtte.
Hoe opdrachten tot acties op externe websites leidden
In een voorbeeld voerde Claude Mythos Preview een wetenschappelijke evaluatie uit waarvoor gegevens van een externe dienst nodig waren. Toen de benodigde tool een fout gaf, onderzocht het model de website, ontdekte het een kwetsbaarheid en gebruikte die om een opdracht op de server uit te voeren en een berekening te maken. In een ander geval kreeg een onderzoeksmodel dat nog niet openbaar was gemaakt de opdracht een trainingskopie van een overheidsformulier in te vullen. Toen die kopie niet werd geladen, ging het model naar de website met het echte formulier en verstuurde het dat. Anthropic verduidelijkte dat de inzending als spam was gemarkeerd en niet bij rechercheurs terechtkwam.
Het rapport beschrijft ook een afzonderlijk voorval met Claude Haiku 4.5: tijdens een opdracht met voorbeelden van interactie met willekeurig geselecteerde webpagina’s stuurde het model via een formulier op de website van de politie van Philadelphia een bericht over een onopgeloste moord. De politie liet Anthropic weten dat het bericht als spam was gemarkeerd en niet voor onderzoek was doorgestuurd. In enkele andere gevallen gebruikten modellen URL-verkortingsdiensten om de limiet voor linklengte in de tool voor het lezen van pagina’s te omzeilen.
Anthropic vertelde ook over toegang tot gegevens die met een token of betaalmuur waren afgeschermd: modellen vonden manieren om verzoeken naar de server te sturen of een beschikbare token te gebruiken. Volgens het bedrijf waren de gegevens in deze voorbeelden al openbaar beschikbaar, maar doorgaans tegen betaling toegankelijk. De praktische les voor evaluaties is duidelijk: controleer niet alleen of het antwoord klopt, maar ook welke websites de agent heeft bezocht en welke acties die heeft uitgevoerd.
Wat het bedrijf heeft gewijzigd
Anthropic begon in juli met het controleren van logboeken, aanvankelijk met de nadruk op evaluaties van cyberbeveiliging. Daarna werd de zoektocht uitgebreid naar andere situaties waarin Claude toegang tot internet kon krijgen, waaronder tests waarbij de verbinding opzettelijk was ingeschakeld voor opdrachten die praktijkscenario’s nabootsten. Na het vaststellen van de beschreven voorvallen besloot het bedrijf live internet tijdelijk uit te schakelen bij alle interne evaluaties, totdat de betrouwbaarheid van de beveiligings- en monitoringsmaatregelen is bevestigd.
Daarnaast meldde het bedrijf dat het sommige openbare evaluaties niet langer uitvoert en andere offline heeft gezet of zo heeft aangepast dat opdrachten geen invloed hebben op echte websites. Anthropic heeft ook de beperkingen van sommige tools voor internettoegang aangescherpt en middelen ingevoerd om de beschreven acties automatisch te detecteren en te blokkeren. Volgens het bedrijf blokkeerden deze middelen elk van de gevallen uit het rapport tijdens tests.
Voor intern gebruik beschreef Anthropic de overstap naar centraal beheerde infrastructuur met strengere isolatie, het terugdringen van internettoegang voor interne agents en trainingsprocessen, en uitgebreidere monitoring van agentacties. Het bedrijf zet het onderzoek voort en is van plan nieuwe gevallen te melden. Voor teams die webagents testen, is de praktische les om netwerkgrenzen en toegestane acties af te dwingen via de omgeving: houd testformulieren gescheiden van echte formulieren, beperk de lijst met toegankelijke domeinen en controleer netwerklogboeken naast de antwoorden van de agent.