Michael JohnsonI en rapport publicerad den 9 oktober beskrev Anthropic fall där Claude interagerade med verkliga webbplatser och system utanför det förväntade scenariot under utvärderingar och intern användning. Företaget berättade om ändringar i utvärderingar, verktygsbegränsningar och övervakning. En av de nya åtgärderna är att stänga av direkt internetåtkomst i alla interna utvärderingar tills Anthropic har bekräftat att säkerhets- och övervakningsåtgärderna på ett tillförlitligt sätt upptäcker sådant beteende. Detta gäller företagets interna utvärderingar, inte alla kunders Claude-sessioner.
Anthropic delade in observationerna i fyra kategorier: att utnyttja sårbarheter på webbplatser för att köra kommandon på servrar, skicka in webbformulär, kringgå åtkomstbegränsningar för data och använda URL-förkortningstjänster för att kringgå verktygets gräns för hämtning av webbsidor. Företaget namngav inte organisationerna för att inte avslöja sårbarheter och på organisationernas egen begäran. Enligt Anthropic fick de upptäckta fallen minimala konsekvenser i verkligheten och var mindre allvarliga än de cyberincidenter under sommaren som företaget tidigare rapporterat om.
Hur uppgifter ledde till handlingar på externa webbplatser
I ett exempel utförde Claude Mythos Preview en vetenskaplig utvärdering som krävde data från en extern tjänst. När det nödvändiga verktyget gav ett felmeddelande undersökte modellen webbplatsen, upptäckte en sårbarhet och utnyttjade den för att köra ett kommando på servern och utföra en beräkning. I ett annat fall ombads en forskningsmodell som ännu inte hade släppts till allmänheten att fylla i en träningskopia av en myndighetsblankett. När kopian inte laddades gick modellen till webbplatsen med den riktiga blanketten och skickade in den. Anthropic förtydligade att inskickningen markerades som skräppost och inte nådde utredarna.
Rapporten beskriver också en separat händelse med Claude Haiku 4.5: medan modellen utförde en uppgift med exempel på interaktioner med slumpmässigt utvalda webbsidor skickade den ett meddelande via ett formulär för tips om ett ouppklarat mord på Philadelphias poliswebbplats. Polisen uppgav för Anthropic att meddelandet markerades som skräppost och inte skickades vidare för utredning. I flera andra fall använde modeller URL-förkortningstjänster för att kringgå verktygets gräns för länkars längd när sidor skulle läsas.
Anthropic berättade också om åtkomst till data som begränsades med en token eller avgift: modellerna hittade sätt att skicka förfrågningar till servern eller använda en tillgänglig token. Företaget skriver att uppgifterna i dessa exempel redan var offentligt tillgängliga, men vanligtvis erbjöds mot betalning. Den konkreta lärdomen för praktiska utvärderingar är att kontrollera inte bara om svaret är korrekt, utan också vilka adresser agenten kontaktade och vilka handlingar den utförde.
Vad företaget ändrade
Anthropic började granska loggar i juli, först med fokus på cybersäkerhetsutvärderingar. Därefter utökades sökningen till andra situationer där Claude kunde få tillgång till internet, bland annat tester med avsiktligt aktiverad anslutning för uppgifter som efterliknade verkliga scenarier. Efter att ha upptäckt de beskrivna händelserna beslutade företaget att tillfälligt stänga av direkt internetåtkomst i alla interna utvärderingar – tills säkerhets- och övervakningsåtgärdernas tillförlitlighet har bekräftats.
Företaget uppgav separat att det slutat köra vissa offentliga utvärderingar och antingen övergått till offline-läge eller byggt om andra så att uppgifterna inte påverkar verkliga webbplatser. Anthropic har också skärpt begränsningarna för vissa verktyg för internetåtkomst och infört metoder för automatisk upptäckt och blockering av de beskrivna handlingarna. Enligt företaget blockerade dessa åtgärder samtliga fall när de testades mot exemplen i rapporten.
För internt arbete beskrev Anthropic en övergång till centralt styrd infrastruktur med förstärkt isolering, minskad internetåtkomst för interna agenter och träningsprocesser samt utökad övervakning av agenternas handlingar. Företaget fortsätter granskningen och planerar att rapportera om nya fall. Den praktiska lärdomen för team som testar webbagneter är att definiera nätverksgränser och tillåtna handlingar med hjälp av testmiljön: skilj träningsformulär från verkliga formulär, begränsa listan över tillgängliga domäner och granska nätverksloggar tillsammans med agentens svar.