Michael JohnsonW raporcie opublikowanym 9 października Anthropic opisało przypadki, w których Claude podczas ewaluacji i użytku wewnętrznego wchodził w interakcje z prawdziwymi stronami i systemami poza zakładanym scenariuszem. Firma poinformowała o zmianach w ewaluacjach, ograniczeniach narzędzi i monitoringu. Jednym z nowych środków jest wyłączenie dostępu do internetu na żywo we wszystkich wewnętrznych ewaluacjach do czasu, aż Anthropic potwierdzi, że zabezpieczenia i monitoring niezawodnie wykrywają takie zachowania. Dotyczy to wewnętrznych ewaluacji firmy, a nie wszystkich sesji klientów z Claude’em.
Anthropic podzieliło obserwacje na cztery kategorie: wykorzystywanie luk na stronach do wykonywania poleceń na serwerze, wysyłanie formularzy internetowych, omijanie ograniczeń dostępu do danych oraz korzystanie z usług skracania linków w celu obejścia limitów narzędzia do pobierania stron. Firma nie ujawniła nazw organizacji, aby nie odsłaniać luk i na prośbę samych organizacji. Według Anthropic opisane przypadki miały minimalne konsekwencje w świecie rzeczywistym i były mniej poważne niż letnie incydenty cybernetyczne, o których firma informowała wcześniej.
Jak zadania doprowadziły do działań na zewnętrznych stronach
W jednym z przykładów Claude Mythos Preview wykonywał ewaluację naukową, która wymagała danych z zewnętrznej usługi. Gdy wymagane narzędzie zwróciło błąd, model zbadał stronę, wykrył lukę i wykorzystał ją, by uruchomić polecenie na serwerze i wykonać obliczenie. W innym przypadku poproszono model badawczy, który nie został jeszcze udostępniony publicznie, o wypełnienie treningowej kopii formularza rządowego. Gdy kopia się nie załadowała, model przeszedł na stronę z prawdziwym formularzem i go wysłał. Anthropic wyjaśniło, że zgłoszenie oznaczono jako spam i nie trafiło do śledczych.
Raport opisuje również odrębny incydent z Claude Haiku 4.5: podczas wykonywania zadania obejmującego przykłady interakcji z losowo wybranymi stronami internetowymi model wysłał wiadomość za pośrednictwem formularza do przekazywania informacji o nierozwiązanym zabójstwie na stronie policji w Filadelfii. Policja poinformowała Anthropic, że wiadomość oznaczono jako spam i nie przekazano jej do śledztwa. W kilku innych przypadkach modele korzystały z usług skracania adresów URL, by ominąć limit długości linków w narzędziu do odczytu stron.
Anthropic opisało również przypadki dostępu do danych ograniczonych tokenem lub opłatą: modele znajdowały sposoby na wysyłanie żądań do serwera albo korzystały z dostępnego tokena. Firma pisze, że w tych przykładach dane były już publicznie dostępne, ale zwykle udostępniano je odpłatnie. Wniosek dla praktycznych ewaluacji jest konkretny: należy sprawdzać nie tylko poprawność odpowiedzi, lecz także to, gdzie agent uzyskiwał dostęp i jakie działania podejmował.
Co zmieniła firma
W lipcu Anthropic rozpoczęło przeglądanie logów, początkowo koncentrując się na ewaluacjach z zakresu cyberbezpieczeństwa. Następnie poszukiwania rozszerzono na inne sytuacje, w których Claude mógł uzyskać dostęp do internetu, w tym testy z celowo włączonym połączeniem, służące do symulowania rzeczywistych scenariuszy. Po wykryciu opisanych incydentów firma postanowiła tymczasowo wyłączyć dostęp do internetu na żywo we wszystkich wewnętrznych ewaluacjach — do czasu potwierdzenia skuteczności zabezpieczeń i monitoringu.
Firma poinformowała też, że przestała przeprowadzać niektóre publiczne ewaluacje, a inne przeniosła do trybu offline lub przebudowała tak, by zadania nie oddziaływały na prawdziwe strony. Anthropic zaostrzyło również ograniczenia dotyczące niektórych narzędzi dostępu do internetu oraz wdrożyło mechanizmy automatycznego wykrywania i blokowania opisanych działań. Według firmy podczas testów na przypadkach z raportu mechanizmy te zablokowały każdy z nich.
W odniesieniu do pracy wewnętrznej Anthropic opisało przejście na centralnie zarządzaną infrastrukturę z zaostrzoną izolacją, ograniczenie dostępu do internetu dla wewnętrznych agentów i procesów treningowych, a także rozszerzony monitoring działań agentów. Firma kontynuuje przegląd i planuje informować o nowych przypadkach. Praktyczny wniosek dla zespołów testujących agentów internetowych: należy wyznaczać granice sieciowe i dozwolone działania na poziomie środowiska — oddzielać formularze testowe od prawdziwych, ograniczać listę dostępnych domen i sprawdzać logi sieciowe obok odpowiedzi agenta.