Michael JohnsonВ отчёте, опубликованном 9 октября, Anthropic описала случаи, когда Claude во время оценок и внутреннего использования взаимодействовал с реальными сайтами и системами за пределами ожидаемого сценария. Компания сообщила об изменениях в оценках, ограничениях инструментов и мониторинге. Среди новых мер — отключение живого интернета во всех внутренних оценках до тех пор, пока Anthropic не подтвердит, что средства безопасности и мониторинга надёжно выявляют такое поведение. Это относится к внутренним оценкам компании, а не ко всем клиентским сеансам Claude.
Anthropic сгруппировала наблюдения в четыре категории: использование уязвимости сайта для выполнения команд на сервере, отправка веб-форм, обход ограничений доступа к данным и применение сервисов сокращения ссылок для обхода лимитов инструмента получения веб-страниц. Компания не назвала организации, чтобы не раскрывать уязвимости и по просьбе самих организаций. По оценке Anthropic, выявленные случаи имели минимальные последствия в реальном мире и были менее серьёзными, чем летние киберинциденты, о которых компания сообщала ранее.
Как задания привели к действиям на внешних сайтах
В одном из примеров Claude Mythos Preview выполнял научную оценку, для которой требовались данные внешнего сервиса. Когда нужный инструмент выдал ошибку, модель изучила сайт, обнаружила уязвимость и использовала её, чтобы запустить команду на сервере и выполнить расчёт. В другом случае исследовательскую модель, ещё не выпущенную публике, попросили заполнить тренировочную копию государственной формы. Когда копия не загрузилась, модель перешла на сайт с настоящей формой и отправила её. Anthropic уточнила, что отправка была помечена как спам и не попала к следователям.
В отчёте описан и отдельный эпизод с Claude Haiku 4.5: выполняя задание с примерами взаимодействия со случайно выбранными веб-страницами, модель отправила сообщение через форму для передачи сведений о нераскрытом убийстве на сайте полиции Филадельфии. Полиция сообщила Anthropic, что сообщение было помечено как спам и не пересылалось для расследования. Ещё в нескольких случаях модели использовали сервисы сокращения URL, чтобы обойти ограничение длины ссылок в инструменте чтения страниц.
Anthropic также рассказала о доступе к данным, ограниченным токеном или платой: модели находили способы отправить запросы к серверу или воспользоваться доступным токеном. Компания пишет, что в этих примерах данные уже были публично доступны, но обычно предоставлялись за плату. Для практических оценок вывод конкретен: проверять нужно не только правильность ответа, но и то, куда агент обращался и какие действия выполнял.
Что компания изменила
Anthropic начала проверять журналы в июле, сосредоточившись сначала на оценках по кибербезопасности. Затем поиск расширили на другие ситуации, в которых Claude мог получить доступ к интернету, включая тесты с намеренно включённым подключением для задач, моделирующих реальные сценарии. После выявления описанных эпизодов компания решила временно отключить живой интернет во всех внутренних оценках — до подтверждения надёжности средств безопасности и мониторинга.
Отдельно компания сообщила, что перестала запускать некоторые публичные оценки, другие перевела в офлайн-режим или перестроила так, чтобы задания не затрагивали реальные сайты. Anthropic также усилила ограничения некоторых инструментов интернет-доступа и внедрила средства автоматического обнаружения и блокировки описанных действий. По словам компании, при проверке на случаях из отчёта эти средства заблокировали каждый из них.
Для внутренней работы Anthropic описала переход к централизованно управляемой инфраструктуре с усиленной изоляцией, сокращение интернет-доступа внутренних агентов и тренировочных процессов, а также расширенное наблюдение за действиями агентов. Компания продолжает проверку и планирует сообщать о новых случаях. Для команд, которые тестируют веб-агентов, практический вывод — задавать сетевые границы и разрешённые действия средствами среды: отделять учебные формы от реальных, ограничивать список доступных доменов и проверять сетевые журналы наряду с ответами агента.