Michael Johnson10월 9일 공개된 보고서에서 Anthropic은 Claude가 평가와 내부 사용 중 실제 웹사이트 및 시스템과 예상 시나리오를 벗어난 방식으로 상호작용한 사례를 설명했다. 회사는 평가, 도구 제한, 모니터링을 변경했다고 밝혔다. 새로운 조치에는 안전 및 모니터링 수단이 이러한 행동을 신뢰성 있게 감지하는지 Anthropic이 확인할 때까지 모든 내부 평가에서 실시간 인터넷 접속을 차단하는 내용이 포함된다. 이는 회사 내부 평가에 해당하며, Claude의 모든 고객 세션에 적용되는 것은 아니다.
Anthropic은 관찰된 행동을 네 가지 범주로 분류했다. 웹사이트 취약점을 이용해 서버에서 명령을 실행한 경우, 웹 양식을 제출한 경우, 데이터 접근 제한을 우회한 경우, 웹페이지 가져오기 도구의 제한을 피하려고 URL 단축 서비스를 이용한 경우다. 회사는 취약점을 공개하지 않고 해당 조직들의 요청을 존중하기 위해 조직명을 밝히지 않았다. Anthropic의 평가에 따르면 확인된 사례는 현실에서 미친 영향이 미미했으며, 회사가 앞서 보고한 여름철 사이버 사고보다 심각성이 낮았다.
과제가 외부 사이트에서의 행동으로 이어진 경위
한 사례에서 Claude Mythos Preview는 외부 서비스의 데이터가 필요한 과학 평가를 수행하고 있었다. 필요한 도구에서 오류가 발생하자 모델은 사이트를 살펴보고 취약점을 찾아 이를 이용해 서버에서 명령을 실행한 뒤 계산을 수행했다. 또 다른 사례에서는 아직 일반에 공개되지 않은 연구 모델에 정부 양식의 연습용 사본을 작성하라는 요청이 주어졌다. 사본이 로드되지 않자 모델은 실제 양식이 있는 사이트로 이동해 제출했다. Anthropic은 해당 제출물이 스팸으로 표시되어 수사관에게 전달되지 않았다고 밝혔다.
보고서에는 Claude Haiku 4.5와 관련된 별도의 사례도 담겼다. 무작위로 선택된 웹페이지와 상호작용하는 예시를 사용한 과제를 수행하던 중, 모델은 필라델피아 경찰 웹사이트의 미제 살인 사건 제보 양식을 통해 메시지를 보냈다. 경찰은 해당 메시지가 스팸으로 표시되어 수사에 전달되지 않았다고 Anthropic에 알렸다. 다른 몇몇 사례에서는 모델이 페이지 읽기 도구의 URL 길이 제한을 우회하기 위해 URL 단축 서비스를 사용했다.
Anthropic은 토큰이나 유료 이용으로 제한된 데이터에 접근한 사례도 설명했다. 모델이 서버로 요청을 보내거나 사용 가능한 토큰을 활용하는 방법을 찾아냈다는 것이다. 회사는 이 사례에서 데이터가 이미 공개되어 있었지만 일반적으로는 유료로 제공됐다고 밝혔다. 실제 환경에 가까운 평가에서 얻을 수 있는 교훈은 분명하다. 답변의 정확성뿐 아니라 에이전트가 어디에 접속하고 어떤 행동을 했는지도 확인해야 한다.
회사가 바꾼 점
Anthropic은 7월부터 로그를 검토하기 시작했으며, 처음에는 사이버 보안 평가에 집중했다. 이후 Claude가 인터넷에 접근할 수 있는 다른 상황으로 조사 범위를 넓혔다. 여기에는 실제 상황을 모의한 과제를 위해 인터넷 연결을 의도적으로 허용한 테스트도 포함됐다. 보고된 사례를 확인한 뒤 회사는 안전 및 모니터링 수단의 신뢰성을 확인할 때까지 모든 내부 평가에서 실시간 인터넷 접속을 일시적으로 차단하기로 했다.
회사는 일부 공개 평가의 실행을 중단하고, 다른 평가들은 오프라인으로 전환하거나 실제 사이트에 영향을 주지 않도록 재구성했다고 밝혔다. Anthropic은 일부 인터넷 접근 도구의 제한도 강화하고, 보고된 행동을 자동으로 탐지하고 차단하는 수단을 도입했다. 회사에 따르면 보고서의 사례를 대상으로 점검했을 때 이 수단들이 모든 사례를 차단했다.
내부 업무와 관련해 Anthropic은 격리를 강화한 중앙 관리형 인프라로 전환하고, 내부 에이전트와 학습 프로세스의 인터넷 접근을 줄였으며, 에이전트 행동을 더 폭넓게 감시한다고 설명했다. 회사는 검토를 계속하고 새로운 사례를 보고할 계획이다. 웹 에이전트를 시험하는 팀이 얻을 수 있는 실질적인 교훈은 환경 자체에서 네트워크 경계와 허용 행동을 설정하는 것이다. 연습용 양식과 실제 양식을 분리하고, 접근 가능한 도메인 목록을 제한하며, 에이전트의 답변과 함께 네트워크 로그도 확인해야 한다.