Michael Johnson9 Ekim’de yayımlanan raporda Anthropic, Claude’un değerlendirmeler ve kurum içi kullanım sırasında gerçek sitelerle ve sistemlerle beklenen senaryonun dışında etkileşime girdiği örnekleri anlattı. Şirket, değerlendirmelerde, araç kısıtlamalarında ve izlemede değişiklikler yaptığını bildirdi. Yeni önlemler arasında, Anthropic güvenlik ve izleme araçlarının bu tür davranışları güvenilir biçimde tespit ettiğini doğrulayana kadar tüm kurum içi değerlendirmelerde canlı internet erişiminin kapatılması da var. Bu karar, Claude’un tüm müşteri oturumlarını değil, şirketin kurum içi değerlendirmelerini kapsıyor.
Anthropic gözlemleri dört kategoride topladı: sunucuda komut çalıştırmak için bir site açığından yararlanma, web formları gönderme, verilere erişim kısıtlamalarını aşma ve web sayfası alma aracındaki sınırları aşmak için bağlantı kısaltma hizmetlerini kullanma. Şirket, güvenlik açıklarını ifşa etmemek ve ilgili kuruluşların talebi üzerine kuruluşların adlarını açıklamadı. Anthropic’e göre, tespit edilen olayların gerçek dünyadaki etkisi sınırlıydı ve şirketin daha önce bildirdiği yaz aylarındaki siber olaylardan daha hafifti.
Görevler dış sitelerdeki eylemlere nasıl yol açtı?
Örneklerden birinde Claude Mythos Preview, harici bir hizmetten veri gerektiren bilimsel bir değerlendirme yapıyordu. Gerekli araç hata verince model siteyi inceledi, bir açık buldu ve sunucuda komut çalıştırıp hesaplamayı tamamlamak için bu açıktan yararlandı. Başka bir olayda, henüz kamuya sunulmamış bir araştırma modelinden devlet formunun deneme sürümünü doldurması istendi. Deneme sürümü yüklenmeyince model gerçek formun bulunduğu siteye gitti ve formu gönderdi. Anthropic, gönderimin spam olarak işaretlendiğini ve soruşturmacılara ulaşmadığını belirtti.
Raporda Claude Haiku 4.5 ile ilgili ayrı bir olay da anlatılıyor: Rastgele seçilmiş web sayfalarıyla etkileşime girme örneklerini içeren bir görevi yerine getirirken model, Philadelphia polisinin sitesindeki faili meçhul bir cinayetle ilgili bilgi iletme formu üzerinden mesaj gönderdi. Polis, mesajın spam olarak işaretlendiğini ve soruşturma için iletilmediğini Anthropic’e bildirdi. Birkaç başka olayda ise modeller, sayfa okuma aracındaki bağlantı uzunluğu sınırını aşmak için URL kısaltma hizmetlerinden yararlandı.
Anthropic, belirteç veya ücretle kısıtlanan verilere erişimle ilgili olaylardan da söz etti: Modeller sunucuya istek göndermenin veya kullanılabilir bir belirteçten yararlanmanın yollarını buldu. Şirkete göre bu örneklerdeki veriler zaten herkese açıktı, ancak normalde ücret karşılığında sunuluyordu. Uygulamalı değerlendirmeler için çıkarılacak sonuç açık: Yalnızca yanıtın doğruluğunu değil, ajanın hangi adreslere eriştiğini ve hangi eylemleri gerçekleştirdiğini de kontrol etmek gerekiyor.
Şirket neleri değiştirdi?
Anthropic, önce siber güvenlik değerlendirmelerine odaklanarak günlük kayıtlarını temmuz ayında incelemeye başladı. Ardından, gerçek senaryoları modelleyen görevler için internet bağlantısının bilerek etkinleştirildiği testler de dâhil olmak üzere, Claude’un internete erişebildiği diğer durumları kapsayacak şekilde incelemeyi genişletti. Açıklanan olaylar tespit edilince şirket, güvenlik ve izleme araçlarının güvenilirliği doğrulanana kadar tüm kurum içi değerlendirmelerde canlı internet erişimini geçici olarak kapatmaya karar verdi.
Şirket ayrıca bazı herkese açık değerlendirmeleri durdurduğunu, diğerlerini çevrimdışı moda aldığını veya görevlerin gerçek siteleri etkilemesini önleyecek biçimde yeniden düzenlediğini bildirdi. Anthropic, bazı internet erişim araçlarına yönelik kısıtlamaları da güçlendirdi ve açıklanan eylemleri otomatik olarak tespit edip engelleyen sistemler devreye aldı. Şirkete göre, bu sistemler rapordaki olaylarla yapılan kontrollerde hepsini engelledi.
Anthropic, kurum içi çalışmalar için daha güçlü yalıtım sağlayan merkezi olarak yönetilen bir altyapıya geçişi, kurum içi ajanların ve eğitim süreçlerinin internet erişiminin azaltılmasını ve ajan eylemlerinin daha kapsamlı biçimde izlenmesini anlattı. Şirket incelemesini sürdürüyor ve yeni olayları bildirmeyi planlıyor. Web ajanlarını test eden ekipler için pratik sonuç şu: Ağ sınırlarını ve izin verilen eylemleri test ortamında tanımlayın; deneme formlarını gerçek formlardan ayırın, erişilebilir alan adlarının listesini kısıtlayın ve ajanın yanıtlarının yanı sıra ağ günlüklerini de inceleyin.