jsonscraper

Anthropic 10–100 kat daha az Claude akıl yürütmesi çıkarılmasını sağladı

Şirket, damıtmaya karşı çok katmanlı korumayı anlattı ve kendi platformundaki sonuçları paylaştı

Yayın Politikası Hata bildirin

Anthropic, 12 Ekim’de damıtmaya karşı yeni önlemlerin, kötü niyetli kişilerin platformu üzerinden Claude’un akıl yürütme süreçlerini çıkarma miktarını 10–100 kat azalttığını bildirdi. Şirket sistemi birkaç katmandan oluşan bir yapı olarak tanımlıyor: gizli akıl yürütme süreçlerinin açığa çıkarılmasını zorlaştırıyor, isteklerin hesaplar ve modeller arasında aktarılmasını izliyor ve şüpheli talepleri engelliyor. API geliştiricileri için bu iki açıdan önemli: koruma, entegrasyonların davranışını değiştiriyor ve engellenen bazı istekler artık ücretlendiriliyor.

Makale: Anthropic 10–100 kat daha az Claude akıl yürütmesi çıkarılmasını sağladı
Özet: Anthropic, 12 Ekim’de Claude’un gizli akıl yürütme süreçlerinin başka modelleri eğitmek için çıkarılmasını nasıl engellediğini anlattı. Şirkete göre yeni sınıflandırıcıların devreye alınmasının ardından çıkarılan akıl yürütme miktarı 10–100 kat azaldı; önlemler bazı meşru istekleri de etkiliyor.
Görsel rolü: kapak — ana fikir
Bölüm: 
Görsel konusu: Güvenli bir yapay zekâ çıkarım API’sini temsil eden yakın plan belgesel fotoğrafı; b
© jsonscraper · Yapay zekâ tarafından oluşturulmuş illüstrasyon

Damıtma, daha küçük bir modelin daha güçlü bir sistemin yanıtlarıyla eğitilmesini sağlar. Anthropic, bu amaçla en değerli verilerin Claude’un nihai yanıttan önce oluşturduğu eksiksiz akıl yürütme kayıtları olduğunu düşünüyor. Şirketin ilk deneylerinde, Claude Opus 4.8’in eksiksiz dökümleriyle eğitilen bir model SWE-bench Verified testinde %80,4 puan aldı; kısaltılmış sürümlerle eğitimde sonuç %71,8 oldu. Bu rakamlar belirli bir test ve Anthropic deneyine aittir; modellerin kalitesine yönelik evrensel bir değerlendirme değildir.

Koruma, çıkarımın birden çok yolunu kapsıyor

İlk katman, açığa çıkarılan akıl yürütme içeriğinin azaltılması. Anthropic’in açıklamasına göre bu önlemin uygulanmasının ardından girişimler yoğunlaştı: isteklerde gizli akıl yürütme süreci doğrudan talep edilmeye başlandı, ardından aracı ağlar ve çok sayıda sahte hesap kullanıldı. Şirket, bu ağlardan birinin aynı anda 20 binden fazla hesabı yönettiğini bildiriyor.

Yeni önlemler, korunan akıl yürütme parçalarının nereye aktarılabileceğini denetliyor. Anthropic, ayrı korumaları aşma yöntemleri arasında içeriklerin konuşmalar, modeller ve hesaplar arasında aktarılmasını sayıyor. Şirketin iddiasına göre iki aşamalı sınıflandırıcı, eylül raporunda açıklanan tüm damıtma tekniklerini artık en güçlü ve kamuya açık modellerde tespit ediyor.

Anthropic etkiyi, damıtma yapanların özellikle kendi platformunda çıkarabildiği akıl yürütme belirteçlerinin sayısına göre ölçüyor. Sınıflandırıcının devreye alınmasının ardından bu gösterge önceki düzeyin 10–100 kat altına indi; bazı günlerde miktar ölçülemeyecek kadar azdı. Şirket ayrıca damıtmayla bağlantılı on binlerce hesabın engellendiğini bildirdi. Bu veriler, Anthropic’in kendi telemetrisini gösteriyor; üçüncü taraf bulut hizmetleri ve çıkarım sağlayıcıları üzerinden yapılan çıkarımların toplamını değil.

Geliştiriciler için neler değişiyor?

Koruma, bazı meşru entegrasyonları şimdiden etkiledi. Anthropic, akıl yürütme biçiminin korunmasının bazı geliştiricilerin güncelleme yapmasını gerektirdiğini ve sınıflandırıcıların zararsız istekleri vakaların %0,1’inden azında yanlış tanımlayıp engellediğini belirtiyor. Şirket, bu bildirilen yanlış pozitif oranının geçerli olduğu kategorilerde (damıtma da dâhil) yanıt oluşturulmadan durdurulan istekler için 24 Eylül’den beri ücret alıyor.

API kullanan ekipler için pratik sonuç şu: akıl yürütme işlemlerindeki değişikliklerin ardından uygulamanın yanıtın hangi alanlarını okuduğunu ve kaydettiğini, ayrıca yanıt oluşturulmadan önce gelen ret veya engelleme durumlarını nasıl ele aldığını kontrol etmek gerekiyor. Ücretlendirilen engellenmiş bir isteğin, işe yarar bir yanıt sunmadan maliyetlere yansıyabileceği de göz önünde bulundurulmalı. Bu, özellikle otomatik yeniden denemeler için önemli: aynı isteği yinelemek sınıflandırmayı düzeltmez ve maliyetleri artırabilir.

Yeni önlemlere ilişkin açıklamasında Anthropic, sistemin saldırganlarla süren yarışın bir parçası olmaya devam ettiğini kabul ediyor: şirket, elde edilen azalmanın ne kadar süre korunacağını bilmiyor ve güncellenmiş korumayı aşmaya yönelik son derece ısrarlı bir girişimle henüz karşılaşmadı. Şu ana kadarki en somut pratik değişiklik açık: geliştiricilerin akıl yürütme süreçlerinin güncellenmiş biçimde işlenmesini, nadir engellemeler olasılığını ve reddedilen bazı isteklerin ücretlendirilmesini hesaba katması gerekiyor.

People

No people listed for this article yet.

Keep readingSingapur ve Google DeepMind, telefonda dolandırıcılık mesajlarını tespit eden yapay zekâ geliştirdi
Read the next article

Okuduklarınızı çalışan bir entegrasyona dönüştürün

jsonscraper sosyal veri API'lerini keşfedin, istekleri test edin ve sonraki iş akışınızı oluşturun.

API'leri Keşfet