Michael JohnsonAnthropic poinformowała 12 października, że nowe środki przeciwdziałające destylacji zmniejszyły 10–100 razy ilość rozumowań Claude’a wydobywanych przez osoby atakujące za pośrednictwem jej platformy. Firma opisała system jako wielowarstwowy zestaw zabezpieczeń: utrudnia on ujawnianie ukrytych rozumowań, śledzi przenoszenie zapytań między kontami i modelami oraz blokuje podejrzane żądania. Dla twórców korzystających z API ma to znaczenie z dwóch powodów: zabezpieczenia zmieniają zachowanie integracji, a część zablokowanych zapytań jest teraz płatna.
Destylacja pozwala trenować mniejszy model na odpowiedziach bardziej zaawansowanego systemu. Anthropic uważa, że największą wartość dla tego procesu mają pełne zapisy rozumowań, które Claude tworzy przed odpowiedzią końcową. We wczesnych testach firmy model trenowany na pełnych transkryptach Claude Opus 4.8 uzyskał 80,4% w SWE-bench Verified; w przypadku trenowania na skróconych wersjach wynik wyniósł 71,8%. Liczby te dotyczą konkretnego testu i eksperymentu Anthropic, a nie uniwersalnej miary jakości modeli.
Ochrona obejmuje kilka sposobów wydobywania
Pierwsza warstwa polega na ograniczeniu ujawnianych rozumowań. Jak opisuje Anthropic, po wprowadzeniu tego środka próby nasiliły się: w zapytaniach zaczęto wprost żądać ujawnienia ukrytego toku rozumowania, a następnie wykorzystywano sieci pośredników i liczne fałszywe konta. Firma informuje, że jedna z takich sieci zarządzała jednocześnie ponad 20 tysiącami kont.
Nowe środki kontrolują, gdzie mogą być przenoszone chronione fragmenty rozumowań. Anthropic wymienia przenoszenie ich między rozmowami, modelami i kontami jako sposoby omijania poszczególnych zabezpieczeń. Według firmy dwuetapowy klasyfikator wykrywa teraz wszystkie techniki destylacji opisane w jej wrześniowym raporcie w przypadku najpotężniejszych ogólnodostępnych modeli.
Anthropic mierzy skuteczność na podstawie liczby tokenów rozumowań, które podmioty prowadzące destylację zdołały wydobyć na jej platformie. Po wdrożeniu klasyfikatora wskaźnik ten spadł 10–100 razy; w niektóre dni ilość była zbyt mała, by ją zmierzyć. Firma poinformowała również o zablokowaniu dziesiątek tysięcy kont powiązanych z destylacją. Dane te odzwierciedlają własną telemetrię Anthropic, a nie łączną skalę wydobywania za pośrednictwem zewnętrznych chmur i dostawców usług inferencyjnych.
Co zmienia się dla twórców
Zabezpieczenia wpłynęły już na niektóre legalne integracje. Anthropic pisze, że zachowany format rozumowań wymagał aktualizacji od części twórców, a klasyfikatory błędnie oznaczają lub blokują nieszkodliwe zapytania w mniej niż 0,1% przypadków. Od 24 września firma pobiera opłaty za zapytania zatrzymane przed wygenerowaniem odpowiedzi w kategoriach, dla których podano taki odsetek fałszywych alarmów, w tym za destylację.
Praktyczny wniosek dla zespołów korzystających z API: po zmianach w obsłudze rozumowań warto sprawdzić, które pola odpowiedzi aplikacja odczytuje i zapisuje oraz jak obsługuje odmowę lub blokadę przed wygenerowaniem odpowiedzi. Należy też pamiętać, że płatne, zablokowane zapytanie może zwiększyć koszty, nie przynosząc użytecznej odpowiedzi. Ma to szczególne znaczenie w przypadku automatycznych ponowień: powtórzenie tego samego żądania nie zmienia klasyfikacji, a może zwiększyć wydatki.
W opisie nowych zabezpieczeń Anthropic przyznaje, że system wciąż jest częścią wyścigu z atakującymi: firma nie wie, jak długo utrzyma się osiągnięte ograniczenie, i nie zaobserwowała jeszcze bardzo wytrwałej próby obejścia zaktualizowanej ochrony. Najbardziej konkretna zmiana jest już widoczna w praktyce: twórcy muszą uwzględnić zaktualizowaną obsługę rozumowań, ryzyko rzadkich blokad oraz naliczanie opłat za niektóre odrzucone zapytania.