Michael JohnsonAnthropic meldte 12. oktober at nye tiltak mot destillering reduserte mengden Claude-resonnement som angripere hentet ut via plattformen, med 10–100 ganger. Selskapet beskrev systemet som et sett med flere lag: Det gjør det vanskeligere å avdekke skjult resonnement, sporer overføring av forespørsler mellom kontoer og modeller og blokkerer mistenkelige henvendelser. For API-utviklere er dette viktig av to grunner: Beskyttelsen endrer hvordan integrasjoner fungerer, og enkelte blokkerte forespørsler blir nå belastet.
Destillering gjør det mulig å trene en mindre modell på svar fra et kraftigere system. Anthropic mener at fullstendige resonnementer, som Claude genererer før det endelige svaret, er særlig verdifulle for dette. I selskapets tidlige tester oppnådde en modell trent på fullstendige transkripsjoner fra Claude Opus 4.8 80,4 % på SWE-bench Verified; med trening på forkortede versjoner var resultatet 71,8 %. Tallene gjelder en bestemt test og et bestemt Anthropic-eksperiment, og er ikke en universell vurdering av modellkvalitet.
Beskyttelsen dekker flere metoder for uthenting
Det første laget er å begrense hvor mye resonnement som gjøres tilgjengelig. Ifølge Anthropics beskrivelse ble forsøkene mer målrettede etter at dette tiltaket ble innført: Forespørsler begynte uttrykkelig å be om den skjulte resonnementsgangen, og deretter ble det brukt nettverk av mellommenn og mange falske kontoer. Selskapet opplyser at ett slikt nettverk samtidig kontrollerte over 20 000 kontoer.
De nye tiltakene kontrollerer hvor beskyttede resonnementselementer kan flyttes. Anthropic lister overføring mellom samtaler, modeller og kontoer som metoder for å omgå enkeltstående beskyttelsestiltak. Ifølge selskapet oppdager en klassifikator i to trinn nå alle destilleringsteknikkene som ble omtalt i septemberrapporten, på de mest avanserte offentlig tilgjengelige modellene.
Anthropic måler effekten ut fra antallet resonnementstokener destillatører klarte å hente ut på selskapets egen plattform. Etter innføringen av klassifikatoren var dette tallet 10–100 ganger lavere enn før; enkelte dager var mengden for liten til å måles. Selskapet opplyste også at titusenvis av kontoer knyttet til destillering var blitt blokkert. Disse tallene beskriver Anthropics egne telemetridata, ikke samlet uthenting via tredjepartsskyer og inferensleverandører.
Hva endres for utviklere
Beskyttelsen har allerede påvirket enkelte legitime integrasjoner. Anthropic skriver at den bevarte resonnementskontrollen krevde oppdateringer fra noen utviklere, og at klassifikatorene feilaktig identifiserer eller blokkerer ufarlige forespørsler i færre enn 0,1 % av tilfellene. Fra 24. september har selskapet tatt betalt for forespørsler som stanses før svar genereres i kategorier med en slik oppgitt andel falske positiver, inkludert destillering.
Den praktiske lærdommen for team som bruker API-et, er å kontrollere hvilke svarfelt applikasjonen leser og lagrer etter endringene i håndteringen av resonnement, og hvordan den håndterer avslag eller blokkering før generering. Ta også høyde for at en blokkert forespørsel som faktureres, kan påføre kostnader uten å gi et nyttig svar. Dette er særlig viktig for automatiske nye forsøk: Å gjenta den samme henvendelsen endrer ikke klassifiseringen og kan øke kostnadene.
I beskrivelsen av de nye tiltakene erkjenner Anthropic at systemet fortsatt inngår i en pågående kamp med angripere: Selskapet vet ikke hvor lenge den oppnådde reduksjonen vil vare, og har ennå ikke observert et svært vedvarende forsøk på å omgå den oppdaterte beskyttelsen. Den tydeligste praktiske endringen har allerede kommet: Utviklere må ta høyde for den oppdaterte håndteringen av resonnement, muligheten for sjeldne blokkeringer og fakturering av enkelte avviste forespørsler.