Michael JohnsonAnthropic meldde op 12 oktober dat nieuwe maatregelen tegen distillatie het volume aan Claude-redeneringen dat kwaadwillenden via zijn platform extraheren, met een factor 10 tot 100 hebben teruggebracht. Het bedrijf beschreef het systeem als een reeks beschermingslagen: die maken het moeilijker om verborgen redeneringen prijs te geven, volgen hoe verzoeken tussen accounts en modellen worden verplaatst en blokkeren verdachte verzoeken. Voor API-ontwikkelaars is dit om twee redenen van belang: de bescherming verandert het gedrag van integraties en voor sommige geblokkeerde verzoeken worden nu kosten in rekening gebracht.
Met distillatie kan een kleiner model worden getraind op de antwoorden van een krachtiger systeem. Anthropic beschouwt volledige redeneringstranscripten, die Claude opstelt voordat het een definitief antwoord geeft, als bijzonder waardevol hiervoor. In vroege tests behaalde een model dat was getraind op volledige transcripten van Claude Opus 4.8 een score van 80,4% op SWE-bench Verified; bij training op verkorte versies was de score 71,8%. Deze cijfers gelden voor een specifieke test en een experiment van Anthropic, en zijn geen universele maatstaf voor modelkwaliteit.
De bescherming bestrijkt meerdere manieren van extractie
De eerste beschermingslaag beperkt hoeveel redeneringen worden prijsgegeven. Volgens Anthropic werden pogingen actiever nadat deze maatregel was ingevoerd: verzoeken eisten expliciet dat de verborgen redenering werd weergegeven, waarna netwerken van tussenpersonen en grote aantallen nepaccounts werden ingezet. Het bedrijf meldt dat één zo’n netwerk meer dan 20.000 accounts tegelijk beheerde.
De nieuwe maatregelen controleren waar beschermde fragmenten van redeneringen naartoe kunnen worden verplaatst. Anthropic noemt verplaatsing tussen gesprekken, modellen en accounts als manieren om afzonderlijke beschermingslagen te omzeilen. Volgens het bedrijf herkent een classifier in twee stappen nu alle distillatietechnieken die zijn beschreven in het rapport van september, bij de krachtigste openbaar beschikbare modellen.
Anthropic meet het effect aan de hand van het aantal redeneringstokens dat distillatoren op zijn platform hebben kunnen extraheren. Na de invoering van de classifier lag deze hoeveelheid 10 tot 100 keer lager dan voorheen; op sommige dagen was het volume te klein om te meten. Het bedrijf meldde ook dat het tienduizenden accounts heeft geblokkeerd die verband hielden met distillatie. Deze gegevens beschrijven de eigen telemetrie van Anthropic, niet de totale hoeveelheid extractie via externe clouddiensten en aanbieders van inferentie.
Wat er verandert voor ontwikkelaars
De bescherming heeft al gevolgen gehad voor sommige legitieme integraties. Anthropic schrijft dat de manier waarop redeneringen worden opgeslagen updates vereiste van een deel van de ontwikkelaars, en dat classifiers in minder dan 0,1% van de gevallen onschuldige verzoeken verkeerd classificeren of blokkeren. Sinds 24 september brengt het bedrijf kosten in rekening voor verzoeken die worden stopgezet voordat een antwoord wordt gegenereerd, in categorieën met dit opgegeven percentage fout-positieven, waaronder distillatie.
De praktische les voor teams die de API gebruiken: controleer na wijzigingen in de verwerking van redeneringen welke antwoordvelden de applicatie uitleest en opslaat, en hoe die omgaat met een weigering of blokkering voordat er een antwoord is gegenereerd. Houd er ook rekening mee dat een betaald, geblokkeerd verzoek kosten kan veroorzaken zonder een bruikbaar antwoord op te leveren. Dat is vooral belangrijk bij automatische nieuwe pogingen: hetzelfde verzoek herhalen verandert de classificatie niet en kan de kosten verhogen.
In de beschrijving van de nieuwe maatregelen van Anthropic erkent het bedrijf dat het systeem voorlopig deel uitmaakt van een voortdurende wedloop met aanvallers: Anthropic weet niet hoe lang de bereikte daling zal aanhouden en heeft nog geen uiterst hardnekkige poging gezien om de bijgewerkte bescherming te omzeilen. De duidelijkste praktische verandering is al doorgevoerd: ontwikkelaars moeten rekening houden met de bijgewerkte verwerking van redeneringen, de kans op zeldzame blokkeringen en kosten voor sommige afgewezen verzoeken.