Michael JohnsonAnthropic kertoi 12. lokakuuta, että uudet tislausta torjuvat toimet vähensivät hyökkääjien sen alustalta poimimien Claude-päättelytokenien määrää 10–100-kertaisesti. Yhtiö kuvasi järjestelmää monikerroksiseksi kokonaisuudeksi: se vaikeuttaa piilotettujen päättelyketjujen paljastamista, seuraa pyyntöjen siirtämistä tilien ja mallien välillä sekä estää epäilyttäviä pyyntöjä. API-kehittäjille tämä on tärkeää kahdesta syystä: suojaus muuttaa integraatioiden toimintaa, ja joistakin estetyistä pyynnöistä veloitetaan nyt maksu.
Tislaus mahdollistaa pienemmän mallin kouluttamisen tehokkaamman järjestelmän vastausten avulla. Anthropic pitää tähän tarkoitukseen arvokkaimpina Claude-mallin ennen lopullista vastausta muodostamia kokonaisia päättelyketjuja. Yhtiön varhaisissa kokeissa Claude Opus 4.8:n täydellisillä litteroinneilla koulutettu malli sai SWE-bench Verified -testissä 80,4 %, kun taas lyhennetyillä versioilla koulutetun mallin tulos oli 71,8 %. Nämä luvut koskevat tiettyä Anthropic-yhtiön koetta ja testiä, eivätkä ole mallien laadun yleispätevä mittari.
Suoja kattaa useita poimintatapoja
Ensimmäinen suojakerros vähentää paljastettavien päättelyketjujen määrää. Anthropicin mukaan tällaisen toimen käyttöönoton jälkeen yritykset kiihtyivät: pyynnöissä alettiin vaatia suoraan piilotetun päättelyketjun tulostamista, minkä jälkeen käyttöön otettiin välittäjäverkostoja ja lukuisia väärennettyjä tilejä. Yhtiö kertoo, että yksi tällainen verkosto hallinnoi samanaikaisesti yli 20 000 tiliä.
Uudet toimet valvovat, minne suojattuja päättelykatkelmia voidaan siirtää. Anthropic luettelee keskustelujen, mallien ja tilien välisen siirtämisen keinoiksi kiertää yksittäisiä suojauksia. Yhtiön mukaan kaksivaiheinen luokitin tunnistaa nyt kaikki sen syyskuun raportissa kuvaamat tislaustekniikat tehokkaimmissa julkisesti saatavilla olevissa malleissa.
Anthropic arvioi vaikutusta niiden päättelytokenien määrällä, jotka tislaajat onnistuivat poimimaan nimenomaan sen alustalta. Luokittimen käyttöönoton jälkeen määrä oli 10–100 kertaa aiempaa pienempi; joinakin päivinä määrä oli liian pieni mitattavaksi. Yhtiö kertoo myös estäneensä kymmeniätuhansia tislaukseen liittyviä tilejä. Nämä tiedot kuvaavat Anthropicin omaa telemetriaa, eivät kolmansien osapuolten pilvipalvelujen ja päättelypalveluntarjoajien kautta poimittua kokonaismäärää.
Mitä kehittäjille muuttuu
Suojaus on jo vaikuttanut joihinkin laillisiin integraatioihin. Anthropicin mukaan säilytetty päättelyketjujen muoto edellytti päivityksiä osalta kehittäjistä, ja luokittimet luokittelevat tai estävät virheellisesti harmittomia pyyntöjä alle 0,1 prosentissa tapauksista. Syyskuun 24. päivästä lähtien yhtiö on veloittanut pyynnöistä, jotka pysäytetään ennen vastauksen muodostamista luokissa, joissa ilmoitettu väärien osumien osuus on tällainen. Näihin kuuluu myös tislaus.
APIa käyttävien tiimien käytännön kannattaa tarkistaa muutosten jälkeen, mitä vastauskenttiä sovellus lukee ja tallentaa sekä miten se käsittelee kieltäytymisen tai ennen vastausta tapahtuvan eston. On myös syytä huomioida, että maksullinen estetty pyyntö voi näkyä kustannuksissa ilman hyödyllistä vastausta. Tämä on erityisen tärkeää automaattisissa uudelleenyrityksissä: saman pyynnön toistaminen ei korjaa luokittelua ja voi kasvattaa kustannuksia.
Uusien toimien kuvauksessa Anthropic myöntää, että järjestelmä on yhä osa hyökkääjien kanssa käytävää kilpajuoksua: yhtiö ei tiedä, kuinka kauan saavutettu vähennys kestää, eikä se ole vielä havainnut erittäin sitkeää yritystä kiertää päivitetty suojaus. Käytännön muutos on jo selvä: kehittäjien on varauduttava päivitettyyn päättelyketjujen käsittelyyn, harvinaisiin estoihin ja joidenkin hylättyjen pyyntöjen veloitukseen.