jsonscraper

Anthropic reduziu a extração de raciocínio do Claude em 10 a 100 vezes

A empresa descreveu uma defesa em várias camadas contra a destilação e relatou os resultados em sua própria plataforma

Política editorial Comunique um erro

A Anthropic informou em 12 de outubro que novas medidas contra a destilação reduziram de 10 a 100 vezes o volume de raciocínio do Claude extraído por agentes mal-intencionados em sua plataforma. A empresa descreveu o sistema como um conjunto de várias camadas: ele dificulta a divulgação do raciocínio oculto, monitora a transferência de solicitações entre contas e modelos e bloqueia pedidos suspeitos. Para quem desenvolve com a API, isso importa por dois motivos: a proteção altera o comportamento das integrações, e algumas solicitações bloqueadas agora são cobradas.

Artigo: Anthropic reduziu a extração de raciocínio do Claude em 10 a 100 vezes
Resumo: Em 12 de outubro, a Anthropic explicou como bloqueia tentativas de extrair o raciocínio oculto do Claude para treinar outros modelos. Segundo a empresa, após a implementação de novos classificadores, o volume de raciocínio extraído caiu de 10 a 100 vezes; as medidas também afetam algumas solicitações legítimas.
Função da imagem: capa — ideia central
Seção: 
Tema visual: Fotografia documental em close-up de uma API segura de inferência de IA representada b
© jsonscraper · ilustração gerada por IA

A destilação permite treinar um modelo menor com as respostas de um sistema mais poderoso. A Anthropic considera que os registros completos do raciocínio que o Claude gera antes da resposta final são especialmente valiosos para esse fim. Em testes iniciais da empresa, um modelo treinado com transcrições completas do Claude Opus 4.8 obteve 80,4% no SWE-bench Verified; com versões resumidas, o resultado foi de 71,8%. Esses números se referem a um teste e experimento específicos da Anthropic, não a uma avaliação universal da qualidade dos modelos.

A proteção abrange várias formas de extração

A primeira camada consiste em reduzir o raciocínio divulgado. Segundo a Anthropic, depois da adoção dessa medida, as tentativas se intensificaram: as solicitações passaram a exigir diretamente a exposição da cadeia de raciocínio oculta, e depois começaram a usar redes de intermediários e muitas contas falsas. A empresa afirma que uma dessas redes controlava mais de 20 mil contas ao mesmo tempo.

As novas medidas controlam para onde os trechos protegidos do raciocínio podem ser transferidos. A Anthropic enumera a transferência entre conversas, modelos e contas como formas de contornar proteções isoladas. Segundo a empresa, um classificador em duas etapas agora detecta todas as técnicas de destilação descritas em seu relatório de setembro nas mais poderosas modelos disponíveis ao público.

A Anthropic mede o efeito pelo número de tokens de raciocínio que os responsáveis pela destilação conseguiram extrair especificamente em sua plataforma. Após a implementação do classificador, esse indicador ficou de 10 a 100 vezes abaixo do nível anterior; em alguns dias, o volume foi pequeno demais para ser medido. A empresa também informou que bloqueou dezenas de milhares de contas relacionadas à destilação. Esses dados refletem a telemetria da própria Anthropic, não o volume total de extração por meio de outras nuvens e provedores de inferência.

O que muda para quem desenvolve

A proteção já afetou algumas integrações legítimas. A Anthropic diz que o formato de raciocínio mantido exigiu atualizações de parte dos desenvolvedores, e que os classificadores identificam ou bloqueiam por engano solicitações inofensivas em menos de 0,1% dos casos. Desde 24 de setembro, a empresa cobra por solicitações interrompidas antes da geração da resposta em categorias com essa taxa declarada de falsos positivos, incluindo a destilação.

Na prática, as equipes que usam a API devem verificar, após as mudanças no processamento do raciocínio, quais campos da resposta o aplicativo lê e armazena e como ele lida com uma recusa ou um bloqueio antes da geração. Também convém considerar que uma solicitação bloqueada e cobrada pode gerar custos sem produzir uma resposta útil. Isso é especialmente importante em repetições automáticas: repetir a mesma solicitação não corrige a classificação e pode aumentar os gastos.

Na descrição das novas medidas da Anthropic, a empresa reconhece que o sistema ainda faz parte de uma disputa com os atacantes: não sabe por quanto tempo a redução alcançada vai durar e ainda não observou uma tentativa extremamente persistente de contornar a proteção atualizada. A mudança prática mais concreta já ocorreu: os desenvolvedores precisam levar em conta o processamento atualizado do raciocínio, a possibilidade de bloqueios raros e a cobrança de algumas solicitações rejeitadas.

People

No people listed for this article yet.

Keep readingSingapura e Google DeepMind desenvolvem IA para detetar conversas fraudulentas no telemóvel
Read the next article

Transforme o que lê numa integração funcional

Explore as APIs de dados sociais da jsonscraper, teste pedidos e crie o seu próximo fluxo de trabalho.

Explorar APIs