jsonscraper

Cloudflare avaliará Verified Bots pelo respeito às regras dos sites

O sistema considera o cumprimento de robots.txt e a reação ao HTTP 429. A Cloudflare já o utiliza internamente e planeja oferecer aos clientes, posteriormente, um limite de confiança para gerenciar o tráfego.

Política editorial Comunique um erro

Em 16 de outubro de 2026, a Cloudflare apresentou um sistema de avaliação contínua de Verified Bots. Ele considera se o tráfego observado está de acordo com as regras de robots.txt e se os bots reduzem a frequência das solicitações após uma resposta HTTP 429. A empresa descreve a abordagem como uma verificação de comportamento que complementa a confirmação da identidade do bot.

Artigo: Cloudflare avaliará Verified Bots pelo respeito às regras dos sites
Resumo: Em 16 de outubro, a Cloudflare apresentou um sistema de avaliação contínua de Verified Bots. Ele considera o cumprimento de robots.txt e a reação ao HTTP 429; a empresa já o utiliza internamente e planeja disponibilizá-lo aos clientes mais adiante.
Função da imagem: capa — a ideia central
Seção: 
Tema visual: Ilustração editorial de uma tela de monitoramento de servidor web com um evento HTTP 429 de limitação de taxa claramente visível, ao lado de um impresso
© jsonscraper · ilustração gerada por IA

O anúncio da Cloudflare afirma que casos repetidos de desrespeito às preferências do site podem reduzir o nível de confiança de um bot, enquanto o cumprimento consistente das regras pode elevá-lo. O sistema considera as violações isoladas em contexto: a Cloudflare diz avaliar padrões persistentes de comportamento, e não episódios individuais.

Como as regras do site são consideradas

O arquivo robots.txt é um dos sinais das preferências do proprietário do site: o sistema compara com ele o tráfego observado do bot. O HTTP 429 («Too Many Requests») informa ao cliente que é necessário reduzir a frequência das solicitações; a Cloudflare considera se o bot desacelera, pausa as solicitações ou continua acessando na mesma velocidade.

Para os operadores de sites, uma medida prática é manter o robots.txt atualizado, definir limites adequados para a frequência de solicitações e verificar nos registros como os clientes se comportam após um HTTP 429. Essas medidas ajudam a controlar o tráfego, independentemente de o site usar ferramentas da Cloudflare.

O que está disponível agora

A Cloudflare informa que já usa o sistema internamente para avaliar se os Verified Bots respeitam as preferências. A próxima etapa é disponibilizá-lo aos clientes; então, os proprietários de sites poderão escolher um limite de confiança usado para decidir como tratar o tráfego de Verified Bots. A empresa também planeja publicar as avaliações no Cloudflare Radar e ampliar o conjunto de sinais considerados.

Assim, o anúncio descreve uma nova etapa de controle, e não uma configuração já disponível para todos os clientes. Para os operadores de sites, a mudança importante está no princípio de avaliação: a identidade confirmada do bot passa a ser complementada pela observação de como ele segue as regras publicadas e reage à limitação de solicitações.

People

No people listed for this article yet.

Keep readingGoogle financiará una red de 560 estaciones meteorológicas escolares para pronósticos con IA en Irlanda
Read the next article

Transforme o que lê numa integração funcional

Explore as APIs de dados sociais da jsonscraper, teste pedidos e crie o seu próximo fluxo de trabalho.

Explorar APIs