Michael JohnsonIl 16 ottobre 2026 Cloudflare ha presentato un sistema di valutazione continua dei Verified Bots. Il sistema considera se il traffico osservato rispetta le regole di robots.txt e se i bot riducono la frequenza delle richieste dopo una risposta HTTP 429. L’azienda descrive questo approccio come una verifica del comportamento che affianca la conferma dell’identità del bot.
Nell’annuncio di Cloudflare si afferma che ripetuti casi di mancato rispetto delle preferenze del sito possono ridurre il livello di affidabilità di un bot, mentre il rispetto costante delle regole può aumentarlo. Il sistema valuta le violazioni isolate nel loro contesto: Cloudflare spiega di esaminare modelli di comportamento persistenti, non singoli episodi.
Come vengono considerate le regole del sito
Il file robots.txt è uno dei segnali delle preferenze del proprietario del sito: il sistema confronta con esso il traffico osservato del bot. HTTP 429 («Troppe richieste») comunica al client la necessità di ridurre la frequenza delle richieste; Cloudflare considera se il bot rallenta, sospende le richieste o continua a inviarle alla stessa velocità.
Per chi gestisce un sito, i passi pratici consistono nel mantenere aggiornato robots.txt, impostare limiti adeguati alla frequenza delle richieste e controllare i log per verificare il comportamento dei client dopo una risposta HTTP 429. Queste misure aiutano a controllare il traffico indipendentemente dal fatto che il sito utilizzi o meno gli strumenti di Cloudflare.
Cosa è disponibile ora
Cloudflare dichiara di utilizzare già il sistema internamente per valutare il rispetto delle preferenze da parte dei Verified Bots. La fase successiva prevede di metterlo a disposizione dei clienti, che potranno così scegliere una soglia di affidabilità da usare per decidere come gestire il traffico dei Verified Bots. L’azienda prevede inoltre di pubblicare le valutazioni su Cloudflare Radar e di ampliare l’insieme dei segnali considerati.
L’annuncio descrive quindi un nuovo livello di controllo, non un’impostazione già disponibile per tutti i clienti. Per chi gestisce un sito, il cambiamento importante riguarda il principio di valutazione: all’identità verificata del bot si affianca l’osservazione di come rispetta le regole pubblicate e reagisce ai limiti sulle richieste.