Michael JohnsonDen 16 oktober 2026 presenterade Cloudflare ett system för kontinuerlig bedömning av Verified Bots. Det tar hänsyn till om observerad trafik följer reglerna i robots.txt och om botar minskar sin anropsfrekvens efter ett HTTP 429-svar. Företaget beskriver metoden som en beteendekontroll som kompletterar verifieringen av botens identitet.
I Cloudflares tillkännagivande står det att upprepade fall av att en webbplats önskemål ignoreras kan sänka en bots förtroendenivå, medan konsekvent efterlevnad kan höja den. Enstaka överträdelser bedöms i sitt sammanhang: Cloudflare skriver att systemet identifierar långvariga beteendemönster, inte enskilda händelser.
Så vägs webbplatsens regler in
Filen robots.txt är en av signalerna om webbplatsägarens önskemål: systemet jämför observerad bottrafik med filens regler. HTTP 429 (”Too Many Requests”) talar om för klienten att minska antalet förfrågningar. Cloudflare tar hänsyn till om boten saktar ned, pausar sina förfrågningar eller fortsätter i samma takt.
Ett praktiskt steg för webbplatsoperatörer är att hålla robots.txt uppdaterad, ange lämpliga begränsningar för förfrågningsfrekvensen och granska loggarna för att se hur klienter beter sig efter HTTP 429. Åtgärderna hjälper till att hantera trafiken oavsett om webbplatsen använder Cloudflares verktyg.
Det här är tillgängligt nu
Cloudflare uppger att företaget redan använder systemet internt för att bedöma om Verified Bots följer webbplatsägarnas önskemål. Nästa steg är att göra det tillgängligt för kunderna. Då kan webbplatsägare välja en förtroendetröskel som används för att avgöra hur trafiken från Verified Bots ska hanteras. Företaget planerar också att publicera bedömningar i Cloudflare Radar och utöka mängden signaler som vägs in.
Tillkännagivandet beskriver alltså ett nytt kontrollsteg, inte en inställning som redan är tillgänglig för alla kunder. Den viktiga förändringen för webbplatsoperatörer är bedömningsprincipen: verifierad botidentitet kompletteras med observationer av hur boten följer publicerade regler och reagerar på begränsningar av förfrågningar.