Michael JohnsonOp 16 oktober 2026 introduceerde Cloudflare een systeem voor doorlopende beoordeling van Verified Bots. Het houdt rekening met de vraag of waargenomen verkeer voldoet aan de regels in robots.txt en of bots hun verzoekfrequentie verlagen na een HTTP 429-antwoord. Het bedrijf beschrijft deze aanpak als een gedragscontrole die een aanvulling vormt op het bevestigen van de identiteit van een bot.
In de aankondiging van Cloudflare staat dat herhaalde gevallen waarin sitevoorkeuren niet worden nageleefd het vertrouwensniveau van een bot kunnen verlagen, terwijl consequente naleving het kan verhogen. Eenmalige overtredingen beoordeelt het systeem in context: Cloudflare schrijft dat het blijvende gedragspatronen beoordeelt, niet afzonderlijke incidenten.
Hoe rekening wordt gehouden met sitevoorkeuren
Het bestand robots.txt is een van de signalen van de voorkeuren van de site-eigenaar: het systeem vergelijkt het waargenomen botverkeer ermee. HTTP 429 («Too Many Requests») laat een client weten dat deze minder vaak verzoeken moet doen; Cloudflare houdt bij of de bot vertraagt, verzoeken pauzeert of in hetzelfde tempo doorgaat.
Een praktische stap voor sitebeheerders is om robots.txt actueel te houden, passende limieten voor de verzoekfrequentie in te stellen en logboeken te controleren op het gedrag van clients na HTTP 429. Deze maatregelen helpen het verkeer te beheren, ongeacht of de site tools van Cloudflare gebruikt.
Wat er nu beschikbaar is
Cloudflare meldt dat het het systeem al intern gebruikt om te beoordelen of Verified Bots sitevoorkeuren naleven. De volgende stap is om het aan klanten beschikbaar te stellen; site-eigenaren kunnen dan een vertrouwensdrempel kiezen die wordt gebruikt om te bepalen hoe Verified Bot-verkeer wordt afgehandeld. Het bedrijf is ook van plan beoordelingen te publiceren op Cloudflare Radar en het aantal signalen waarop de beoordeling berust uit te breiden.
De aankondiging beschrijft dus een nieuwe controlelaag, niet een instelling die al voor alle klanten beschikbaar is. Voor sitebeheerders is de belangrijkste verandering het beoordelingsprincipe: een bevestigde botidentiteit wordt aangevuld met observaties van hoe de bot gepubliceerde regels volgt en reageert op verzoekbeperkingen.