Michael JohnsonAm 16. Oktober 2026 stellte Cloudflare ein System zur kontinuierlichen Bewertung von Verified Bots vor. Es berücksichtigt, ob der beobachtete Datenverkehr den Regeln in robots.txt entspricht und ob Bots ihre Anfragerate nach einer HTTP-429-Antwort senken. Das Unternehmen beschreibt den Ansatz als Verhaltensprüfung zusätzlich zur Bestätigung der Bot-Identität.
In der Ankündigung von Cloudflare heißt es, wiederholte Verstöße gegen die Präferenzen einer Website könnten das Vertrauensniveau eines Bots senken, während die konsequente Einhaltung der Regeln es erhöhen könne. Einzelne Verstöße betrachtet das System im Kontext: Cloudflare zufolge bewertet es anhaltende Verhaltensmuster und nicht einzelne Vorfälle.
Wie Website-Regeln berücksichtigt werden
Die Datei robots.txt ist eines der Signale für die Präferenzen der Website-Betreiber: Das System gleicht den beobachteten Bot-Datenverkehr mit ihr ab. HTTP 429 („Too Many Requests“) teilt einem Client mit, dass er seine Anfragerate senken muss. Cloudflare berücksichtigt, ob ein Bot langsamer wird, Anfragen pausiert oder weiterhin mit unveränderter Geschwindigkeit Anfragen stellt.
Für Website-Betreiber besteht ein praktischer Schritt darin, die Datei robots.txt aktuell zu halten, geeignete Ratenbegrenzungen festzulegen und Protokolle auf das Verhalten von Clients nach HTTP 429 zu prüfen. Diese Maßnahmen helfen, den Datenverkehr zu kontrollieren – unabhängig davon, ob die Website Tools von Cloudflare verwendet.
Was derzeit verfügbar ist
Cloudflare teilt mit, dass das Unternehmen das System bereits intern einsetzt, um zu bewerten, ob Verified Bots die Präferenzen einhalten. Als nächster Schritt soll es Kunden zur Verfügung gestellt werden. Website-Betreiber können dann einen Vertrauensschwellenwert auswählen, der bei der Entscheidung darüber verwendet wird, wie Verified-Bot-Datenverkehr verarbeitet wird. Außerdem plant das Unternehmen, Bewertungen auf Cloudflare Radar zu veröffentlichen und die berücksichtigten Signale zu erweitern.
Die Ankündigung beschreibt somit eine neue Kontrollstufe und keine bereits allen Kunden verfügbare Einstellung. Für Website-Betreiber ist das wichtigste neue Prinzip die Bewertungsmethode: Zur bestätigten Identität eines Bots kommt die Beobachtung hinzu, wie er veröffentlichten Regeln folgt und auf eine Begrenzung der Anfragen reagiert.