Michael Johnson2026年10月16日、CloudflareはVerified Botsを継続的に評価する仕組みを発表しました。観測されたトラフィックがrobots.txtのルールに従っているか、またHTTP 429の応答後にボットがリクエスト頻度を下げるかを評価します。同社はこの手法を、ボットの身元確認に加えて行動を検証するものと説明しています。
Cloudflareの発表によると、サイトの設定した希望に繰り返し従わない場合、ボットの信頼度が下がる可能性があり、継続してルールを守れば上がる可能性があります。単発の違反は文脈に沿って評価されます。同社は、個別の事例ではなく、継続的な行動パターンを評価すると説明しています。
サイトのルールをどう評価するか
robots.txtは、サイト所有者の希望を示すシグナルの一つです。この仕組みは、観測されたボットのトラフィックをファイルの内容と照合します。HTTP 429（「Too Many Requests」）は、クライアントにリクエスト頻度を下げるよう伝える応答です。Cloudflareは、ボットが速度を落とすか、リクエストを一時停止するか、従来の頻度でアクセスを続けるかを評価します。
サイト運営者が実務上取り組めるのは、robots.txtを最新の状態に保ち、適切なリクエスト頻度制限を設定し、HTTP 429の後のクライアントの挙動をログで確認することです。こうした対策は、Cloudflareのツールを利用しているかどうかにかかわらず、トラフィックの制御に役立ちます。
現在利用できるもの
Cloudflareによると、同社はすでに社内でこの仕組みを利用し、Verified Botsがサイトの希望に従っているかを評価しています。次の段階では顧客にも提供し、サイト所有者がVerified Botsのトラフィックをどう処理するか決める際に使う信頼度のしきい値を選べるようにする予定です。また、Cloudflare Radarで評価を公開し、考慮するシグナルを増やす計画もあります。
つまり、今回の発表は新たな制御段階を示すものであり、すべての顧客がすでに利用できる設定ではありません。サイト運営者にとって重要な変化は評価の原則です。ボットの身元確認に加え、公開されたルールに従っているか、リクエスト制限にどう対応するかを観察します。