Michael Johnson16 октября 2026 года Cloudflare представила систему непрерывной оценки Verified Bots. Она учитывает, соответствует ли наблюдаемый трафик правилам robots.txt и снижают ли боты частоту запросов после ответа HTTP 429. Компания описывает подход как проверку поведения в дополнение к подтверждению личности бота.
В анонсе Cloudflare сказано, что повторяющиеся случаи несоблюдения предпочтений сайта могут понижать уровень доверия бота, а устойчивое соблюдение правил — повышать его. Одиночные нарушения система рассматривает в контексте: Cloudflare пишет, что оценивает устойчивые модели поведения, а не отдельные эпизоды.
Как учитываются правила сайта
Файл robots.txt — один из сигналов предпочтений владельца сайта: система сопоставляет с ним наблюдаемый трафик бота. HTTP 429 («Слишком много запросов») сообщает клиенту о необходимости уменьшить частоту обращений; Cloudflare учитывает, замедляется ли бот, приостанавливает ли запросы или продолжает обращаться с прежней скоростью.
Для операторов сайтов практический шаг — поддерживать актуальный robots.txt, задавать подходящие ограничения частоты запросов и проверять журналы на поведение клиентов после HTTP 429. Эти меры помогают контролировать трафик независимо от того, использует ли сайт инструменты Cloudflare.
Что доступно сейчас
Cloudflare сообщает, что уже применяет систему внутри компании, чтобы оценивать соблюдение предпочтений Verified Bots. Следующий этап — предоставление её клиентам; тогда владельцы сайтов смогут выбирать порог доверия, используемый при решении, как обрабатывать трафик Verified Bots. Компания также планирует публиковать оценки в Cloudflare Radar и расширять набор учитываемых сигналов.
Таким образом, объявление описывает новую ступень контроля, а не уже доступную всем клиентам настройку. Для операторов сайтов важное изменение — принцип оценки: подтверждённая идентичность бота дополняется наблюдением за тем, как он следует опубликованным правилам и реагирует на ограничение запросов.