Michael Johnson16 жовтня 2026 року Cloudflare представила систему безперервного оцінювання Verified Bots. Вона враховує, чи відповідає спостережуваний трафік правилам robots.txt і чи зменшують боти частоту запитів після відповіді HTTP 429. Компанія описує цей підхід як перевірку поведінки на додаток до підтвердження особи бота.
У анонсі Cloudflare зазначено, що повторні випадки недотримання вподобань сайту можуть знижувати рівень довіри до бота, а послідовне дотримання правил — підвищувати його. Поодинокі порушення система розглядає в контексті: Cloudflare пише, що оцінює сталі моделі поведінки, а не окремі випадки.
Як враховуються правила сайту
Файл robots.txt — один із сигналів щодо вподобань власника сайту: система порівнює з ним спостережуваний трафік бота. HTTP 429 («Забагато запитів») повідомляє клієнту про необхідність зменшити частоту звернень; Cloudflare враховує, чи бот сповільнюється, призупиняє запити або продовжує звертатися з тією самою швидкістю.
Практичний крок для операторів сайтів — підтримувати актуальний robots.txt, установлювати відповідні обмеження частоти запитів і перевіряти журнали на поведінку клієнтів після HTTP 429. Ці заходи допомагають контролювати трафік незалежно від того, чи використовує сайт інструменти Cloudflare.
Що доступно зараз
Cloudflare повідомляє, що вже застосовує систему всередині компанії, щоб оцінювати дотримання вподобань Verified Bots. Наступний етап — надати її клієнтам; тоді власники сайтів зможуть вибирати поріг довіри, який використовуватиметься для ухвалення рішень щодо обробки трафіку Verified Bots. Компанія також планує публікувати оцінки в Cloudflare Radar і розширювати набір сигналів, що враховуються.
Отже, в анонсі йдеться про новий рівень контролю, а не про налаштування, уже доступне всім клієнтам. Для операторів сайтів важливою зміною є принцип оцінювання: до підтвердженої особи бота додається спостереження за тим, як він дотримується опублікованих правил і реагує на обмеження запитів.