Michael JohnsonCloudflare esitteli 16. lokakuuta 2026 jatkuvan Verified Bots -arviointijärjestelmän. Se arvioi, noudattaako havaittu liikenne robots.txt-tiedoston sääntöjä ja vähentävätkö botit pyyntöjensä määrää HTTP 429 -vastauksen jälkeen. Yhtiö kuvaa lähestymistapaa käyttäytymisen arvioinniksi botin tunnistamisen lisäksi.
Cloudflaren ilmoituksen mukaan toistuvat sivuston asettamien toiveiden vastaiset tapaukset voivat heikentää botin luottamustasoa, kun taas sääntöjen johdonmukainen noudattaminen voi nostaa sitä. Järjestelmä tarkastelee yksittäisiä rikkomuksia asiayhteydessään: Cloudflare kertoo arvioivansa pitkäaikaisia käyttäytymismalleja yksittäisten tapausten sijaan.
Miten sivuston sääntöjä huomioidaan
robots.txt-tiedosto on yksi sivuston omistajan toiveita ilmaiseva signaali: järjestelmä vertaa botin havaittua liikennettä siihen. HTTP 429 (”Too Many Requests”) ilmoittaa asiakkaalle, että sen on vähennettävä pyyntötahtia. Cloudflare tarkastelee, hidastaako botti tahtia, keskeyttääkö se pyynnöt vai jatkaako se entisellä nopeudella.
Sivustojen ylläpitäjien käytännön toimia ovat robots.txt-tiedoston pitäminen ajan tasalla, sopivien pyyntötahtirajoitusten asettaminen ja asiakkaiden HTTP 429 -vastauksen jälkeisen toiminnan tarkistaminen lokeista. Näillä toimilla voi hallita liikennettä riippumatta siitä, käyttääkö sivusto Cloudflaren työkaluja.
Mitä on saatavilla nyt
Cloudflare kertoo käyttävänsä järjestelmää jo sisäisesti Verified Bots -bottien sääntöjen noudattamisen arviointiin. Seuraavaksi järjestelmä on tarkoitus tuoda asiakkaiden saataville. Tällöin sivustojen omistajat voivat valita luottamuskynnyksen, jota käytetään päätettäessä, miten Verified Bots -liikennettä käsitellään. Yhtiö aikoo myös julkaista arvioita Cloudflare Radarissa ja laajentaa huomioitavien signaalien joukkoa.
Ilmoitus siis kuvaa uutta valvontavaihetta, ei asetusta, joka olisi jo kaikkien asiakkaiden käytettävissä. Sivustojen ylläpitäjille keskeinen muutos on arviointiperiaate: botin tunnistetun identiteetin lisäksi seurataan, miten se noudattaa julkaistuja sääntöjä ja reagoi pyyntöjen rajoittamiseen.