Michael Johnsonב־16 באוקטובר 2026 הציגה Cloudflare מערכת להערכה רציפה של Verified Bots. היא בוחנת אם התעבורה שנצפתה עומדת בכללי robots.txt ואם הבוטים מפחיתים את קצב הבקשות לאחר תגובת HTTP 429. החברה מתארת את הגישה כבדיקת התנהגות המשלימה את אימות זהות הבוט.
לפי ההכרזה של Cloudflare, מקרים חוזרים של אי־ציות להעדפות האתר עשויים להוריד את רמת האמון בבוט, ואילו ציות עקבי עשוי להעלות אותה. המערכת בוחנת הפרות בודדות בהקשרן: Cloudflare כותבת שהיא מעריכה דפוסי התנהגות עקביים ולא אירועים מבודדים.
כיצד נלקחים בחשבון כללי האתר
קובץ robots.txt הוא אחד הסימנים להעדפות של בעל האתר: המערכת משווה אליו את התעבורה שנצפתה מהבוט. HTTP 429 („יותר מדי בקשות”) מודיע ללקוח שעליו להפחית את קצב הפניות; Cloudflare בוחנת אם הבוט מאט, משהה בקשות או ממשיך לפנות באותו קצב.
הצעד המעשי למפעילי אתרים הוא לתחזק קובץ robots.txt עדכני, לקבוע מגבלות מתאימות על קצב הבקשות ולבדוק ביומנים כיצד לקוחות מתנהגים לאחר HTTP 429. הצעדים האלה מסייעים לשלוט בתעבורה, בין אם האתר משתמש בכלים של Cloudflare ובין אם לא.
מה זמין כעת
Cloudflare מדווחת שהיא כבר משתמשת במערכת בתוך החברה כדי להעריך אם Verified Bots מצייתים להעדפות. השלב הבא הוא להעמיד אותה לרשות הלקוחות; אז יוכלו בעלי אתרים לבחור סף אמון שישמש בהחלטה כיצד לטפל בתעבורת Verified Bots. החברה מתכננת גם לפרסם דירוגים ב־Cloudflare Radar ולהרחיב את מגוון האותות הנלקחים בחשבון.
כלומר, ההכרזה מתארת שלב חדש בבקרה, ולא הגדרה שכבר זמינה לכל הלקוחות. השינוי החשוב למפעילי אתרים הוא עקרון ההערכה: אימות זהות הבוט מתווסף למעקב אחר האופן שבו הוא מציית לכללים שפורסמו ומגיב להגבלת בקשות.