Michael Johnsonفي 16 أكتوبر 2026، أعلنت Cloudflare نظامًا للتقييم المستمر للروبوتات الموثّقة. ويراعي النظام ما إذا كانت حركة المرور المرصودة تتوافق مع قواعد robots.txt وما إذا كانت الروبوتات تخفّض وتيرة الطلبات بعد تلقي استجابة HTTP 429. وتصف الشركة هذا النهج بأنه فحص للسلوك يكمّل التحقق من هوية الروبوت.
يذكر إعلان Cloudflare أن تكرار عدم احترام تفضيلات الموقع قد يخفض مستوى ثقة الروبوت، في حين يمكن للالتزام المستمر بالقواعد أن يرفعه. ويتعامل النظام مع المخالفات المنفردة ضمن سياقها؛ إذ تقول Cloudflare إنها تقيّم أنماط السلوك المستمرة، لا الوقائع المنعزلة.
كيف تُراعى قواعد الموقع
يُعد ملف robots.txt إحدى الإشارات إلى تفضيلات مالك الموقع؛ إذ يقارن النظام حركة مرور الروبوت المرصودة بما ينص عليه الملف. ويُبلغ رمز HTTP 429 («طلبات كثيرة جدًا») العميل بضرورة خفض وتيرة الطلبات؛ وتأخذ Cloudflare في الحسبان ما إذا كان الروبوت يبطئ طلباته أو يوقفها مؤقتًا أو يواصل إرسالها بالوتيرة نفسها.
من الخطوات العملية لمشغّلي المواقع تحديث ملف robots.txt، وضبط حدود مناسبة لمعدل الطلبات، ومراجعة السجلات لرصد سلوك العملاء بعد استجابة HTTP 429. وتساعد هذه الإجراءات على التحكم في حركة المرور سواء استخدم الموقع أدوات Cloudflare أم لا.
ما المتاح الآن
تقول Cloudflare إنها تستخدم النظام داخليًا بالفعل لتقييم مدى التزام الروبوتات الموثّقة بالتفضيلات. والمرحلة التالية هي إتاحته للعملاء؛ وعندها سيتمكن مالكو المواقع من اختيار عتبة الثقة المستخدمة عند تحديد كيفية التعامل مع حركة مرور الروبوتات الموثّقة. وتخطط الشركة أيضًا لنشر التقييمات على Cloudflare Radar وتوسيع مجموعة الإشارات التي يأخذها النظام في الحسبان.
وعليه، يصف الإعلان خطوة جديدة في آليات التحكم، لا إعدادًا متاحًا بالفعل لجميع العملاء. ويتمثل التغيير المهم لمشغّلي المواقع في مبدأ التقييم: إذ تُستكمل الهوية المؤكدة للروبوت بمراقبة مدى التزامه بالقواعد المنشورة واستجابته لتقييد الطلبات.