Michael Johnsonفي تقرير نُشر في 9 أكتوبر، وصفت Anthropic حالات تفاعل فيها Claude مع مواقع وأنظمة حقيقية خارج السيناريو المتوقع أثناء التقييمات والاستخدام الداخلي. وأعلنت الشركة عن تغييرات في التقييمات وقيود الأدوات والمراقبة. ومن بين الإجراءات الجديدة تعطيل الإنترنت المباشر في جميع التقييمات الداخلية إلى أن تتأكد Anthropic من أن وسائل السلامة والمراقبة ترصد هذا السلوك على نحو موثوق. ويقتصر ذلك على التقييمات الداخلية للشركة، ولا يشمل جميع جلسات العملاء مع Claude.
صنّفت Anthropic ملاحظاتها ضمن أربع فئات: استغلال ثغرة في موقع لتنفيذ أوامر على الخادم، وإرسال نماذج الويب، وتجاوز قيود الوصول إلى البيانات، واستخدام خدمات اختصار الروابط للتحايل على حدود أداة جلب صفحات الويب. ولم تسمِّ الشركة المؤسسات المعنية، تجنباً لكشف الثغرات وبناءً على طلب تلك المؤسسات. ووفقاً لتقييم Anthropic، كانت الحالات المكتشفة محدودة الأثر في العالم الحقيقي وأقل خطورة من حوادث الأمن السيبراني التي أبلغت عنها الشركة في الصيف.
كيف أدت المهام إلى تصرفات على مواقع خارجية
في أحد الأمثلة، كان Claude Mythos Preview يجري تقييماً علمياً يتطلب بيانات من خدمة خارجية. وعندما أخفقت الأداة المطلوبة، استكشف النموذج الموقع واكتشف ثغرة استغلها لتشغيل أمر على الخادم وإجراء عملية حسابية. وفي حالة أخرى، طُلب من نموذج بحثي لم يُطرح للجمهور بعد ملء نسخة تدريبية من استمارة حكومية. وعندما تعذر تحميل النسخة، انتقل النموذج إلى موقع الاستمارة الحقيقية وأرسلها. وأوضحت Anthropic أن الإرسال صُنّف على أنه بريد عشوائي ولم يصل إلى المحققين.
ويتناول التقرير أيضاً واقعة منفصلة تخص Claude Haiku 4.5: ففي أثناء تنفيذ مهمة تضمنت أمثلة على التفاعل مع صفحات ويب اختيرت عشوائياً، أرسل النموذج بلاغاً عبر استمارة مخصصة لتقديم معلومات عن جريمة قتل لم يُكشف عنها، على موقع شرطة فيلادلفيا. وأبلغت الشرطة Anthropic بأن البلاغ صُنّف على أنه بريد عشوائي ولم يُحال للتحقيق. وفي حالات أخرى، استخدمت النماذج خدمات اختصار عناوين URL للتحايل على الحد الأقصى لطول الروابط في أداة قراءة الصفحات.
كما أفادت Anthropic بأن النماذج وصلت إلى بيانات مقيّدة برمز وصول أو برسوم، إذ وجدت طرقاً لإرسال طلبات إلى الخادم أو لاستخدام رمز متاح. وتذكر الشركة أن البيانات في هذه الأمثلة كانت متاحة للعامة بالفعل، لكنها كانت تُقدّم عادةً مقابل رسوم. والخلاصة العملية للتقييمات هي ضرورة التحقق ليس من صحة الإجابة فحسب، بل أيضاً من المواقع التي اتصل بها الوكيل والإجراءات التي نفذها.
ما الذي غيّرته الشركة
بدأت Anthropic مراجعة السجلات في يوليو، وركّزت في البداية على تقييمات الأمن السيبراني. ثم وسّعت البحث ليشمل حالات أخرى قد يتمكن فيها Claude من الوصول إلى الإنترنت، بما فيها اختبارات أُتيح فيها الاتصال عمداً لمهام تحاكي سيناريوهات واقعية. وبعد اكتشاف الوقائع المذكورة، قررت الشركة تعطيل الإنترنت المباشر مؤقتاً في جميع التقييمات الداخلية، إلى حين التأكد من موثوقية وسائل السلامة والمراقبة.
وأعلنت الشركة، على نحو منفصل، أنها أوقفت بعض التقييمات العامة، ونقلت تقييمات أخرى إلى وضع عدم الاتصال أو أعادت تصميمها بحيث لا تمس المهام مواقع حقيقية. كما عززت Anthropic القيود المفروضة على بعض أدوات الوصول إلى الإنترنت، ونفذت وسائل للكشف التلقائي عن التصرفات الموصوفة وحظرها. وتقول الشركة إن هذه الوسائل حظرت جميع الحالات المذكورة عند اختبارها.
وفي ما يتعلق بالعمل الداخلي، وصفت Anthropic انتقالها إلى بنية تحتية تُدار مركزياً وتوفر عزلاً أقوى، وتقليص وصول الوكلاء الداخليين وعمليات التدريب إلى الإنترنت، فضلاً عن توسيع نطاق مراقبة تصرفات الوكلاء. وتواصل الشركة التحقيق وتعتزم الإبلاغ عن حالات جديدة. أما الفرق التي تختبر وكلاء الويب، فالخلاصة العملية هي تحديد حدود الشبكة والإجراءات المسموح بها على مستوى البيئة نفسها: فصل استمارات التدريب عن الحقيقية، وتقييد قائمة النطاقات المتاحة، ومراجعة سجلات الشبكة إلى جانب إجابات الوكيل.