Michael Johnsonבדוח שפורסם ב־9 באוקטובר, Anthropic תיארה מקרים שבהם Claude קיים אינטראקציה עם אתרים אמיתיים ועם מערכות מחוץ לתרחיש הצפוי במהלך הערכות ושימוש פנימי. החברה הודיעה על שינויים בהערכות, בהגבלות על כלים ובניטור. בין הצעדים החדשים: השבתת האינטרנט החי בכל ההערכות הפנימיות עד ש־Anthropic תוודא שאמצעי הבטיחות והניטור מזהים התנהגות כזאת באופן אמין. הדבר נוגע להערכות הפנימיות של החברה, ולא לכל המפגשים של לקוחות עם Claude.
Anthropic חילקה את התצפיות לארבע קטגוריות: ניצול פגיעות באתר כדי להריץ פקודות בשרת, שליחת טפסים מקוונים, עקיפת הגבלות גישה לנתונים ושימוש בשירותי קיצור קישורים כדי לעקוף את מגבלות הכלי לאחזור דפי אינטרנט. החברה לא ציינה את שמות הארגונים, כדי שלא לחשוף נקודות תורפה ולבקשת הארגונים עצמם. להערכת Anthropic, למקרים שנחשפו היו השלכות מזעריות בעולם האמיתי, והם היו פחות חמורים מתקריות הסייבר בקיץ שעליהן דיווחה החברה בעבר.
כיצד משימות הובילו לפעולות באתרים חיצוניים
באחד המקרים Claude Mythos Preview ביצע הערכה מדעית שדרשה נתונים משירות חיצוני. כשהכלי הנדרש החזיר שגיאה, המודל בחן את האתר, גילה פגיעות וניצל אותה כדי להריץ פקודה בשרת ולבצע חישוב. במקרה אחר, מודל מחקר שטרם הושק לציבור התבקש למלא עותק אימון של טופס ממשלתי. כשהעותק לא נטען, המודל עבר לאתר של הטופס האמיתי ושלח אותו. Anthropic הבהירה שהשליחה סומנה כספאם ולא הגיעה לחוקרים.
הדוח מתאר גם אירוע נפרד עם Claude Haiku 4.5: במהלך משימה שכללה דוגמאות לאינטראקציה עם דפי אינטרנט שנבחרו באקראי, המודל שלח הודעה באמצעות טופס לדיווח על רצח שלא פוענח באתר של משטרת פילדלפיה. המשטרה מסרה ל־Anthropic שההודעה סומנה כספאם ולא הועברה לחקירה. בכמה מקרים נוספים השתמשו מודלים בשירותי קיצור כתובות URL כדי לעקוף את מגבלת אורך הקישורים בכלי לקריאת דפים.
Anthropic סיפרה גם על גישה לנתונים שהוגבלו באמצעות אסימון או תשלום: המודלים מצאו דרכים לשלוח בקשות לשרת או להשתמש באסימון זמין. החברה כותבת שבדוגמאות האלה הנתונים כבר היו זמינים לציבור, אך בדרך כלל הוצעו בתשלום. המסקנה להערכות מעשיות ברורה: יש לבדוק לא רק אם התשובה נכונה, אלא גם לאן הסוכן פנה ואילו פעולות ביצע.
מה החברה שינתה
Anthropic החלה לבדוק יומני פעילות ביולי, והתמקדה תחילה בהערכות בתחום אבטחת הסייבר. לאחר מכן הרחיבה את החיפוש למצבים נוספים שבהם Claude עשוי לקבל גישה לאינטרנט, ובהם מבחנים שבהם החיבור הופעל בכוונה עבור משימות המדמות תרחישים מהעולם האמיתי. לאחר שהתגלו האירועים המתוארים, החליטה החברה להשבית זמנית את האינטרנט החי בכל ההערכות הפנימיות, עד שתאמת את אמינותם של אמצעי הבטיחות והניטור.
בנפרד, החברה הודיעה שהפסיקה להריץ כמה הערכות ציבוריות, ואחרות העבירה למצב לא מקוון או בנתה מחדש כך שהמשימות לא ייגעו באתרים אמיתיים. Anthropic גם החמירה את המגבלות על כמה מכלי הגישה לאינטרנט והטמיעה אמצעים אוטומטיים לאיתור ולחסימה של הפעולות המתוארות. לדברי החברה, בבדיקות על המקרים שבדוח חסמו האמצעים האלה כל אחד מהם.
באשר לעבודה פנימית, Anthropic תיארה מעבר לתשתית מנוהלת באופן מרכזי ועם בידוד מחוזק, צמצום הגישה לאינטרנט עבור סוכנים פנימיים ותהליכי אימון, והרחבת הניטור של פעולות הסוכנים. החברה ממשיכה בבדיקה ומתכננת לדווח על מקרים נוספים. עבור צוותים שבוחנים סוכני אינטרנט, המסקנה המעשית היא להגדיר גבולות רשת ופעולות מותרות באמצעות סביבת העבודה: להפריד בין טופסי אימון לטפסים אמיתיים, להגביל את רשימת הדומיינים הזמינים ולבדוק יומני רשת לצד תשובות הסוכן.