למה לא מספיק לסוכנים לקרוא טקסט: בנצ'מרק MKA בוחן עבודה עם שרטוטים וקבצים

האם סוכן בינה מלאכותית יכול להכין דוח הנדסי כשהמידע הדרוש מפוזר בין שרטוט, טבלה וקובץ PDF? זו בדיוק השאלה שבוחן בנצ'מרק MKA החדש: הוא מעריך לא תשובה בודדת על סמך תמונה, אלא מחזור עבודה מלא — מקריאת קבצים מורכבים מבחינה חזותית ועד ליצירת מסמך עצמאי. זהו הבדל חשוב למי שבוחר סוכן למשימות הכוללות מצגות, תרשימים, מפות או סריקות.

Google DeepMind הציגה את MKA ב־10 בנובמבר 2026, בשיתוף עם Artificial Analysis. הדוח הטכני מתאר 200 משימות מעשרה מגזרים ו־83 מקצועות. ממצא מרכזי להערכת מערכות: כשנשלל מהמודל כלי לצפייה בתמונות, איכות הביצועים שלו ב־MKA ירדה ומספר הצעדים של הסוכן עלה. במשימות שכללו צילומים ודימות רפואי, דרכים עקיפות המבוססות על תוכנה לא פיצו על אובדן יכולת הראייה.

על איזה פער MKA נועד לענות?

מבחנים רבים של עבודה עסקית מניחים שהמודל יוכל לחלץ טקסט מקבצים באמצעות סקריפט ולפתור את המשימה כמעט בלי ניתוח חזותי. לעומתם, מבחני תמונה נפרדים מסתיימים לעיתים קרובות בתשובה קצרה ואינם דורשים לשלב כמה מקורות או להגיש את התוצאה כקובץ עבודה. MKA מתמקד ברצף פעולות: לאתר פרטים בכמה קבצים, לשלב אותם, ליישם את כללי המשימה ולהגיש את התוצאה בפורמט הנדרש.

בכל משימה יש בין שניים ל־45 קובצי קלט. הם עשויים לכלול תוכניות מבנים, תרשימים חשמליים, צילומי רנטגן, מפות, תרשימים, טבלאות ומסמכי טקסט. ב־88% מהמשימות, הסוכן נדרש להכין או לשנות קובץ נפרד — למשל דוח PDF, מצגת, גיליון אלקטרוני או יישום אינטרנט. לפי תיאור המחברים, המרת החומרים לטקסט פשוט עלולה להשמיד מידע משמעותי: קנה מידה, מיקום במרחב, קווים וקשרים בין רכיבים.

איך מתבצעת ההערכה?

מומחים בתחומי הידע הרלוונטיים הכינו את המשימות, את תוצאות הייחוס ואת אמות המידה לבדיקה. בכל משימה יש בממוצע כ־71 קריטריונים. המחברים מציינים שבמשימות הכוללות קובץ פלט נפרד, הקריטריונים משוקללים כך ש־75% מוקדשים לדיוק עובדתי ו־25% לעיצוב חזותי. הציון הסופי מביא בחשבון את המשקלים של הקריטריונים השונים, ולכן נבדק מכלול חומרים מסוים ולא רק מידת הסבירות של הטקסט.

כל המודלים שהושוו הופעלו באותה סביבת סוכנים, Stirrup, עם אותם כלים ואותה מכסת משאבים. הסוכן יכול היה לפתוח קבצים, להריץ קוד ולחפש באינטרנט. הדוח הטכני מתאר מגבלות של עד 250 צעדים ועד שמונה שעות למשימה. מסמכים שהושלמו נבדקו בידי סוכן הערכה נפרד: הוא רינדֵר את הקבצים חזותית ויכול היה לבדוק באמצעות תוכנה, למשל, נוסחאות בגיליונות אלקטרוניים.

המחברים השוו את ציוני הבודק האוטומטי לציוני מומחים בתת־קבוצה של 50 משימות. ההסכמה בין ההחלטות לגבי הקריטריונים עמדה על 96.2%; המחקר מדווח גם על מקדם קאפה של כהן בשיעור 0.91. אלה תוצאות של בדיקת מידת ההסכמה בין הבודק למומחים בתת־הקבוצה הזאת.

מה הראה כיבוי יכולת הראייה?

המחברים ערכו ניסוי מבוקר עם Gemini 4 Carbon: הם הסירו את כלי הצפייה בתמונות והשוו את הביצועים ב־MKA. מדד Climb-WSR ירד בכ־5.9 נקודות אחוז, מספר הצעדים גדל פי 1.28 ונפח אסימוני הפלט גדל פי 1.40. המודל פנה לעיתים קרובות יותר לדרכים עקיפות המבוססות על תוכנה, בניסיון לשחזר מידע חזותי באמצעות עיבוד קבצים.

ההשפעה השתנתה לפי סוג הקלט. בשרטוטים נקיים, הדרכים העקיפות החזירו חלק מהאיכות, ואילו בצילומים ובדימות רפואי הן נכשלו, לפי המאמר. הדבר מסביר מדוע „המודל יודע לקרוא PDF” הוא קריטריון גס מדי להערכת סוכן עבודה: טקסט שחולץ עלול לאבד את הגאומטריה, את המיקום היחסי של האובייקטים ואת הסימנים החזותיים.

איך הושוו המודלים?

במחקר השתתפו Gemini 4 Carbon, Claude Fable 5.2, Claude Opus 5.5 ו־GPT-6 Astra. ציון האיכות הגבוה ביותר לפי Climb-WSR היה של Claude Fable 5.2 — 56.6%; התוצאה של Gemini 4 Carbon הייתה 54.3%. בסולם WSR הכללי, הציונים היו 73.3% ו־71.9%, בהתאמה. המחברים מדווחים ש־Carbon השתמש בפי 5.7 פחות אסימונים מ־Fable; הדוח הטכני מציין גם שעלות ה־API של Carbon הייתה נמוכה פי 6.3, בעוד שאיכות התוצאות נותרה בתוך טווח הרעש הסטטיסטי. ההשוואות האלה מתייחסות למשימות ולתנאים הספציפיים של MKA.

המחברים מגדירים את Climb-WSR כמדד המבוסס על קריטריונים קשים, שבהם מודלים מהדור הקודם לא הגיעו לתקרת הביצועים. המערכות המובילות קיבלו פחות מ־57% בסולם הזה. הדבר מצביע על מרחב לשיפור בעבודה רב־מודאלית. אי אפשר להחיל את המספרים ישירות על כל מקצוע או משימת מוצר: התוצאה תלויה בהרכב הקבצים, בדרישות ובכלים הזמינים.

מה מפתחים או רוכשים יכולים ללמוד?

MKA מציע תבנית מעשית להערכה עצמאית. במקום לשאול רק „איזה מודל עובד טוב יותר עם PDF?”, אפשר להרכיב משימות אמיתיות: קובצי קלט, מסמך פלט נדרש וקריטריונים לבדיקה. כדאי לכלול מקרים שבהם חשובים מיקום הרכיבים בתרשים, התאמה בין טבלה לטקסט ונכונות הקובץ שנוצר. לאחר מכן יש להשוות בין המערכות באותה סביבה.

במבחן כזה כדאי לשמור על שתי הערכות נפרדות: נכונות התוכן ואיכות התוצר. טבלה יכולה להכיל מספרים נכונים אך נוסחאות שגויות; דוח יכול להיות מעוצב היטב אך להחמיץ קשר בין שרטוט למפרט. אמות המידה של MKA מדגימות כיצד להגדיר דרישות מראש ולהפוך את התוצאה לניתנת לבדיקה, במקום להסתמך על הרושם הכללי מהתשובה.

מערך מלא של 200 משימות מיועד להערכה בפלטפורמה עצמאית; להיכרות עצמית פורסם מערך נפרד של עשר משימות הדגמה. החלוקה הזאת מאפשרת להשאיר את המבחן המרכזי סגור, ובו בזמן להעמיד לרשות חוקרים חומר ללימוד הפורמט. עבור צוות שבוחר סוכן, המסקנה העיקרית מעשית: בדקו לא רק חילוץ טקסט, אלא גם כיצד המערכת משתמשת במידע חזותי ליצירת תוצר עבודה סופי.