لم تعد قراءة النص كافية للوكلاء: معيار MKA يختبر التعامل مع المخططات والملفات

هل يستطيع وكيل ذكاء اصطناعي إعداد تقرير هندسي إذا كانت المعلومات المطلوبة موزعة بين مخطط وجدول وملف PDF؟ هذا تحديداً ما يختبره معيار MKA الجديد: فهو لا يقيّم إجابة منفردة عن صورة، بل دورة عمل كاملة، من قراءة ملفات معقدة بصرياً إلى إنشاء مستند مستقل. وهذا تمييز مفيد لمن يختار وكيلاً لمهام تتضمن عروضاً تقديمية أو مخططات أو خرائط أو مستندات ممسوحة ضوئياً.

قدمت Google DeepMind معيار MKA في 10 نوفمبر 2026 بالتعاون مع Artificial Analysis. ويتناول التقرير التقني 200 مهمة من عشرة قطاعات و83 مهنة. ومن النتائج الأساسية لتقييم الأنظمة أن إزالة أداة عرض الصور من النموذج خفّضت جودة أدائه في MKA وزادت عدد خطوات الوكيل. وفي المهام التي تستخدم صوراً فوتوغرافية وصوراً طبية، لم تعوّض الحلول البرمجية الالتفافية فقدان القدرة البصرية.

ما الفجوة التي يسدها MKA؟

تسمح اختبارات كثيرة للعمل المكتبي للنموذج باستخراج النص من الملفات باستخدام نص برمجي وحل المهمة من دون تحليل بصري يُذكر. وعلى النقيض، تنتهي اختبارات الصور المنفردة غالباً بإجابة قصيرة، ولا تتطلب ربط مصادر متعددة أو إعداد النتيجة في صورة ملف عمل. يتمحور MKA حول سلسلة من الخطوات: العثور على عناصر في ملفات عدة، ودمجها، وتطبيق قواعد المهمة، وتسليم النتيجة بالتنسيق المطلوب.

يتراوح عدد الملفات المدخلة في كل مهمة بين ملفين و45 ملفاً. وقد تشمل مخططات مبانٍ، ومخططات كهربائية، وصوراً شعاعية، وخرائط، ورسومًا بيانية، وجداول، ومستندات نصية. وفي 88% من المهام، يتعين على الوكيل إعداد ملف منفصل أو تعديله، مثل تقرير PDF أو عرض تقديمي أو جدول إلكتروني أو تطبيق ويب. ويذكر المؤلفون أن تحويل المواد إلى نص بسيط قد يؤدي إلى فقدان معلومات مهمة، مثل المقياس والمواضع المكانية والخطوط والروابط بين العناصر.

كيف يجري التقييم؟

أعدّ متخصصون في المجالات المعنية المهام والنتائج المرجعية ومعايير التقييم. ويبلغ متوسط عدد المعايير لكل مهمة نحو 71 معياراً. ويشير المؤلفون إلى أن معايير المهام التي تتطلب ملفاً منفصلاً للنتيجة موزعة بوزن 75% للدقة الواقعية و25% للتنسيق البصري. وتراعي النتيجة النهائية أوزان المعايير الفردية، لذا يجري تقييم حزمة المواد المحددة، لا مدى معقولية النص فحسب.

شُغّلت جميع النماذج المقارنة في بيئة الوكلاء نفسها، Stirrup، وبالمجموعة ذاتها من الأدوات والميزانية. وتمكن الوكيل من فتح الملفات وتشغيل التعليمات البرمجية والبحث على الإنترنت. ويحدد التقرير التقني سقفاً يصل إلى 250 خطوة وثماني ساعات لكل مهمة. كما قيّم وكيل منفصل النتائج في صورة مستندات جاهزة، إذ عرض الملفات بصرياً وتمكن من فحصها برمجياً، مثل التحقق من صيغ الجداول.

قارن المؤلفون تقييمات أداة التحقق الآلية بتقييمات المتخصصين على مجموعة فرعية تضم 50 مهمة. وبلغ التوافق بين الأحكام على مستوى المعايير 96.2%؛ كما أوردت الدراسة معامل كابا لكوهين بلغ 0.91. وهذه نتيجة لاختبار مدى اتفاق أداة التقييم مع الخبراء ضمن هذه المجموعة الفرعية.

ماذا أظهر تعطيل القدرة البصرية؟

أجرى المؤلفون اختباراً مضبوطاً باستخدام Gemini 4 Carbon، فأزالوا أداة عرض الصور وقارنوا الأداء في MKA. وانخفض مؤشر Climb-WSR بنحو 5.9 نقاط مئوية، وزاد عدد الخطوات 1.28 مرة، كما ارتفع حجم رموز المخرجات 1.40 مرة. ولجأ النموذج مراراً إلى أساليب برمجية التفافية محاولاً استعادة المعلومات البصرية عبر معالجة الملفات.

اختلف التأثير بحسب نوع المدخلات. ففي المخططات الواضحة، استعادت الحلول الالتفافية جزءاً من الجودة، بينما أخفقت مع الصور الفوتوغرافية والطبية، وفقاً للورقة البحثية. وهذا يوضح لماذا يُعد القول إن «النموذج يستطيع قراءة ملفات PDF» معياراً فضفاضاً للغاية لوكيل مخصص للعمل: فقد يفقد النص المستخرج الهندسة والعلاقات المكانية بين العناصر والسمات البصرية.

كيف قورنت النماذج؟

شملت الدراسة Gemini 4 Carbon وClaude Fable 5.2 وClaude Opus 5.5 وGPT-6 Astra. وحققت Claude Fable 5.2 أعلى نتيجة جودة وفق Climb-WSR، إذ بلغت 56.6%، بينما سجلت Gemini 4 Carbon نتيجة 54.3%. وعلى مقياس WSR العام، بلغت النتيجتان 73.3% و71.9% على التوالي. ويذكر المؤلفون أن Carbon استخدم رموزاً أقل بـ5.7 مرات من Fable؛ كما يشير التقرير التقني إلى أن تكلفة واجهة API لـCarbon كانت أقل بـ6.3 مرات، مع جودة نتائج تقع ضمن هامش الضوضاء الإحصائية. وتنطبق هذه المقارنات على مهام MKA وظروفها المحددة.

ويعرّف المؤلفون Climb-WSR بأنه مقياس للمعايير الصعبة التي لم تبلغ فيها نماذج الجيل السابق الحد الأقصى. وسجلت أفضل الأنظمة أقل من 57% على هذا المقياس. وهذا يشير إلى وجود مجال للتحسين في إنجاز العمل متعدد الوسائط. ولا يمكن نقل هذه الأرقام مباشرة إلى كل مهنة أو مهمة منتج، إذ تعتمد النتيجة على تركيبة الملفات والمتطلبات والأدوات المتاحة.

ما الذي يمكن للمطور أو مسؤول الشراء الاستفادة منه؟

يقدم MKA نموذجاً عملياً لإعداد تقييم خاص. فبدلاً من طرح سؤال عام مثل «أي نموذج أفضل في التعامل مع ملفات PDF؟»، يمكن جمع مهام حقيقية تشمل ملفات الإدخال والمستند النهائي المطلوب ومعايير قابلة للتحقق. أدرجوا حالات يكون فيها موضع العناصر على المخطط مهماً، أو يلزم فيها التوفيق بين جدول ونص، أو التحقق من صحة الملف المنشأ. ثم قارنوا الأنظمة في بيئة متماثلة.

ومن المفيد في هذا النوع من الاختبارات الاحتفاظ بتقييمين منفصلين: صحة المحتوى وجودة الملف الناتج. فقد يحتوي جدول على أرقام صحيحة لكن صيغ خاطئة، وقد يكون التقرير أنيقاً لكنه يغفل الصلة بين المخطط وقائمة المواصفات. ويبين معيار MKA كيفية تحديد المتطلبات مسبقاً وصياغتها بحيث تكون النتيجة قابلة للتحقق، بدلاً من الاعتماد على الانطباع العام عن الإجابة.

أُعدّت المجموعة الكاملة، التي تضم 200 مهمة، للتقييم على منصة مستقلة؛ وللاطلاع على الصيغة، نُشرت مجموعة منفصلة من عشر مهام تجريبية. ويتيح هذا الفصل إبقاء الاختبار الأساسي مغلقاً، مع توفير مادة للباحثين لدراسة الصيغة. وبالنسبة إلى الفريق الذي يختار وكيلاً، فالخلاصة عملية: لا تختبروا استخراج النص وحده، بل اختبروا أيضاً كيف يستخدم النظام المعلومات البصرية عند إنشاء نتيجة عمل نهائية.