Michael Johnsonفي الأنظمة المكتوبة بلغة COBOL، لكل تفصيل في السلوك أهميته: فقد ينتهي البرنامج من دون أخطاء، لكنه قد يقرّب مبلغًا على نحو مختلف أو يعالج سجلًا مفقودًا بطريقة أخرى. في 19 أكتوبر 2026، نشرت OpenAI نتائج تقييمين للبرمجة بلغات تتوفر عنها مواد تدريبية أقل: معيار MultiLangBench المفتوح لعشرين لغة، واختبار مستقل لترحيل COBOL.
تكمن القيمة العملية للإعلان في إمكانية الاطلاع على مجموعة الاختبارات نفسها، ومقارنة المؤشرات المعلنة بالمهام الفعلية: إنشاء برامج بلغات قليلة التمثيل في بيانات التدريب، والحفاظ على سلوك الشيفرة القديمة عند نقلها.
تقييمان لمهمتين مختلفتين
يختبر MultiLangBench قدرة النموذج على إنشاء محرك قاعدة بيانات متوافق مع SQLite من الصفر بلغة محددة. وتتطلب المهمة تنظيم الشيفرة وإدارة الحالة ومعالجة الأخطاء وإضافة الوظائف مع الحفاظ على السلوك السابق. ويُقاس الأداء بنسبة الاختبارات التي اجتازها النموذج؛ كما تفصح OpenAI عن تكلفة استدعاءات واجهة API.
لمقارنة اللغات، تستخدم الاختبارات فحصًا موحدًا عبر ملف قاعدة بيانات: يتلقى التنفيذ قاعدة البيانات الأصلية واستعلام SQL، ثم يُتحقق مما إذا كانت قاعدة البيانات المعدّلة تطابق النتيجة المتوقعة. وفي المجموعة المنشورة، كيّفت OpenAI اختبارات SQLite وأفادت بتقييم 20 لغة. ويمكن للمطورين الاطلاع على الشيفرة والنتائج في مستودع MultiLangBench.
أما التقييم المستقل فيتناول ترحيل برامج COBOL القائمة إلى C++ أو Java أو Kotlin أو Python أو Rust. ويتوقف النجاح هنا على الحفاظ بدقة على السلوك الملحوظ: استخدمت OpenAI اختبارات مخفية تشترط تطابق المخرجات بايتًا ببايت. وتشير الشركة على نحو خاص إلى أهمية تفاصيل مثل قواعد التقريب والتعامل مع السجلات المفقودة.
ما دلالة الأرقام المنشورة؟
بحسب OpenAI، حقق GPT‑6 Astra متوسط اجتياز للاختبارات بلغ 87.4% عبر اللغات العشرين في MultiLangBench، عند أعلى مستوى للاستدلال؛ بينما سجل GPT‑5.6 Sol نسبة 26.8%. وفي اختبار ترحيل COBOL، حقق GPT‑6.1 Sol دقة بلغت 86.6% عند مستوى استدلال منخفض، مقابل 5.4% لـGPT‑5.6 Sol في الوضع نفسه. وعند رفع مستوى الاستدلال، وصلت نتيجة GPT‑6.1 Sol إلى 97.9%.
تخص هذه المؤشرات سيناريوهَي الاختبار الموصوفين. يقيس MultiLangBench إنشاء محرك محدود متوافق مع SQLite، بينما يقيس اختبار COBOL الحفاظ على النتائج في مجموعة برامج تُفحص باختبارات مخفية. لذلك تصلح الأرقام لاختيار نماذج مرشحة لاختبارها داخليًا، لا للتقييم المباشر لأي قاعدة شيفرة مؤسسية. وقد كشفت OpenAI المنهجية والنتائج في وصف الدراسة المنشور في 19 أكتوبر.
كيفية تطبيق الاختبار على مشروع تحديث
بالنسبة إلى فريق يدرس نقل نظام قديم، تتمثل الخطوة التالية المفيدة في تحويل قواعد العمل المهمة إلى مجموعة سلوك قابلة للاختبار. اجمعوا مدخلات ومخرجات متوقعة تمثيلية، تشمل المبالغ الحدّية والتقريب والسجلات الفارغة أو المفقودة والأخطاء. وثّقوا نتائج البرنامج الأصلي، ثم اختبروا النماذج المرشحة على المجموعة نفسها.
لا تقارنوا نسبة الاختبارات الناجحة وحدها. سجّلوا تكلفة الاستدعاءات وعدد الإصلاحات اليدوية وأنواع الاختلافات؛ وافحصوا على نحو مستقل الواجهات مع الأنظمة الخارجية والاعتماديات التي قد لا يغطيها مقطع الاختبار. تكشف هذه العملية المواضع التي يساعد فيها النموذج على استكشاف وحدة برمجية وإعادة كتابتها، والمواضع التي ينبغي فيها إبقاء المنطق الحرج خاضعًا للمراجعة اليدوية والاختبارات المتخصصة.
أضاف إعلان 19 أكتوبر نقطة انطلاق قابلة لإعادة الإنتاج لتقييم نماذج البرمجة بلغات تتوفر عنها أمثلة أقل. أما القرار العملي، فالأهم فيه هو مقارنة الاختبار المفتوح بقواعد النظام الخاصة: فتطابق السلوك، لا مجرد الإلمام بصياغة اللغة المستهدفة، هو ما يحدد مدى ملاءمة الترحيل.