Michael Johnsonيمكن نقل برنامج COBOL إلى لغة حديثة مع الحفاظ على تركيبته، لكن مع تغيير قواعد حساب الأموال. خصصت OpenAI منشورًا بتاريخ 19 أكتوبر لهذه المشكلة تحديدًا: إذ أعلنت الشركة نتائج نماذجها في اختبارات البرمجة بـCOBOL وFortran ولغات أخرى تقل فيها مواد التدريب، وأتاحت مجموعة MultiLangBench.
بالنسبة إلى الفرق التي تتولى صيانة الأنظمة المؤسسية القديمة، لا تقتصر فائدة الخبر على النسب المعلنة، بل تشمل أيضًا نوعين مختلفين من الاختبارات. يقيس أحدهما إنشاء البرامج من الصفر بلغات متعددة، بينما يتحقق الآخر مما إذا كان نقل شيفرة COBOL يحافظ على السلوك الملحوظ. تتطلب هاتان المهمتان اختبارات مختلفة، وترتبطان بمخاطر التطبيق بطرق متباينة.
اختباران ومهمتان هندسيتان
في MultiLangBench، يُطلب من النموذج إنشاء محرك متوافق مع SQLite، يقبل الاستعلامات ويعدّل ملف قاعدة البيانات. وتذكر OpenAI متوسط نسبة الاختبارات التي اجتازتها النماذج عبر 20 لغة: حقق GPT‑6 Astra نسبة 87.4% عند أعلى مستوى للاستدلال، بينما حقق GPT‑5.6 Sol نسبة 26.8%. ويُتحقق من كل تنفيذ بمقارنة المحتوى المتوقع لقاعدة البيانات؛ كما يجري تقييم مدة التشغيل وتكلفة واجهة API.
نشرت الشركة MultiLangBench على GitHub، بما في ذلك بنية الاختبار. ويصف المستودع المنشور الاختبارات المستندة إلى مجموعة SQLite TCL Tests وقواعد التحقق من النتائج. يتيح ذلك للمطورين الاطلاع على العمليات التي يشملها التقييم، ثم إعادة إجرائه باستخدام إعدادات نماذجهم.
أما في ترحيل COBOL، فيُختبر نوع آخر من القدرات: إعادة كتابة برنامج قائم بلغة C++ أو Java أو Kotlin أو Python أو Rust، مع الحفاظ على سلوكه في اختبارات مخفية. وتذكر OpenAI أن دقة GPT‑6.1 Sol بلغت 86.6% عند مستوى استدلال منخفض، مقابل 5.4% لـGPT‑5.6 Sol في الوضع نفسه. وعند مستوى استدلال أعلى، يصل أداء GPT‑6.1 Sol إلى 97.9% في هذا التقييم.
لماذا يتطلب الترحيل التحقق من قواعد الأعمال
تؤكد OpenAI في وصفها أن التوافق يعتمد على دلالات اللغة المصدر. فعلى سبيل المثال، تُسقط الحسابات ذات الدقة الثابتة في COBOL المنازل العشرية الزائدة ما لم يُحدَّد التقريب صراحةً. وإذا قرر التنفيذ الجديد التقريب بطريقة مختلفة، فقد يعمل البرنامج بنجاح، لكنه ينتج نتائج مالية مختلفة.
لذلك، يتمثل معيار اختبار الترحيل في تطابق المخرجات للحالات الخاضعة للاختبار، بينما ينبغي أن يشمل معيار الفريق العملي قواعد الحساب الخاصة به، وتنسيق البيانات، وتبعيات النظام. ومن الخطوات الأولى المفيدة اختيار وحدة ذات مدخلات ومخرجات واضحتين، وتسجيل النتائج المرجعية للحالات الحدية الواقعية، ثم تشغيل النسختين الأصلية والمعاد كتابتها بالتوازي.
ما الذي تعنيه النتائج للفرق
ترتبط أرقام OpenAI بمجموعات الاختبار وإعدادات الاستدلال المنشورة. تقيّم MultiLangBench إنشاء تنفيذ متوافق مع SQLite، بينما تقيس مجموعة COBOL الحفاظ على السلوك عند الترحيل؛ وتصف النتائج أداء النماذج في هذه الاختبارات المحددة. وتوفر هذه الأرقام للفرق نقطة مرجعية لاختيار النماذج وأساسًا لإجراء مقارنة قابلة لإعادة الإنتاج، لا تقييمًا جاهزًا للتوافق مع أي نظام إنتاج.
والخلاصة العملية بسيطة: يجدر اختبار النماذج على الشيفرة الخاصة بالفريق وحالات التحقق التي يحددها، مع احتساب التكلفة إلى جانب معدل النجاح. وفي تحديث أنظمة COBOL، تكتسب اختبارات التقريب والسجلات المحذوفة وغيرها من القواعد المترسخة في سلوك البرنامج القديم أهمية خاصة. تجعل النتائج الجديدة إجراء هذه الاختبارات أيسر، لكن مسؤولية التحقق من التكافؤ تظل جزءًا من العملية الهندسية.