Michael Johnsonבמערכות COBOL כל פרט בהתנהגות חשוב: תוכנית יכולה להסתיים בלי שגיאה, ובכל זאת לעגל סכום אחרת או לטפל ברשומה חסרה באופן שונה. ב-19 באוקטובר 2026 פרסמה OpenAI תוצאות של שתי הערכות תכנות בשפות שיש בהן פחות חומרי אימון: MultiLangBench הפתוח, שבוחן 20 שפות, ומבחן נפרד להעברת COBOL.
הערך המעשי של ההכרזה הוא האפשרות לבחון את מערך הבדיקות עצמו ולהשוות בין המדדים שפורסמו לבין משימות ממשיות: יצירת תוכניות בשפות שמיוצגות פחות בנתונים ושימור התנהגות הקוד הישן בעת העברתו.
שתי הערכות — שתי משימות שונות
MultiLangBench בודק אם מודל מסוגל לבנות מאפס מנוע מסד נתונים תואם SQLite בשפה נתונה. המשימה דורשת לארגן את הקוד, לנהל מצב, לטפל בשגיאות ולהוסיף תכונות תוך שמירה על ההתנהגות הקיימת. התוצאה נמדדת לפי שיעור הבדיקות שעברו; OpenAI מדווחת גם על עלות קריאות ה-API.
לשם השוואה בין שפות, הבדיקות משתמשות באימות משותף באמצעות קובץ מסד נתונים: המימוש מקבל מסד נתונים ראשוני ושאילתת SQL, ולאחר מכן נבדק אם מסד הנתונים שעודכן תואם לתוצאה הצפויה. במערך שפורסם OpenAI התאימה בדיקות של SQLite ודיווחה על הערכה ב-20 שפות. מפתחים יכולים לעיין בקוד ובתוצאות במאגר MultiLangBench.
הערכה נפרדת עוסקת בהעברת תוכניות COBOL קיימות ל-C++, ל-Java, ל-Kotlin, ל-Python או ל-Rust. הצלחה כאן תלויה בשימור מדויק של ההתנהגות הנצפית: OpenAI השתמשה בבדיקות נסתרות שדורשות התאמה ברמת הבייט של הפלט. החברה מציינת במיוחד את חשיבותם של פרטים כגון כללי עיגול וטיפול ברשומות חסרות.
מה משמעות הנתונים שפורסמו
לפי OpenAI, GPT‑6 Astra השיגה ב-MultiLangBench שיעור ממוצע של 87.4% בבדיקות שעברו, על פני 20 שפות וברמת ההנמקה המרבית; עבור GPT‑5.6 Sol החברה מדווחת על 26.8%. במבחן העברת COBOL, GPT‑6.1 Sol השיגה דיוק של 86.6% ברמת הנמקה נמוכה, לעומת 5.4% של GPT‑5.6 Sol באותו מצב. ברמת הנמקה גבוהה יותר, התוצאה של GPT‑6.1 Sol הגיעה ל-97.9%.
המדדים האלה מתייחסים לשני תרחישי הבדיקה המתוארים. MultiLangBench מעריך יצירה של מנוע מוגבל התואם ל-SQLite, ואילו מבחן COBOL בודק שימור של התוצאה במערך תוכניות באמצעות בדיקות נסתרות. לכן הנתונים יכולים לסייע בבחירת מועמדים לניסוי משלכם, אך אינם מאפשרים להעריך ישירות כל בסיס קוד ארגוני. OpenAI פרסמה את המתודולוגיה ואת התוצאות בתיאור המחקר מ-19 באוקטובר.
איך ליישם את הבדיקה בפרויקט מודרניזציה
לצוות ששוקל להעביר מערכת מדור קודם, צעד שימושי הוא להפוך כללים עסקיים קריטיים למערך התנהגויות שניתן לבדוק. אספו קלטים מייצגים ותוצאות צפויות, לרבות סכומי גבול, עיגול, רשומות ריקות או חסרות ושגיאות. תעדו את התוצאות של התוכנית המקורית, ואז הריצו את המועמדים מול אותו מערך.
השוו יותר מאשר את שיעור הבדיקות שעברו. תעדו את עלות הקריאות, את מספר התיקונים הידניים ואת סוגי אי-ההתאמות; בדקו בנפרד ממשקים למערכות חיצוניות ותלויות שקטע הבדיקה אולי אינו מכסה. תהליך כזה מראה היכן המודל מסייע לחקור ולשכתב מודול, והיכן יש להשאיר לוגיקה קריטית תחת פיקוח ידני ובדיקות ייעודיות.
ההכרזה מ-19 באוקטובר סיפקה נקודת פתיחה שניתנת לשחזור להערכת מודלי קוד בשפות שיש בהן פחות דוגמאות זמינות. להחלטה מעשית חשוב יותר להתאים את הבדיקה הפתוחה לכללים של המערכת שלכם: התאמה של ההתנהגות, ולא היכרות עם התחביר של שפת היעד, היא שקובעת אם ההעברה מתאימה.