Michael Johnsonאפשר להעביר תוכנית COBOL לשפה מודרנית תוך שמירה על התחביר, ובכל זאת לשנות את כללי החישוב הכספיים. OpenAI הקדישה לבעיה הזו פרסום מ־19 באוקטובר: החברה דיווחה על תוצאות המודלים שלה במבחני תכנות ב־COBOL, ב־Fortran ובשפות נוספות שיש בהן פחות חומרי אימון, ופתחה את מערך הנתונים MultiLangBench.
לצוותים שמתחזקים מערכות ארגוניות ותיקות, החלק המועיל בחדשות הוא לא רק האחוזים שדווחו, אלא גם שני סוגי הבדיקות השונים. האחת מעריכה יצירת תוכניות מאפס בשפות שונות; האחרת בודקת אם העברת קוד COBOL משמרת את ההתנהגות הנצפית. אלה משימות שדורשות בדיקות שונות וקשורות בדרכים שונות לסיכון שבהטמעה.
שני מבחנים — שתי משימות הנדסיות
ב־MultiLangBench המודל נדרש ליצור מנוע תואם SQLite שמקבל שאילתות ומשנה קובץ מסד נתונים. OpenAI מדווחת על אחוז ממוצע של מבחנים שעברו ב־20 שפות: GPT‑6 Astra קיבל 87,4% ברמת ההנמקה המרבית, ואילו GPT‑5.6 Sol קיבל 26,8%. בכל מימוש נבדק שהתוכן במסד הנתונים תואם לתוצאה הצפויה; ההערכה כוללת גם את משך ההרצה ואת עלות ה־API.
החברה פרסמה את MultiLangBench ב־GitHub, לרבות תשתית הבדיקה. במאגר שפורסם מתוארים מבחנים שנוצרו על בסיס חבילת SQLite TCL Tests וכללי אימות התוצאות. כך יכולים מפתחים לבדוק אילו פעולות נכללות בהערכה, ולאחר מכן לשחזר אותה עבור תצורת המודל שלהם.
בהסבת COBOL נבדקת יכולת אחרת: לכתוב מחדש תוכנית קיימת ב־C++, ב־Java, ב־Kotlin, ב־Python או ב־Rust, תוך שימור התנהגותה במבחנים נסתרים. OpenAI מדווחת על דיוק של 86,6% ל־GPT‑6.1 Sol ברמת הנמקה נמוכה, לעומת 5,4% ל־GPT‑5.6 Sol באותו מצב. ברמת הנמקה גבוהה יותר, המדד של GPT‑6.1 Sol מגיע ל־97,9% בהערכה הזו.
למה העברה מחייבת בדיקה של כללים עסקיים
בתיאור שלה מדגישה OpenAI שהתאימות תלויה בסמנטיקה של שפת המקור. למשל, חשבון בנקודה קבועה ב־COBOL משמיט ספרות עשרוניות עודפות אם לא הוגדר עיגול במפורש. אם המימוש החדש מעגל אותן אחרת, התוכנית עשויה לפעול בהצלחה ובכל זאת להפיק תוצאות כספיות שונות.
לכן, הקריטריון במבחן ההעברה הוא התאמה בין הפלטים במקרים שנבדקים, ואילו הקריטריון המעשי של הצוות צריך לכלול את כללי החישוב שלו, את פורמט הנתונים ואת התלויות של המערכת. צעד ראשון מועיל הוא לבחור מודול בעל קלט ופלט ברורים, לתעד תוצאות ייחוס במקרי קצה מציאותיים ולהריץ במקביל את הגרסה המקורית ואת הגרסה שנכתבה מחדש.
מה התוצאות מספקות לצוותים
הנתונים של OpenAI מתייחסים למערכי הנתונים ולתצורות ההנמקה שפורסמו. MultiLangBench מעריך יצירת מימוש תואם SQLite, ואילו מערך מבחני COBOL בודק שימור התנהגות בעת העברה; המדדים מתארים את הבדיקות המסוימות האלה. הם מספקים לצוותים נקודת ייחוס לבחירת מודלים ובסיס להשוואה עצמאית שאפשר לשחזר, אך אינם הערכה מוכנה של תאימות לכל מערכת ייצור.
המסקנה המעשית פשוטה: כדאי לבדוק מודלים על הקוד ועל מקרי הבדיקה של הצוות, ולחשב עלויות יחד עם שיעור ההצלחה. במודרניזציה של COBOL חשוב במיוחד לבדוק עיגול, רשומות חסרות וכללים נוספים שמוטמעים בהתנהגות התוכנית הישנה. התוצאות החדשות מקלות על ביצוע בדיקות כאלה; האחריות לאשר שקילות נותרת חלק מהתהליך ההנדסי.