Michael Johnsonמפתחים ששומרים בדיקות איכות של מודלים בפלטפורמת OpenAI Evals יכולים לצפות בהערכות קיימות, אך לא לערוך אותן, החל מ־31 באוקטובר 2026. OpenAI קבעה את השבתת לוח הבקרה וה־API ל־30 בנובמבר. אלה שני שלבים שונים בתהליך המעבר: כעת נותר זמן לשמור את החומרים הנחוצים, ולאחר מכן הפלטפורמה צפויה להפסיק לפעול. השינוי נוגע לשירות Evals המתארח, ולא לעצם ההערכה של מודלים — זהו לוח הזמנים המפורט ברשימת המוצרים של OpenAI שיוצאים משימוש.
מה השתנה ב־31 באוקטובר
החל מ־31 באוקטובר אפשר לצפות בהערכות קיימות בלבד. השבתת לוח הבקרה של Evals וה־API מתוכננת ל־30 בנובמבר. התיעוד מתאר תקופת מעבר, אך אינו מבטיח שהערכות משתמשים יועברו אוטומטית למוצר אחר.
כל עוד החומרים זמינים, כדאי לצוותים לשמור את הנתונים הדרושים לשחזור הבדיקות: דוגמאות בדיקה, הוראות לפרומפטים, תשובות צפויות, הגדרות של מעריכי תוצאות ותוצאות הרצות. זוהי המלצה מעשית למעבר, ולא רשימה של פורמטי ייצוא מובטחים: בדקו מה זמין לצוות שלכם וודאו שאפשר לפתוח את הקבצים שנשמרו מחוץ לממשק של Evals.
אילו חלופות מציעה OpenAI ל־Evals
התיעוד מציע לשקול שני תרחישים. Datasets בפלטפורמת OpenAI מיועדים לאיטרציה מהירה: הצוות מוסיף דוגמאות, מריץ גרסאות שונות של פרומפטים, מעריך את התוצאות ומשתמש במעריכי תוצאות לפי הצורך. בין הסוגים המתוארים: השוואת מחרוזות מדויקת, הערכת דמיון בין טקסטים, מעריכי תוצאות מבוססי מודל והרצת קוד Python.
להגדרה תכנותית של הערכות, התיעוד מתאר את Evals API. עם זאת, לפי לוח הזמנים של OpenAI, גם ה־API עצמו מתוכנן להשבתה ב־30 בנובמבר, כמו לוח הבקרה. לכן כדאי להתייחס אליו כתיאור של תהליך העבודה הקודם, ולא כתחליף ארוך טווח לפלטפורמה.
מומלץ להתחיל את המעבר במיפוי: איזו משימה ביצע כל מערך — השוואה ידנית של פרומפטים, בדיקה אוטומטית בצינור שחרור גרסאות או הרצה באצווה? עבור איטרציה מהירה על דוגמאות, OpenAI מציעה את Datasets. בתרחישים התלויים ב־API ובהיקפים גדולים, הצוות יצטרך לבחור ולבדוק תהליך עבודה אחר, שיתמוך בפעולות הנדרשות ובשמירת התוצאות.
מה לשמור לפני ההשבתה
הכינו רשימה של החומרים הדרושים לשחזור ההערכות: דוגמאות קלט, תשובות צפויות, נוסחי פרומפטים, קריטריונים והגדרות של מעריכי תוצאות, וכן תוצאות הרצות החשובות להשוואה. לאחר מכן בצעו בדיקת אימות בפתרון החלופי שנבחר: הריצו מחדש מערך בדיקות קטן ובדקו שקריטריוני ההערכה ופרשנות התוצאות נותרו בני השוואה.
נתוני ייחוס וכללי הערכה עוזרים לשחזר בדיקה לאחר המעבר. אם הצוות השתמש במודלים חיצוניים, בהרצות דרך API או במערכים גדולים, כללו את הדרישות האלה בקריטריונים לבחירת הכלי הבא. התיעוד של OpenAI מתאר את היכולות של Datasets ושל Evals API הקודם, אך אינו מאשר שכל תרחיש קודם מועבר אוטומטית ל־Datasets.
בדקו אילו דרכים לשמירת נתונים זמינות בחשבון שלכם, ופתחו את הקבצים שהתקבלו מחוץ ל־Evals לפני מועד ההשבתה המתוכנן. בדיקה כזו תראה אם הנתונים החשובים לצוות נשמרו, בלי להניח שקיים פורמט ייצוא או תהליך העברה אוטומטי שהתיעוד אינו מבטיח.
על מי משפיע המעבר
לוח הזמנים חשוב למפתחים שיצרו הערכות או הריצו אותן דרך לוח הבקרה של Evals, וכן לצוותים התלויים ב־Evals API. לפי לוח הזמנים של OpenAI, שני חלקי הפלטפורמה אמורים להיות מושבתים ב־30 בנובמבר 2026; התיעוד אינו מציין שה־API הקשור יישאר זמין לאחר תאריך זה.
הצעד המעשי הוא לשמור את חומרי הבדיקה והתוצאות הנחוצים, ואז לבדוק את תהליך ההערכה החדש על מדגם קטן. כך הצוות יוכל להמשיך להשוות מודלים ופרומפטים בלי להיות תלוי בפלטפורמה שעומדת להיסגר.
