Michael Johnsonלסוכן שפונה ל־API כמה פעמים במהלך יום עבודה, שליחה חוזרת של הנחיות ארוכות משפיעה על העלות. ב־20 באוקטובר 2026 הוסיפה OpenAI ל־Responses API אפשרות לבחור משך שמירת מטמון של 12 שעות: הנחיות, כלים והקשר משותפים יכולים להישאר זמינים לשימוש חוזר בין בקשות שמרווחים ביניהן כמה שעות. OpenAI מציינת שתעריף הכתיבה הוא פי 2.5 ממחיר טוקני הקלט הרגילים; זהו תעריף הכתיבה המלא, ולא תוספת עליו. החיסכון תלוי בשימוש החוזר בקידומת ובמחיר הקריאה של טוקנים שמורים במטמון. ההודעה ביומן השינויים של OpenAI מתוארכת ל־20 באוקטובר 2026.
משך כזה מיועד לתהליכי עבודה מרובי שלבים: למשל, סוכן יכול לנתח מסמכים בבוקר ובהמשך להמשיך במשימה עם אותן הנחיות ואותם כלים. כדי להחליט אם להפעיל משך של 12 שעות, חשוב להשוות את עלות הכתיבה להוצאות על קריאות חוזרות ולבחון כמה בקשות אכן משתמשות שוב באותה קידומת.
מה בדיוק נשמר במטמון
שמירת הנחיות במטמון עושה שימוש חוזר בחלק הפותח של הקלט, אם הוא זהה. בקשות עוקבות צריכות לשמור עליו ללא שינוי; את הנתונים המשתנים כדאי להציב אחריו. לפי המדריך של OpenAI לשמירת הנחיות במטמון, ב־Responses API אפשר להגדיר TTL של `30m` או `12h` עבור GPT‑5.6 ודגמים מאוחרים יותר. 12 שעות הן פרק הזמן המינימלי שבו הרשומה אמורה להישאר זמינה לקריאה מהמטמון; אין פירוש הדבר שהיא תימחק בדיוק כעבור 12 שעות. הזמינות וההגדרות תלויות בדגם.
הקידומת הקבועה מתאימה להנחיות מערכת, להגדרות כלים ולכללי עיבוד יציבים. את השאלה הנוכחית, מזהי המשימה והנתונים העדכניים כדאי להוסיף בהמשך. אם משנים חלקים מוקדמים של הבקשה, הקידומת התואמת מתקצרת, ונפח הטוקנים שאפשר להשתמש בהם שוב עשוי לרדת.
איך להעריך אם זה משתלם
נניח שקידומת יציבה מכילה P טוקנים, נשלחת N פעמים, מחיר טוקן קלט רגיל הוא C, ותעריף הקריאה מהמטמון בדגם הנבחר הוא R. אם מתבצעת כתיבה אחת וכל הבקשות הבאות פוגעות במטמון, ההוצאה על הקידומת תהיה בקירוב 2,5PC + (N−1)PR. ללא מטמון, שליחתה הייתה עולה NPC. החישוב הזה מתייחס רק לקידומת היציבה: יש לחשב בנפרד את החלק המשתנה של הבקשה, החטאות מטמון וכתיבות נוספות. תעריף הקריאה תלוי בדגם; למשל, בתיעוד מצוין כי ב־GPT‑6.1 Sol הוא 0,05 ממחיר טוקן הקלט הרגיל, וב־GPT‑5.6 ובדגמים מאוחרים יותר — 0,1.
במודל הפשוט הזה, המטמון מתחיל לחסוך בעלות הקידומת שבה משתמשים שוב כאשר 2,5C + (N−1)R < NC. נקודת האיזון בפועל תלויה בשיעור הפגיעות האמיתי במטמון, בכתיבות חוזרות ובתעריף המסוים. אם הבקשות נדירות, ההנחיות משתנות לעיתים קרובות או שהקידומת ייחודית בכל פעם, העלות הנוספת של הכתיבה עשויה להיות גבוהה מהחיסכון בקריאה.
בדיקה בעומס העבודה שלכם
- הגדירו תרחיש בסיס. בחרו בקשות מייצגות, את אורך הקידומת היציבה, את המרווחים בין הקריאות ואת העלויות ללא TTL של 12 שעות.
- הפרידו בין הקבוע למשתנה. השאירו הנחיות משותפות וסכמות כלים בתחילת הבקשה, והוסיפו אחריהן את נתוני המשתמש ואת המשימה הנוכחית.
- השוו בקשות דומות. חשבו את מספר הכתיבות, את נפח טוקני הקלט שנשמרו במטמון ואת ההוצאה הכוללת עבור הדגם ומשך השמירה שנבחרו.
- העריכו מחזור עבודה מלא. הביאו בחשבון החטאות מטמון, כתיבות חוזרות לאחר פקיעת התוקף ומקרים שבהם שינוי בקידומת מונע שימוש חוזר.
מדדי תגובת ה־API מסייעים לבדוק בפועל את נפח טוקני הקלט שנקראו מהמטמון ואת הכתיבות; פרטי הדיווח תלויים בדגם. משך שמירה מוגדר של 12 שעות מתאים לקידומת גדולה ויציבה שמשתמשים בה שוב בהפרשים של כמה שעות. בבקשות קצרות או כאלה שחוזרים עליהן לעיתים רחוקות, מדדו תחילה את הכתיבות, הפגיעות במטמון והעלות הכוללת בתעבורה שלכם.