Michael JohnsonBir iş günü içinde API'ye birkaç kez başvuran bir ajan için uzun talimatları tekrar göndermek maliyeti etkiler. 20 Ekim 2026'da OpenAI, Responses API'ye 12 saatlik önbellek süresi seçeneği ekledi: ortak talimatlar, araçlar ve bağlam, aralarında birkaç saat bulunan isteklerde yeniden kullanılabilir durumda kalabilir. OpenAI, yazma ücretinin normal giriş belirteci fiyatının 2,5 katı olduğunu belirtiyor; bu, ek ücret değil, yazma işleminin toplam ücretidir. Tasarruf, önekin ne kadar yeniden kullanıldığına ve önbellekten okunan belirteçlerin fiyatına bağlıdır. OpenAI değişiklik günlüğündeki duyuru 20 Ekim 2026 tarihini taşıyor.
Bu süre, çok aşamalı iş akışları için tasarlanmıştır: Örneğin bir ajan sabah belgeleri analiz edebilir, sonra aynı talimatlar ve araçlarla göreve devam edebilir. 12 saatlik süreyi etkinleştirmeye karar verirken yazma maliyetini tekrarlanan okuma giderleriyle karşılaştırın ve kaç isteğin gerçekten aynı öneki yeniden kullandığını hesaba katın.
Önbelleğe tam olarak ne alınır?
İstem önbelleği, girdinin eşleşen başlangıç bölümünü yeniden kullanır. Sonraki isteklerde bu bölüm aynı kalmalıdır; değişen verileri sabit kısmın ardından eklemek gerekir. OpenAI'nin istem önbelleği kılavuzunda, Responses API'de GPT‑5.6 ve sonraki modeller için `30m` veya `12h` TTL ayarlanabileceği belirtiliyor. On iki saat, bir kaydın önbellekten okunmaya uygun kalmasının garanti edilen asgari süresidir; tam 12 saat sonra silineceği anlamına gelmez. Kullanılabilirlik ve ayarlar modele göre değişir.
Sistem talimatlarını, araç tanımlarını ve sabit işleme kurallarını önekin kalıcı bölümüne koymak uygundur. Mevcut soruyu, görev kimliklerini ve güncel verileri daha sonra ekleyin. İsteğin başındaki bölümleri değiştirirseniz eşleşen önek kısalır ve yeniden kullanılabilen belirteç sayısı azalabilir.
Maliyet etkinliği nasıl değerlendirilir?
Sabit öneğin P belirteç içerdiğini, N kez gönderildiğini, normal giriş belirteci fiyatının C olduğunu ve seçilen modelin önbellek okuma ücretinin R olduğunu varsayalım. Bir yazma işlemi ve sonraki tüm isteklerde önbellek isabeti olması durumunda bu öneğin maliyeti yaklaşık olarak 2,5PC + (N−1)PR olur. Önbellek olmadan gönderim maliyeti NPC olurdu. Bu tahmin yalnızca sabit önek içindir: İsteğin değişen bölümünü, önbellek isabetsizliklerini ve ek yazma işlemlerini ayrıca hesaba katın. Okuma ücreti modele bağlıdır; örneğin belgelerde GPT‑6.1 Sol için normal giriş belirteci fiyatının 0,05'i, GPT‑5.6 ve sonraki modeller içinse 0,1'i belirtiliyor.
Bu basitleştirilmiş modelde, yeniden kullanılan önek için 2,5C + (N−1)R < NC olduğunda önbellek tasarruf sağlamaya başlar. Gerçek başa baş noktası, fiilî isabet oranına, tekrar yazma işlemlerine ve ilgili tarifeye bağlıdır. İstekler seyrekse, talimatlar sık değişiyorsa veya önek her seferinde benzersizse yazma maliyetleri, okumadan sağlanan tasarrufu aşabilir.
İş yükünüzde test edin
- Temel senaryoyu belirleyin. Tipik istekleri, sabit önek uzunluğunu, çağrılar arasındaki süreleri ve 12 saatlik TTL olmadan oluşan maliyeti kaydedin.
- Sabit ve değişken bölümleri ayırın. Ortak talimatları ve araç şemalarını başta tutun; kullanıcı verilerini ve mevcut görevi bunların arkasına yerleştirin.
- Karşılaştırılabilir istekleri inceleyin. Seçilen model ve saklama süresi için yazma işlemlerini, önbelleğe alınan giriş belirteçlerinin hacmini ve toplam maliyeti hesaplayın.
- Tüm iş akışını değerlendirin. İsabetsizlikleri, süre dolduktan sonra yapılan yeniden yazma işlemlerini ve önekteki değişikliklerin yeniden kullanımı engellediği durumları hesaba katın.
API yanıtı ölçümleri, önbelleğe alınan giriş belirteçlerinin ve yazma işlemlerinin gerçek miktarını doğrulamaya yardımcı olur; raporlanan ayrıntılar modele göre değişir. Yapılandırılabilir 12 saatlik süre, birkaç saat arayla yeniden kullanılan büyük ve sabit bir önek için uygundur. Kısa veya seyrek tekrarlanan isteklerde, önce kendi trafiğinizde yazma işlemlerini, isabetleri ve toplam maliyeti ölçün.