12 uur cache in de OpenAI API: wanneer verlaagt die de kosten van lange prompts?

Voor een agent die meerdere keren per werkdag de API aanroept, beïnvloedt het opnieuw versturen van lange instructies de kosten. Op 20 oktober 2026 voegde OpenAI aan de Responses API de mogelijkheid toe om een cachetermijn van 12 uur te kiezen: gedeelde instructies, tools en context kunnen bruikbaar blijven voor hergebruik tussen verzoeken die enkele uren uit elkaar liggen. OpenAI vermeldt een schrijftarief dat 2,5 keer hoger is dan de reguliere prijs voor invoertokens; dit is het volledige schrijftarief, geen toeslag erbovenop. De besparing hangt af van hergebruik van de prefix en de prijs voor het lezen van gecachete tokens. Het aankondigingsbericht in het wijzigingslogboek van OpenAI is gedateerd op 20 oktober 2026.

Deze termijn is bedoeld voor workflows met meerdere stappen: een agent kan bijvoorbeeld 's ochtends documenten analyseren en de taak later voortzetten met dezelfde instructies en tools. Om te bepalen of je de termijn van 12 uur moet inschakelen, vergelijk je de schrijfkosten met de kosten van herhaald lezen en houd je rekening met het aantal verzoeken dat daadwerkelijk dezelfde prefix hergebruikt.

Wat wordt er precies gecachet?

Promptcaching hergebruikt een overeenkomend beginstuk van de invoer. Volgende verzoeken moeten dat stuk identiek houden; veranderlijke gegevens plaats je na het vaste gedeelte. De gids van OpenAI voor promptcaching vermeldt dat je voor GPT‑5.6 en latere modellen in de Responses API een TTL van `30m` of `12h` kunt instellen. Twaalf uur is de minimale periode waarin een schrijfbeurt beschikbaar moet blijven voor gecachete leesbewerkingen; het is geen belofte dat de cache precies na 12 uur wordt verwijderd. Beschikbaarheid en instellingen verschillen per model.

In een vaste prefix passen systeeminstructies, definities van tools en stabiele verwerkingsregels. De huidige vraag, taak-ID's en actuele gegevens kun je beter verderop toevoegen. Als je eerdere delen van het verzoek wijzigt, wordt de overeenkomende prefix korter en kan het aantal herbruikbare tokens afnemen.

De terugverdientijd inschatten

Stel dat een stabiele prefix P tokens bevat, N keer wordt verstuurd, de prijs per regulier invoertoken C bedraagt en het tarief voor gecachete leesbewerkingen voor het gekozen model R is. Bij één schrijfbeurt en een cachehit bij alle volgende verzoeken bedragen de kosten voor deze prefix ongeveer 2,5PC + (N−1)PR. Zonder cache zou het versturen ervan NPC kosten. Deze schatting geldt alleen voor de stabiele prefix: houd daarnaast rekening met het veranderlijke gedeelte van het verzoek, cachemissers en extra schrijfbeurten. Het leestarief hangt af van het model; de documentatie noemt bijvoorbeeld 0,05 keer de reguliere prijs voor invoertokens voor GPT‑6.1 Sol en 0,1 voor GPT‑5.6 en latere modellen.

In dit vereenvoudigde model begint caching op de hergebruikte prefix te besparen zodra 2,5C + (N−1)R < NC. Het werkelijke omslagpunt hangt af van het aantal daadwerkelijke cachehits, herhaalde schrijfbeurten en het specifieke tarief. Als verzoeken zeldzaam zijn, instructies vaak veranderen of de prefix telkens uniek is, kunnen de extra schrijfkosten de besparingen op leesbewerkingen tenietdoen.

Testen op je eigen workload

1. Leg de uitgangssituatie vast. Neem typische verzoeken, de lengte van de stabiele prefix, de tussenpozen tussen aanroepen en de kosten zonder TTL van 12 uur.
2. Scheid vaste en veranderlijke onderdelen. Zet gedeelde instructies en tooldefinities vooraan en plaats gebruikersgegevens en de huidige taak erachter.
3. Vergelijk vergelijkbare verzoeken. Tel de schrijfbeurten, het aantal gecachete invoertokens en de totale kosten voor het gekozen model en de gekozen bewaartermijn.
4. Beoordeel de volledige workflow. Houd rekening met cachemissers, nieuwe schrijfbeurten na het verlopen van de termijn en situaties waarin een gewijzigde prefix hergebruik verhindert.

De API-responsmetrics helpen je het daadwerkelijke aantal gecachete invoertokens en schrijfbeurten te controleren; de beschikbare rapportage verschilt per model. Een instelbare termijn van 12 uur is geschikt voor een grote, stabiele prefix die met tussenpozen van enkele uren opnieuw wordt gebruikt. Meet bij korte of zelden herhaalde verzoeken eerst de schrijfbeurten, cachehits en totale kosten op je eigen verkeer.