12 tunnin välimuisti OpenAI API:ssa: milloin se alentaa pitkien pyyntöjen kustannuksia

Agentille, joka kutsuu API:a useita kertoja työpäivän aikana, pitkien ohjeiden lähettäminen yhä uudelleen vaikuttaa kustannuksiin. 20. lokakuuta 2026 OpenAI lisäsi Responses API:in valittavaksi 12 tunnin välimuistiajan: yhteiset ohjeet, työkalut ja konteksti voivat pysyä uudelleenkäytettävinä useiden tuntien välein lähetettävien pyyntöjen välillä. OpenAI ilmoittaa kirjoitushinnaksi 2,5 kertaa tavallisten syötetunnusten hinnan; kyse on koko kirjoitushinnasta, ei sen päälle tulevasta lisämaksusta. Säästöt riippuvat etuliitteen uudelleenkäytöstä ja välimuistista luettujen tunnusten hinnasta. OpenAI:n muutoslokin ilmoitus on päivätty 20. lokakuuta 2026.

Tällainen säilytysaika sopii monivaiheisiin työnkulkuihin: agentti voi esimerkiksi analysoida asiakirjoja aamulla ja jatkaa tehtävää myöhemmin samoilla ohjeilla ja työkaluilla. Ennen 12 tunnin ajan käyttöönottoa kannattaa verrata kirjoituskustannusta toistuvien lukujen kuluihin sekä arvioida, kuinka monessa pyynnössä sama etuliite todella käytetään uudelleen.

Mitä välimuistiin tallennetaan

Kehotteiden välimuisti käyttää uudelleen syötteen yhtenevää alkuosaa. Myöhempien pyyntöjen on säilytettävä se ennallaan; muuttuvat tiedot kannattaa sijoittaa vakio-osan jälkeen. OpenAI:n kehotteiden välimuistiohjeen mukaan Responses API:ssa voi asettaa GPT‑5.6:lle ja sitä uudemmille malleille TTL-arvoksi `30m` tai `12h`. Kaksitoista tuntia on vähimmäisaika, jonka tallenteen tulee pysyä luettavissa välimuistista; se ei lupaa, että tallenne poistetaan täsmälleen 12 tunnin kuluttua. Saatavuus ja asetukset vaihtelevat mallin mukaan.

Vakiomuotoiseen etuliitteeseen sopivat järjestelmäohjeet, työkalujen määritelmät ja pysyvät käsittelysäännöt. Nykyisen kysymyksen, tehtävätunnisteet ja tuoreet tiedot voi lisätä niiden jälkeen. Jos pyynnön alkuosia muutetaan, yhtenevä etuliite lyhenee ja uudelleenkäytettävien tunnusten määrä voi pienentyä.

Kannattavuuden arviointi

Olkoon vakioetuliitteessä P tunnusta, se lähetetään N kertaa, tavallisen syötetunnuksen hinta on C ja valitun mallin välimuistilukuhinta on R. Jos etuliite kirjoitetaan kerran ja kaikki myöhemmät pyynnöt osuvat välimuistiin, sen kustannus on noin 2,5PC + (N−1)PR. Ilman välimuistia sen lähettäminen maksaisi NPC. Tämä arvio koskee vain vakioetuliitettä: huomioi erikseen pyynnön muuttuva osa, välimuistiosumien puuttuminen ja lisäkirjoitukset. Lukuhinta riippuu mallista; dokumentaation mukaan esimerkiksi GPT‑6.1 Solin hinta on 0,05 kertaa tavallinen syötetunnuksen hinta ja GPT‑5.6:n sekä sitä uudempien mallien 0,1 kertaa.

Tässä yksinkertaistetussa mallissa välimuisti alkaa säästää uudelleenkäytettävän etuliitteen kustannuksia, kun 2,5C + (N−1)R < NC. Todellinen kannattavuusraja riippuu toteutuneista välimuistiosumista, uudelleenkirjoituksista ja käytössä olevasta hinnastosta. Jos pyynnöt ovat harvinaisia, ohjeet muuttuvat usein tai etuliite on joka kerta yksilöllinen, lisäkirjoitusten kustannukset voivat ylittää lukemisesta saatavat säästöt.

Testaus todellisella työkuormalla

1. Määritä lähtötilanne. Valitse tyypillisiä pyyntöjä ja kirjaa vakioetuliitteen pituus, kutsujen välit sekä kustannukset ilman 12 tunnin TTL-arvoa.
2. Erottele vakio-osa ja muuttuva osa. Sijoita yhteiset ohjeet ja työkalujen skeemat alkuun ja lisää käyttäjätiedot sekä kulloinenkin tehtävä niiden jälkeen.
3. Vertaa keskenään vertailukelpoisia pyyntöjä. Laske valitulle mallille ja säilytysajalle kirjoitukset, välimuistista luettujen syötetunnusten määrä ja kokonaiskustannukset.
4. Arvioi koko työnkulku. Ota huomioon välimuistiosumien puuttuminen, säilytysajan päättymisen jälkeiset uudelleenkirjoitukset sekä tilanteet, joissa etuliitteen muutos estää sen uudelleenkäytön.

API-vastauksen mittareista voi tarkistaa välimuistista luettujen syötetunnusten ja kirjoitusten todelliset määrät; raportointitiedot vaihtelevat mallin mukaan. Mukautettava 12 tunnin säilytysaika sopii suurelle vakioetuliitteelle, jota käytetään uudelleen muutaman tunnin välein. Lyhyiden tai harvoin toistuvien pyyntöjen kohdalla mittaa ensin kirjoitukset, osumat ja kokonaiskustannukset omalla liikenteelläsi.