Michael Johnson하루 업무 시간 동안 API를 여러 차례 호출하는 에이전트라면 긴 지침을 반복해서 전송하는 일이 비용에 영향을 줍니다. 2026년 10월 20일, OpenAI는 Responses API에 12시간 캐시 기간을 선택하는 기능을 추가했습니다. 공통 지침, 도구, 컨텍스트를 몇 시간 간격으로 이루어지는 요청 사이에서 재사용할 수 있습니다. OpenAI가 안내한 기록 요율은 일반 입력 토큰 가격의 2.5배입니다. 이는 그 위에 추가로 붙는 할증이 아니라 기록에 적용되는 전체 요율입니다. 절감 효과는 프롬프트 접두부의 재사용 여부와 캐시 읽기 토큰 가격에 따라 달라집니다. OpenAI 변경 로그의 공지는 2026년 10월 20일자로 게시되었습니다.
이 기간은 여러 단계로 진행되는 작업 흐름을 염두에 두고 있습니다. 예를 들어 에이전트가 아침에 문서를 분석한 다음, 같은 지침과 도구를 사용해 나중에 작업을 이어갈 수 있습니다. 12시간 기간을 설정할지 결정하려면 기록 비용과 반복 읽기 비용을 비교하고, 실제로 같은 접두부를 재사용하는 요청이 얼마나 되는지 고려해야 합니다.
무엇이 캐시되는가
프롬프트 캐싱은 입력의 일치하는 시작 부분을 재사용합니다. 후속 요청에서도 해당 부분을 동일하게 유지해야 하며, 변경되는 데이터는 고정된 부분 뒤에 배치하는 것이 좋습니다. OpenAI의 프롬프트 캐싱 가이드에 따르면 GPT‑5.6 및 이후 모델의 Responses API에서는 TTL을 `30m` 또는 `12h`로 설정할 수 있습니다. 12시간은 기록이 캐시 읽기에 사용할 수 있는 상태로 유지되어야 하는 최소 기간이지, 정확히 12시간 후 삭제된다는 보장은 아닙니다. 이용 가능 여부와 설정은 모델에 따라 다릅니다.
시스템 지침, 도구 정의, 안정적인 처리 규칙은 고정 접두부에 넣으면 유용합니다. 현재 질문, 작업 식별자, 최신 데이터는 뒤에 추가하는 편이 좋습니다. 요청의 앞부분을 변경하면 일치하는 접두부가 짧아지고 재사용되는 토큰량이 줄어들 수 있습니다.
비용 효율성 계산하기
안정적인 접두부에 P개의 토큰이 있고, 이를 N회 전송하며, 일반 입력 토큰 가격이 C, 선택한 모델의 캐시 읽기 요율이 R이라고 가정해 보겠습니다. 한 번 기록한 뒤 이후 모든 요청에서 캐시 적중이 발생하면, 해당 접두부 비용은 대략 2,5PC + (N−1)PR입니다. 캐시를 사용하지 않으면 접두부 전송 비용은 NPC입니다. 이 계산은 안정적인 접두부에만 해당합니다. 변경되는 요청 부분, 캐시 미적중, 추가 기록은 별도로 고려해야 합니다. 읽기 요율은 모델마다 다릅니다. 예를 들어 문서에는 GPT‑6.1 Sol의 경우 일반 입력 토큰 가격의 0,05, GPT‑5.6 및 이후 모델의 경우 0,1로 안내되어 있습니다.
이 단순화된 모델에서 재사용 접두부의 비용을 절감하려면 2,5C + (N−1)R < NC여야 합니다. 실제 손익분기점은 실제 캐시 적중률, 반복 기록, 구체적인 요금제에 따라 달라집니다. 요청이 드물거나 지침이 자주 바뀌거나 접두부가 매번 고유하다면, 추가 기록 비용이 읽기 절감액보다 클 수 있습니다.
실제 작업 부하에서 검증하기
- 기준 시나리오를 설정합니다. 일반적인 요청, 안정적인 접두부의 길이, 호출 간격, 12시간 TTL을 사용하지 않을 때의 비용을 파악합니다.
- 고정 부분과 변경 부분을 나눕니다. 공통 지침과 도구 스키마는 앞부분에 두고, 사용자 데이터와 현재 작업은 그 뒤에 배치합니다.
- 조건이 비슷한 요청끼리 비교합니다. 선택한 모델과 보존 기간에 대해 기록 횟수, 캐시된 입력 토큰량, 총비용을 계산합니다.
- 전체 작업 주기를 평가합니다. 캐시 미적중, 기간 만료 후 재기록, 접두부 변경으로 재사용이 어려워지는 경우를 고려합니다.
API 응답 지표를 통해 실제 캐시 입력 토큰량과 기록량을 확인할 수 있으며, 보고 항목은 모델에 따라 다릅니다. 설정 가능한 12시간 기간은 몇 시간 간격으로 반복 사용되는 안정적인 대형 접두부에 적합합니다. 짧거나 드물게 재사용되는 요청이라면, 먼저 실제 트래픽에서 기록량, 적중률, 총비용을 측정하세요.