Michael Johnson对于一天内多次调用 API 的智能体，反复发送长篇指令会影响成本。2026 年 10 月 20 日，OpenAI 在 Responses API 中增加了 12 小时缓存期限选项：通用指令、工具和上下文可以在间隔数小时的请求之间保留，以便重复使用。OpenAI 指出，写入费率是普通输入令牌价格的 2.5 倍；这是完整的写入费率，而不是在此基础上额外加收的费用。节省多少取决于前缀的重复使用情况，以及缓存令牌的读取价格。OpenAI 更新日志中的公告标注日期为 2026 年 10 月 20 日。
这一期限适用于多阶段工作流：例如，智能体可以在上午分析文档，之后再使用相同的指令和工具继续任务。决定是否启用 12 小时期限时，应将写入成本与重复读取的开销进行比较，并考虑实际有多少请求会重复使用同一个前缀。
缓存的具体内容
提示缓存会重复利用输入中相同的起始部分。后续请求必须保持这部分内容一致；变化的数据应放在固定内容之后。OpenAI 的提示缓存指南指出，对于 GPT‑5.6 及更新的模型，可以在 Responses API 中设置 TTL `30m` 或 `12h`。12 小时是缓存条目必须保持可用于缓存读取的最低期限，并不意味着它会在恰好 12 小时后被删除。可用性和参数因模型而异。
系统指令、工具定义和稳定的处理规则都适合放在固定前缀中。当前问题、任务 ID 和最新数据则最好放在后面。如果修改了请求开头的内容，相同前缀就会变短，可重复利用的令牌数量也可能减少。
如何估算是否划算
假设稳定前缀包含 P 个令牌，发送 N 次，普通输入令牌价格为 C，所选模型的缓存读取费率为 R。如果写入一次，且之后所有请求都命中缓存，那么该前缀的费用约为 2.5PC + (N−1)PR。不使用缓存时，发送该前缀的费用为 NPC。此估算仅针对稳定前缀：还应单独考虑请求中变化的部分、缓存未命中以及额外写入。读取费率因模型而异；例如，文档列出的 GPT‑6.1 Sol 费率为普通输入令牌价格的 0.05 倍，而 GPT‑5.6 及更新模型为 0.1 倍。
在这个简化模型中，当 2.5C + (N−1)R < NC 时，缓存开始为可重复使用的前缀节省成本。实际盈亏平衡点取决于真实命中率、重复写入情况和具体费率。如果请求不频繁、指令经常变化，或每次使用的前缀都不同，额外的写入成本可能会超过读取带来的节省。
在实际工作负载中验证
- 确定基准情形。选取典型请求，记录稳定前缀长度、调用间隔，以及不使用 12 小时 TTL 时的费用。
- 区分固定内容和可变内容。将通用指令和工具架构留在开头，把用户数据和当前任务放在其后。
- 比较可比请求。针对所选模型和保留期限，统计写入次数、缓存输入令牌数量和总费用。
- 评估完整工作周期。将缓存未命中、期限到期后的重复写入，以及前缀变化导致无法重复使用的情况都纳入计算。
API 响应指标有助于核实实际缓存的输入令牌数量和写入次数；报告内容因模型而异。可配置的 12 小时期限适合较长且稳定、会以数小时为间隔重复使用的前缀。对于较短或很少重复的请求，应先在自己的流量上测量写入、命中和总成本。