AInspiro
技术趋势

OpenAI 把提示词缓存拉长到 12 小时,常驻智能体一天能省七成

AInspiro 编辑部·
部分内容由 AI 辅助创作。

缓存从半小时拉到半天

十月二十日,OpenAI 给 Responses API 加了个新档位:prompt_cache_options.ttl 可以设成「12h」。意思是系统指令、工具定义、固定参考文档这些不变的「前缀」,在两次请求隔几个小时再命中时,仍然按缓存价计费,而不是重新全价算一遍。前提是模型得是 GPT-5.6 及之后,而且前缀至少一千零二十四個可见 token 才进缓存。

贵在写入、便宜在等待

账很好算。默认的三十分钟档,写入按输入价的 1.25 倍;新的十二小时档,写入按 2.5 倍。读取两边一样便宜,大多模型 0.1 倍,GPT-6.1 Sol 更狠到 0.05 倍。所以十二小时档不是白捡,它让你先多付一倍写入费,换的是智能体待机、排队、等用户回复的那几个小时里,长提示不会被清空重算。

第三个请求才回本

关键看访问节奏。如果同一份前缀在半小时以上、十二小时以内的间隔里被反复用,十二小时档从第三次起就开始比默认档便宜。CellCog 算过一个例子:一个十万 token 前缀、每小时调一次的智能体,跑在 GPT-6.1 Sol 上,用十二小时档一天约零点六一美元,默认档要二点四美元。对一整天反复用同一套指令和工具的常驻智能体,这就是实打实的节省。

坑在设置位置

十二小时档不是开得越满越好。如果你把 ttl 写在请求顶层,它会同时作用于隐式缓存断点,对话每一轮新增的 token 也按 2.5 倍写入价计费,长对话的账单反而涨。正确做法是用 prompt_cache_breakpoint.ttl 把显式断点放在全天复用的稳定材料末尾——系统指令、工具说明、固定参考文档到此为止,每天变化的用户输入留在断点之外。一次性问答和短会话继续用默认档更划算。

Codex 用户白捡

面向 API 的计费调整之外,Codex 和 ChatGPT Work 的已登录用户走另一套规则:缓存改成「永久保留」,回到几天前的旧对话也不会因为缓存过期而多付费或变慢。这是 Codex 连续发布节奏里的一次静默更新,普通用户感知不到,但消除了「离开一会儿等于重新开一轮」的隐性成本。对跑长任务的开发者,这比十二小时档更省心。

谁最该开这个档

判断标准很具体:你有没有一份又长又几乎不变的前缀,被隔半小时以上、半天内反复用。典型的就是常驻智能体、定时任务、客服问答里那段固定的系统指令加工具说明。如果你的流量是「一次性问答」或者「每轮都换一整套上下文」,默认三十分档更划算,硬开十二小时档只会让写入费翻倍。CellCog 那个例子里,每小时调一次、十万 token 前缀,才是十二小时档真正发光的地方。

友商被架在火上烤

这步是 OpenAI 在智能体成本战里又加了一档。它把「长 TTL 缓存」摆上台面,等于给 Anthropic 和谷歌递了压力:要么也把缓存保留时间拉长,要么在常驻智能体的账单上显得更贵。更有意思的是,把写入、读取分开计价的模式,很可能变成几家大厂的默认标准。以后做智能体编排,缓存配置会变成基础设施的一部分,不是可选项。

观测面要跟着改

一旦开了十二小时档,你的成本看板得分开看「写入」和「读取」两笔账。很多团队的仪表盘还把提示词成本当一笔糊涂账,到时候会被 2.5 倍写入吓一跳。正确姿势是给每个长前缀单独打标签,盯它的命中率和回本次数;连续几天命中低,就说明这份材料其实没被复用,该退回默认档。缓存配置该写进编排层,别散落在各处的请求里。

频率比时长更关键

很多人盯着「十二小时」这个数,其实更该看的是你的调用间隔落在哪个区间。如果两次请求间隔不到半小时,默认档本来就不失效,开十二小时档纯属多付写入。如果间隔超过十二小时,缓存到点也过期了,两个档都救不了,得靠把前缀拆短或提高复用率。真正吃得到十二小时档红利的,是那种「半小时到十二小时之间、反复用同一份长前缀」的活儿——定时报表、隔夜批处理、长时间挂着的智能体。先量自己的间隔分布,再决定开不开。

跟你有啥关系

只要你用 Responses API 跑常驻或定时智能体,这个档位就值得看一眼。判断标准只有一条:同一份长指令是不是经常在半小时以上、半天内被复用。是,就切十二小时档;不是,别动。别把所有请求都设成 2.5 倍写入,那只会让账单变厚。把断点放在稳定材料末尾,才是真正省钱的位置。