大模型 API 提示词缓存(Prompt Caching)省钱与命中指南

多轮 Agent、RAG 知识库与固定长系统提示词场景下,保持请求前缀稳定并正确启用提示词缓存,可将重复上下文的读取单价压到常规输入的一小部分。

提示词缓存(Prompt Caching)为什么能省钱?

在编码 Agent(如 Claude Code、Cursor、Cline)或知识库问答中,每轮对话都会重复发送几千到上万 Token 的系统指令、项目规则或工具列表。命中提示词缓存后,网关与上游只需按缓存读取单价计费,远低于全量输入单价(各模型实时缓存读写单价见 定价页)。

Claude 与 GPT 的缓存机制有什么区别?

模型家族 推荐接入协议 缓存怎么触发与生效
Claude 5.x(Sonnet / Opus / Fable) Anthropic Messages(/v1/messages) 需保持 system、tools 与历史前置消息前缀稳定;原生接入时通过 cache_control 或客户端(如 Claude Code)自带断点生效
GPT 文本(gpt-6.1-sol、gpt-6-astra 等) OpenAI Responses(/v1/responses) 保持长固定上下文置于请求前部,由上游自动前缀匹配;可在响应 usage 中核对缓存读取 Token

让缓存命中率翻倍的 4 个工程习惯

  1. 把动态内容全部放到请求末尾:不要把当前时间戳、随机 Request ID 或每轮变化的用户画像插在 system 最前面;任何开头 1 个字符的改动都会让整段前缀缓存失效。
  2. 工具列表(tools)顺序保持固定:Agent 框架若每轮按字典或 Set 无序重排工具定义,会反复触发重新缓存写入。
  3. 优先走原生协议:Claude 尽量通过 Claude Code 或 Anthropic SDK 走 /v1/messages,GPT 优先通过 OpenAI SDK 走 /v1/responses。
  4. 在控制台使用日志核对缓存消费:跑完几轮长对话后,到深云控制台「使用日志」检查 cache_read 与 cache_write 计数;如果持续只写入不读取,优先排查提示词前缀是否在每轮发生变化。

常见问题

为什么我的请求一直产生缓存写入费用,却没有命中缓存读取?
最常见原因是每轮请求的 system prompt、tools 顺序或前置消息里混入了时间戳、会话随机数等变化内容,导致前缀无法与上一轮匹配。
命中缓存后,输出(Output)Token 也会打折吗?
不会。提示词缓存只针对重复输入前缀中的缓存读取部分降低单价,模型新生成的输出 Token 仍按正常输出单价计费,各模型实时单价以 /pricing 为准。
不同模型、不同线路之间能共享同一份缓存吗?
不能。缓存与具体模型、前缀序列及请求通道强绑定,频繁跨模型切换会重新触发冷启动写入,长上下文多轮任务建议固定主力型号连续运行。

更新于