大模型 API 提示词缓存(Prompt Caching)省钱与命中指南
多轮 Agent、RAG 知识库与固定长系统提示词场景下,保持请求前缀稳定并正确启用提示词缓存,可将重复上下文的读取单价压到常规输入的一小部分。
提示词缓存(Prompt Caching)为什么能省钱?
在编码 Agent(如 Claude Code、Cursor、Cline)或知识库问答中,每轮对话都会重复发送几千到上万 Token 的系统指令、项目规则或工具列表。命中提示词缓存后,网关与上游只需按缓存读取单价计费,远低于全量输入单价(各模型实时缓存读写单价见 定价页)。
Claude 与 GPT 的缓存机制有什么区别?
| 模型家族 | 推荐接入协议 | 缓存怎么触发与生效 |
|---|---|---|
| Claude 5.x(Sonnet / Opus / Fable) | Anthropic Messages(/v1/messages) |
需保持 system、tools 与历史前置消息前缀稳定;原生接入时通过 cache_control 或客户端(如 Claude Code)自带断点生效 |
GPT 文本(gpt-6.1-sol、gpt-6-astra 等) |
OpenAI Responses(/v1/responses) |
保持长固定上下文置于请求前部,由上游自动前缀匹配;可在响应 usage 中核对缓存读取 Token |
让缓存命中率翻倍的 4 个工程习惯
- 把动态内容全部放到请求末尾:不要把当前时间戳、随机 Request ID 或每轮变化的用户画像插在
system最前面;任何开头 1 个字符的改动都会让整段前缀缓存失效。 - 工具列表(
tools)顺序保持固定:Agent 框架若每轮按字典或 Set 无序重排工具定义,会反复触发重新缓存写入。 - 优先走原生协议:Claude 尽量通过 Claude Code 或 Anthropic SDK 走
/v1/messages,GPT 优先通过 OpenAI SDK 走/v1/responses。 - 在控制台使用日志核对缓存消费:跑完几轮长对话后,到深云控制台「使用日志」检查
cache_read与cache_write计数;如果持续只写入不读取,优先排查提示词前缀是否在每轮发生变化。
常见问题
- 为什么我的请求一直产生缓存写入费用,却没有命中缓存读取?
- 最常见原因是每轮请求的 system prompt、tools 顺序或前置消息里混入了时间戳、会话随机数等变化内容,导致前缀无法与上一轮匹配。
- 命中缓存后,输出(Output)Token 也会打折吗?
- 不会。提示词缓存只针对重复输入前缀中的缓存读取部分降低单价,模型新生成的输出 Token 仍按正常输出单价计费,各模型实时单价以 /pricing 为准。
- 不同模型、不同线路之间能共享同一份缓存吗?
- 不能。缓存与具体模型、前缀序列及请求通道强绑定,频繁跨模型切换会重新触发冷启动写入,长上下文多轮任务建议固定主力型号连续运行。
更新于