提示词缓存
Prompt Caching
高级通用提示词缓存(Prompt Caching)是让模型服务复用先前处理过的相同提示词前缀,避免重复处理这部分输入。它适合多次请求共用长篇项目规则的场景,可能降低输入成本和等待时间,具体效果取决于模型服务。
你可能会说:「我的 AI 工具每次都要读同一份长规则,能不能让后面的请求少花钱、快一点?」
读之前建议先了解(这是一个高级概念)
动手看看AI 助手回答项目问题
1
第一次提问带上整份项目规则。缓存里还没有相同前缀,模型得先处理这些规则,再回答问题。
要点提示词缓存是怎么起作用的?
- 1
复用的是相同的输入前缀
你给每次请求都放上同一份产品规则,再接不同的问题。支持提示词缓存的模型服务可能复用已处理过的前缀;问题所在的变化部分仍会正常处理。
- 2
固定内容放前面更容易命中
因为复用通常依赖前缀匹配,所以我们可以把稳定的系统说明、项目约束放在前面,把当前用户的问题放在后面。即使意思相近,前缀内容或顺序变了,也可能无法命中。
- 3
收益取决于服务和请求情况
不同模型服务的支持范围、计费和缓存有效时间可能不同。你可以查看服务提供的缓存用量与延迟数据,再判断省下的输入处理是否足以改善这个功能的成本和响应速度。
容易混淆的地方
它和普通缓存的区别是:提示词缓存复用的是模型处理输入前缀的工作,不是把上次生成的答案直接返回。它也不是对话历史管理;历史消息即使被带入下一次请求,能否复用仍取决于前缀是否匹配,以及模型服务是否支持。
什么时候用
适合用
- 你做一个代码助手,每轮都附上相同的项目规则,只有用户任务和当前代码片段会变化。
- 你做客服 AI,多次请求共用较长的产品说明,再分别回答用户的新问题。
- 你做文档分析工具,同一份长文档要供用户连续提问,且所用模型服务支持前缀复用。
不适合用
- 你只调用一次模型,输入也很短;没有可重复利用的内容,先把请求本身写清楚就够了。
- 你想对完全相同的请求直接返回同一个现成答案;这更适合在应用层缓存结果。
- 等待时间主要花在外部工具调用上;提示词缓存解决不了工具慢的问题,先检查工具和网络耗时。
练一练选一个答案,看看解释
你做了一个代码助手,每轮都发送很长的项目规范,再附上不同的用户任务。所用模型服务支持提示词缓存。怎样调整更可能获得收益?
让 AI 帮你做复制给 AI Agent 直接用
请检查这个 AI 功能的请求结构和模型服务是否支持提示词缓存。把多轮请求共用的长规则放在稳定的前缀,变化的任务放在后面;不要改变规则含义。说明如何查看缓存用量,并对比调整前后的输入成本和延迟。