大数跨境

别让 system prompt 每次重传:提示词缓存怎么开才真省钱

别让 system prompt 每次重传:提示词缓存怎么开才真省钱 IO日记
2026-09-18
0
导读:同一段 system 每次重传都重新计费?提示词缓存让稳定前缀只算一次钱,长文/RAG/客服场景月账单能砍一大截。附可跑代码。
别让 system prompt 每次重传:提示词缓存怎么开才真省钱
 网上见过有人做客服助手,system prompt 写了几百字业务规范,每个用户问一句都整段重传重算,月底一看账单,一大半钱花在那段从不变化的 system 上。后来把这段开了缓存,重复的部分直接打折,月成本砍了近四成。模型不是按"一次对话"收费,是按 token 收费——不变的内容反复发,就是反复掏钱。这篇讲清楚提示词缓存怎么开、哪些场景最该开,外加一个能跑的脚本。 
一、为什么在重复付费
大模型按 token 计费,每次请求都把整段输入重新算一遍。输入里通常混着三类:会变的是用户那一句提问;不变的是 system 指令、few-shot 示例、塞进来的长文档。后三类在同一类业务里几乎不动,却每次都被重新传输、重新计费。有人做内部知识库问答,每次把同一份三十页制度文档塞进上下文,一天几万次请求,等于把那份文档算了几万遍——花的钱里绝大部分是重复的。有人估过,把这份文档开缓存后,同类请求输入 token 从三千多掉到三百出头,单类请求便宜近九成。请求量越大、不变前缀越长,这种"重复税"越狠。
一句话决策:模型按 token 收钱,不变内容反复发就是反复付费;把长且稳定的前缀开缓存,重复部分只算一次钱。
二、缓存到底是什么
提示词缓存(prompt caching)把输入里稳定的前缀暂存下来,后续请求命中后,这段 token 不再重新计费,按打折价算。OpenAI 和 Claude 都支持:命中缓存的 token 单价大约是正常的十分之一(按 OpenAI 公开定价粗算,gpt-4o-mini 输入 $0.15/1M,缓存命中约 $0.015/1M)。代价是缓存有门槛——OpenAI 通常要求前缀达到约 1024 tokens 才触发,且前缀必须稳定一致;Claude 也类似,要对缓存段打标记。所以缓存不是"开了就省",是"把不变的长内容放最前、保持不动"才省。有人以为加个参数就生效,结果每次在 system 末尾拼了时间戳,前缀一直变,缓存从没命中过。判断命中没有也很简单:看返回用量里 cached_tokens 占 prompt_tokens 的比例,命中高说明重复多、越该缓存;一直为 0 就是前缀在变,得查。
三、一个能跑的缓存脚本
下面用 openai 1.x 的 SDK 演示:一段长且稳定的 system,连着问三个问题,打印每次命中了多少缓存 token。复制前先装依赖(见代码顶部注释),并在 .env 里放好 OPENAI_API_KEY。若 import 报 AttributeError,跑 pip show openai 看 Version——<1.0 用老式 openai.Completion 写法。

# 依赖:pip install openai python-dotenv(基于 openai 1.x 新 SDK)

# 若 import 报 AttributeError,跑 pip show openai 看 Version;<1.0 用老式 openai.Completion 写法

import os, time

from dotenv import load_dotenv

load_dotenv()  # .env 里放 OPENAI_API_KEY=sk-xxx

import openai

openai.api_key = os.getenv("OPENAI_API_KEY")  # 走全局,别在每个调用塞 key


# 一段长且稳定的 system(业务规范/说明),凑够约 1024+ tokens 才触发缓存

SYSTEM = """你是一家公司的售后助手。以下为服务规范,务必遵守:

1. 退换货需在签收后 7 天内发起,逾期需主管审批。

2. 运费默认由买家承担,质量问题由公司承担并补偿。

3. 优惠券不与限时活动叠加,大促期间以活动页为准。

4. 发票在发货后 30 天内可申请,电子发票优先。

5. 客服禁止承诺具体到达时间,只给物流预估区间。

(此处继续补充业务条款,使整段稳定内容达到约 1024 tokens 以上,缓存才会生效)

"""


def ask(question: str) -> None:

    r = openai.chat.completions.create(

        model="gpt-4o-mini",

        messages=[

            {"role": "system", "content": SYSTEM},

            {"role": "user", "content": question},

        ],

    )

    u = r.usage

    cached = u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0

    pin = 0.15  # gpt-4o-mini 输入单价 $/1M(OpenAI 公开定价)

    rate = 0.1  # 命中缓存 token 单价约为正常的 1/10

    saved = cached / 1_000_000 * pin * (1 - rate)

    print(f"问题:{question} | 命中缓存 {cached} token | 输入 {u.prompt_tokens} token | 省约 ${saved:.5f}")


for q in ["怎么申请退货", "运费谁出", "七天从哪天算"]:

    ask(q)

(示意输出,实际由模型现场生成)

问题:怎么申请退货 | 命中缓存 1024 token | 输入 1090 token | 省约 $0.0135

问题:运费谁出 | 命中缓存 1024 token | 输入 1066 token | 省约 $0.0135

问题:七天从哪天算 | 命中缓存 1024 token | 输入 1078 token | 省约 $0.0135

脚本逻辑:把稳定 system 放最前,连着问三个不同的用户问题。第一次请求把前缀写入缓存(命中可能为 0),后两次前缀一致就命中,命中部分按打折价计费——打印的"省约"就是这段重复 token 少花的钱。把 SYSTEM 换成业务里真实的长指令或长文档,把循环换成真实提问流,跑一周就能看出账单变化。
四、怎么让命中率最高
稳定内容必须放最前。模型只缓存"从开头起连续一致"的前缀,一旦中间被改动,后面整段失效。有人图方便把用户 ID 拼在 system 末尾,没事;但有人把当天的日期写进 system 开头,每天变一次,缓存天天失效。长文档、RAG 检索回来的上下文、few-shot 示例这些"又长又不变"的,最该放进缓存前缀。还有淘汰时间:缓存不是永久的,OpenAI 闲置约 5–10 分钟就清掉,所以适合"短时间内有大量相似请求"的场景(比如客服高峰、批量处理),不适合一天只来一次的冷请求。请求量够大才值回票价。缓存和模型编排是两层叠加的省钱:编排让难活才上贵模型、粗活派便宜的,缓存让不变内容只算一次钱——两个一起用,账单才真正瘦下来;只开一个,另一层浪费还在。
五、新手避坑 5 条
① 前缀不固定:在 system 开头拼时间戳/随机数,缓存永远不命中。稳定内容放最前且别动。
② 内容太短:低于约 1024 tokens 不触发缓存。短指令省不了,长文档才明显。
③ 误以为自动省钱:缓存要"前缀稳定 + 长度达标"才生效,开了不命中等于没开。
④ 忽略淘汰时间:闲置几分钟就清,冷请求场景开了也白开,适合批量/高峰。
⑤ 只缓存不监控:不打印 cached_tokens 就不知道命中没有。上线后盯这个字段,长期为 0 说明前缀在漂。
一句话总决策:把又长又不变的内容放最前开缓存,盯住 cached_tokens,命中才真省钱。
💬 IO 小编唠两句

只要记住——模型按 token 收钱,不变的内容反复发就是反复付费;把长且稳定的前缀开缓存,重复的部分只算一次钱。

有人做客服助手,system 写了几百字规范,每条消息都重传,开了缓存后月成本砍了近四成;反过来也有人把日期写进前缀开头,缓存天天失效还没察觉。

下篇讲调用老超时?重试加退避怎么写才稳(附代码)。你现在的 system 或长文档,是每次都重传,还是已经开了缓存?评论区聊聊。有用的话点个在看,转给也在被重复账单困扰的朋友。

📚 往期回顾

①模型怎么挑才不冤?一张评测清单(附代码)

②全用GPT-4?把粗活分给便宜的(模型编排)

③最小 RAG 问答:带代码半小时跑通,搭建自己的知识库(实战)

④选错模型多花 10 倍钱?开源和闭源到底差在哪

⑤用 MCP 把你的文件、数据库接给 AI,半小时打通(MCP 接入)

IO · 2026-09-18

【声明】内容源于网络
0
0
IO日记
1234
内容 104
粉丝 0
IO日记 1234
总阅读0
粉丝0
内容104