cached_tokens 占 prompt_tokens 的比例,命中高说明重复多、越该缓存;一直为 0 就是前缀在变,得查。
.env 里放好 OPENAI_API_KEY。若 import 报 AttributeError,跑 pip show openai 看 Version——<1.0 用老式 openai.Completion 写法。
# 依赖:pip install openai python-dotenv(基于 openai 1.x 新 SDK)
# 若 import 报 AttributeError,跑 pip show openai 看 Version;<1.0 用老式 openai.Completion 写法
import os, time
from dotenv import load_dotenv
load_dotenv() # .env 里放 OPENAI_API_KEY=sk-xxx
import openai
openai.api_key = os.getenv("OPENAI_API_KEY") # 走全局,别在每个调用塞 key
# 一段长且稳定的 system(业务规范/说明),凑够约 1024+ tokens 才触发缓存
SYSTEM = """你是一家公司的售后助手。以下为服务规范,务必遵守:
1. 退换货需在签收后 7 天内发起,逾期需主管审批。
2. 运费默认由买家承担,质量问题由公司承担并补偿。
3. 优惠券不与限时活动叠加,大促期间以活动页为准。
4. 发票在发货后 30 天内可申请,电子发票优先。
5. 客服禁止承诺具体到达时间,只给物流预估区间。
(此处继续补充业务条款,使整段稳定内容达到约 1024 tokens 以上,缓存才会生效)
"""
def ask(question: str) -> None:
r = openai.chat.completions.create(
model="gpt-4o-mini",
messages=[
{"role": "system", "content": SYSTEM},
{"role": "user", "content": question},
],
)
u = r.usage
cached = u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0
pin = 0.15 # gpt-4o-mini 输入单价 $/1M(OpenAI 公开定价)
rate = 0.1 # 命中缓存 token 单价约为正常的 1/10
saved = cached / 1_000_000 * pin * (1 - rate)
print(f"问题:{question} | 命中缓存 {cached} token | 输入 {u.prompt_tokens} token | 省约 ${saved:.5f}")
for q in ["怎么申请退货", "运费谁出", "七天从哪天算"]:
ask(q)
问题:怎么申请退货 | 命中缓存 1024 token | 输入 1090 token | 省约 $0.0135
问题:运费谁出 | 命中缓存 1024 token | 输入 1066 token | 省约 $0.0135
问题:七天从哪天算 | 命中缓存 1024 token | 输入 1078 token | 省约 $0.0135
SYSTEM 换成业务里真实的长指令或长文档,把循环换成真实提问流,跑一周就能看出账单变化。
cached_tokens 就不知道命中没有。上线后盯这个字段,长期为 0 说明前缀在漂。
只要记住——模型按 token 收钱,不变的内容反复发就是反复付费;把长且稳定的前缀开缓存,重复的部分只算一次钱。
有人做客服助手,system 写了几百字规范,每条消息都重传,开了缓存后月成本砍了近四成;反过来也有人把日期写进前缀开头,缓存天天失效还没察觉。
下篇讲调用老超时?重试加退避怎么写才稳(附代码)。你现在的 system 或长文档,是每次都重传,还是已经开了缓存?评论区聊聊。有用的话点个在看,转给也在被重复账单困扰的朋友。
①模型怎么挑才不冤?一张评测清单(附代码)
②全用GPT-4?把粗活分给便宜的(模型编排)
③最小 RAG 问答:带代码半小时跑通,搭建自己的知识库(实战)
④选错模型多花 10 倍钱?开源和闭源到底差在哪
⑤用 MCP 把你的文件、数据库接给 AI,半小时打通(MCP 接入)

