DigitalOcean 提示词缓存正式上线，Agent 上下文最高省 90%

DigitalOcean 无服务器推理（Serverless Inference）的提示词缓存（Prompt Caching）现已正式可用，开放模型目录中所有受支持的模型均可使用，无需修改现有请求代码。缓存输入 Token 的费用最高可降低 90%，首 Token 延迟最高可降低 80%。

Agent 不会每次执行任务都从头开始。每次发起新请求时，它都会在已有上下文的末尾追加上一次工具调用的结果，而这个上下文中早已包含系统提示词、工具定义、读取过的所有文件，以及此前执行的每一步操作及其结果。在 DigitalOcean 无服务器推理中，Agent 发送的输入 Token 有超过 90% 都是模型此前已经处理过的内容。提示词缓存可以根据模型不同，将这些 Token 的费用最高降低 90%，但前提是请求能够到达保存了对应缓存的推理副本。如果没有考虑缓存状态的路由机制，重复请求就只能由负载均衡器随机分配到某个副本；一旦请求被发送到错误的副本，你就需要为已经发送过的 Token 再次支付全额费用。

DigitalOcean 的缓存亲和路由（Cache Affinity）会将每个请求发送到已经缓存了大部分提示词内容的推理副本。你不需要管理 Session ID：同一段对话的第二条消息本身就包含第一条消息的内容，因此路由器可以自动识别匹配的缓存。在 DigitalOcean 于 2026 年 10 月进行的测试中，主力开放模型的缓存命中率达到了 85%–95%。

缓存亲和路由如何让缓存命中率更加稳定

缓存的上下文存储在某个特定的推理副本上。如果下一次请求被发送到其他副本，由于那个副本没有对应的缓存，即使提示词中有大量重复内容，你仍然需要支付全额费用。无服务器推理的流量通常分布在多个副本上。如果没有机制将重复请求引导回正确的副本，缓存能否命中基本就只能碰运气。

在公测（Public Preview）期间，所有用户都可以使用提示词缓存，也确实能享受折扣，但能否命中缓存，很大程度上取决于运气。缓存亲和路由解决了这个问题。对于每个请求，路由器都会检查哪些副本已经缓存了该请求的大部分提示词内容，先筛选出这些已预热的副本，再从中选择当前负载最低的副本来处理请求。如果还没有任何副本缓存相关内容，路由器就会退回到整个副本池进行负载均衡。

你同样不需要管理 Session ID：同一段对话的第二条消息已经包含第一条消息的内容，路由器能够自动识别缓存匹配，并将请求发送到已有缓存的副本。

在 DigitalOcean 的内部测试中，针对主力模型，缓存亲和路由将缓存命中率从 30% 多提升到了 90% 以上。GLM-5.3 的缓存命中率从个位数提升至 88%–95%；在 Kimi K3 的基准测试中，前缀复用率在较短提示词下达到 84%，在较长提示词下则达到 92% 以上。**

核心功能一览

正式可用版本新增了两项开发者控制功能，扩大了上下文窗口，并提供了一个用于查看缓存效果的仪表盘。

在同一账户内隔离不同流量

DigitalOcean 默认会在不同账户之间隔离缓存。prompt_cache_key 则允许你在自己的账户内部进一步区分流量。例如，你可以将法务团队使用的缓存上下文与市场团队的缓存分开，也可以将不同终端客户的缓存相互隔离。

使用不同 Key 的请求不会共享缓存，但每个分组仍然可以正常使用缓存。该参数是可选的，也不会将请求固定到某个特定的推理副本。

POST https://inference.do-ai.run/v1/chat/completions

{

  "model": "kimi-k3",

  "messages": [ "... your system prompt, tools, and conversation ..." ],

  "prompt_cache_key": "tenant-4821-support-agent"

}

Responses API：同样享受缓存折扣

除了 Chat Completions API，现在 Responses API 也支持提示词缓存。每次响应都会准确报告命中的缓存 Token 数量，让你能够逐个请求核实实际节省的费用。

更大的上下文窗口：256K Token 及以上

提示词缓存只能作用于上下文窗口范围内的内容。正式可用版本将上下文窗口扩大到 256K Token 及以上，这意味着更长的代码库、文档或持续进行中的对话，可以有更多内容作为一个完整的前缀被缓存和复用。

缓存命中率与节省金额仪表盘：直观了解缓存效果

每次响应本来就会报告命中缓存和未命中缓存的 Token 数量。现在，控制面板中新增了提示词缓存仪表盘，可以展示缓存对你自身流量的实际影响，包括缓存命中率的变化趋势、各模型的具体表现，以及预估节省的费用。借助这些数据，你可以找出缓存效果不理想的提示词，并针对性地进行优化。

如何开始使用

提示词缓存会自动应用于所有符合条件的请求，无需手动开启。prompt_cache_key 是可选参数，只有在你希望自行对流量进行分组或隔离时才需要使用。

1. 打开 DigitalOcean 控制面板中的无服务器推理（Serverless Inference），如果还没有模型访问密钥，请先生成一个。
2. 按照现有方式向 https://inference.do-ai.run/v1 发送请求，无需修改原有调用逻辑。
3. 只有在需要将某个会话的请求引导至相应缓存，或希望主动隔离不同流量时，才需要在请求中添加 prompt_cache_key。

缓存命中的 Token 会根据模型不同享受最高 90% 的折扣；未命中缓存的 Token 则按照标准输入价格计费。每次响应都会准确告诉你分别使用了多少缓存和非缓存 Token。

默认情况下，不同账户之间的缓存相互隔离；你也可以通过缓存隔离 Key，在自己的账户内进一步区分不同流量。目前，提示词缓存已在 DigitalOcean 开放模型目录中上线，后续还将逐步扩大支持范围。

注：文中数据来自 DigitalOcean 于 2026 年 10 月进行的基准测试。你的实际结果可能有所不同。