Google 正在其 Gemini API 中推出一项功能，该公司声称这将使其最新 AI 模型对第三方开发者来说更加便宜。
Google 将这一功能称为“隐式缓存”（implicit caching），并表示它可以通过 Gemini API 向模型传递“重复上下文”，从而节省高达 75% 的成本。该功能支持 Google 的 Gemini 2.5 Pro 和 2.5 Flash 模型。
对于开发者来说，这很可能是一个好消息，因为使用前沿模型的成本正在继续增长。
我们刚刚在 Gemini API 中推出了隐式缓存功能，当请求命中缓存时，可自动为 Gemini 2.5 模型实现 75% 的成本节约 🚢 我们还降低了命中缓存所需的最小 token 数量：2.5 Flash 为 1K，2.5 Pro 为 2K！—— Logan Kilpatrick (@OfficialLoganK) 2025年5月8日
缓存是 AI 行业中广泛采用的一种做法，通过复用模型中频繁访问或预计算的数据，以减少计算需求和成本。例如，缓存可以存储用户经常向模型提出的问题答案，从而避免模型需要重新生成相同请求的答案。
Google此前提供过模型提示词缓存功能，但仅支持显式提示词缓存，这意味着开发者必须定义其最高频的提示词。尽管成本节约本应得到保证，但显式提示词缓存通常涉及大量手动工作。
一些开发者对Google的显式缓存在Gemini 2.5 Pro上的工作方式并不满意，他们称这可能导致出乎意料的高昂API账单。过去一周，投诉达到高潮，促使Gemini团队道歉并承诺做出改变。
与显式缓存不同，隐式缓存是自动化的。该功能默认启用，适用于 Gemini 2.5 模型，当针对模型的 Gemini API 请求命中缓存时，即可享受成本节约。
“[当]您向其中一个Gemini 2.5模型发送请求时，如果该请求与之前的某个请求共享共同前缀，那么它就符合缓存命中条件，”Google在一份博客文章中解释道，“我们将动态地将成本节约返还给您。”
根据Google的开发文档，隐式缓存的最小提示词令牌数为2.5 Flash是1,024，2.5 Pro是2,048，据Google的开发文档所述，这并不是一个非常大的数量，意味着触发这些自动节约并不需要太多工作量。令牌是模型处理的原始数据位，一千个令牌大约相当于750个单词。
鉴于 Google 此前关于缓存带来成本节约的说法曾引发争议，这项新功能存在一些需要谨慎对待的地方。首先，Google 建议开发者将重复上下文放在请求的开头，以提高隐式缓存命中的几率。公司表示，可能在不同请求之间变化的内容应附加在末尾。
其次，Google 并未提供任何第三方验证来证明新的隐式缓存系统能够实现所承诺的自动成本节约。因此，我们需要看看早期采用者会如何评价。