点击蓝字关注我们
2024年8月14日，旧金山 - 人工智能公司Anthropic今日宣布在其API中引入提示缓存(prompt caching)功能，这一创新将显著降低开发者的使用成本，并提高AI模型的响应速度。
提示缓存功能目前已在Claude 3.5 Sonnet和Claude 3 Haiku模型的公开测试版中推出，而最大规模的Claude模型Opus也将很快支持此功能。
这项技术允许用户在会话中保留频繁使用的上下文信息。随着模型记住这些提示，用户可以添加额外的背景信息而不会增加成本。Anthropic表示，早期用户"在各种使用场景中都看到了提示缓存带来的显著速度和成本改善"。
价格方面，使用缓存提示"显著低于"基本输入令牌价格。以Claude 3.5 Sonnet为例，写入缓存的提示成本为每百万令牌3.75美元，而使用缓存提示仅需0.30美元，相比3美元的基本输入价格节省了90%。
Anthropic工程师Alex Albert在社交媒体上解释道："首次API调用略贵（用于将提示存储在缓存中），但所有后续调用的价格仅为正常价格的十分之一。"
然而，AI专家Simon Willison指出，Anthropic的缓存只有5分钟的生命周期，每次使用时都会刷新。这与Google Gemini的上下文缓存略有不同，后者按小时收费以保持缓存活跃。
提示缓存功能的推出标志着AI平台之间在为第三方开发者提供低成本选项方面的竞争进一步加剧。这一备受期待的功能将为开发者带来更多灵活性和成本效益，有望推动AI应用的进一步普及和创新。
（新闻稿完）
对雨生的文章感兴趣吗？
可以入群了解
