OpenAI发布了更经济的GPT-6 Sol和Luna模型,不仅将Token价格减半,还通过升级提示词缓存机制、提高缓存命中率以及推出诊断面板,双管齐下帮助开发者大幅降低AI代理成本。
译自:OpenAI cut GPT-6 token prices in half. The bigger lever may be the cache.[1]
作者:Meredith Shubel
OpenAI周二发布了 GPT-6 Sol and Luna[2],本质上它们是 GPT-6 Astra 的更实惠版本,在对齐方面比 GPT-5.6 Sol 更接近 Astra[3],但仍逊色于旗舰模型。
最值得注意的是,这家AI公司大幅削减了 Token 价格,使得新 GPT-6 模型的使用成本显著降低。不过,除了 Token 价格之外,OpenAI 表示,更好的缓存技术也能帮助开发者进一步压低成本。
据 OpenAI[4] 称:“缓存和推理方面的改进让我们能够以更低的成本提供这些模型,”Sol 和 Luna 的 API 价格与其 GPT-5.6 对应版本相比下降了 50%(Luna 的输出 Token 价格更是降低了 58%)。
有哪些改进?具体来说,默认缓存命中率更高,在推理工作量和工具可用性发生变化时仍能保留先前上下文的能力,以及用于监控和诊断缓存性能的新工具。
无需从头开始即可重复使用上下文
当然,提示词缓存对全新的 GPT-6 模型来说并不是什么新鲜事。但升级后的 Sol and Luna 带来了一些改进,旨在当代理在任务中推进时,保持更多先前处理过的上下文可重复使用。
“我们改进了 GPT‑6 的提示词缓存,以默认提供更高的缓存命中率,帮助代理重复使用更多上下文、响应更快,并享受缓存输入 Token 读取 90% 的折扣。”
这为降低本已很低的 API 价格提供了又一个机会,尽管 90% 的缓存输入折扣与 GPT-5.6 的定价相匹配;而新颖之处在于缓存被命中的频率。通过利用缓存上下文来重复使用已经完成的工作,模型无需在每次单独调用时都从头开始处理相同的上下文,从而减少了延迟——以及 Token 成本。
除了这种更高的默认缓存命中率外,OpenAI 表示,新的 GPT-6 模型提供了更大的灵活性来优化缓存性能。
新模型允许开发者调整推理工作量和工具可用性,而无需打破缓存。通过这种方式,代理可以根据步骤的难度上下调整推理工作量,然后根据任务需求提供不同的工具,而不会干扰先前缓存的上下文——这再次实现了速度和成本的双赢。
查看缓存了什么,未缓存什么
GPT-6 Sol and Luna 还配备了一个提示词缓存仪表板(Prompt Caching Dashboard),OpenAI 表示,开发者可以在这里查看缓存性能,以了解重用了多少上下文。
具体来说,他们可以查看缓存了多少输入,以及该数量随时间的变化情况。然后,诊断工具会标记出未命中缓存的地方,以帮助开发者了解哪些部分可以使用更高效的缓存。
该理念不是将缓存性能很大程度上隐藏在幕后,而是使其更具可见性,以便开发者可以积极测量和优化缓存重用。正因为如此,OpenAI 表示这些缓存改进已经开始发挥作用。
这家AI公司表示,GitHub 报告称,“在对 OpenAI 模型进行的数十亿次请求中,这些改进使需要重新处理的提示词 Token 比例减少了 50% 以上。”
这些成果跨越了过去的“几个月”。
Token 价格并不是让代理变便宜的唯一途径
OpenAI 对 GPT-6 Sol and Luna 的降价引起了最大的轰动,这家AI公司大幅下调了较 GPT-5.6 水平的 API 价格。
相比之下,GPT-5.6 Sol[5] 和 Luna[6] 目前的价格分别为每百万输入 Token 4美元和0.20美元,每百万输出 Token 20美元和1.20美元(GPT-5.6 Sol 的费率为促销定价),而新的 GPT-6 模型每百万输入 Token 仅为 2美元和0.10美元,每百万输出 Token 分别为 10美元和0.50美元。
借助 GPT-6 Sol and Luna 的缓存改进和更低的 Token 定价,OpenAI 正在证明可以从两个方面解决代理成本问题:降低新鲜处理的收费,并减少重新处理相同上下文的频率。
但随着更多 AI 模型提供商在定价上展开激烈竞争,越来越明显的是,单纯依靠更便宜的模型并不能拯救你的 AI 预算[7]——更低的 Token 价格并不是让代理变便宜的唯一途径。
随着代理继续处理更长、更复杂的任务,双管齐下的压力可能会越来越大。
引用链接
[1] OpenAI cut GPT-6 token prices in half. The bigger lever may be the cache.: https://thenewstack.io/openai-prompt-caching-costs/[2] GPT-6 Sol and Luna: https://thenewstack.io/openai-gpt-6-sol-luna-release/[3] 比 GPT-5.6 Sol 更接近 Astra: https://thenewstack.io/gpt-sol-alignment-gaps/[4] OpenAI: https://openai.com/index/introducing-gpt-6-sol-and-luna/[5] Sol: https://developers.openai.com/api/docs/models/gpt-5.6-sol[6] Luna: https://developers.openai.com/api/docs/models/gpt-5.6-luna[7] 单纯依靠更便宜的模型并不能拯救你的 AI 预算: https://thenewstack.io/agentic-ai-token-costs/

