2026年上半年,当千行百业都在摸索怎么用AI为公司降本增效时,已经陆续有不少公司迎来了AI账单的“反噬”:
● Lindy,一家做AI助手的创业公司,把100%推理流量从Claude切到了DeepSeek。原因是“切换之后,AI带来的token月账单终于不再超过公司所有员工的工资总和。”
● Uber给5000名工程师开放了AI编程工具。结果短短四个月就烧光了全年预算。公司不得不紧急设了Token使用上限。
● 米哈游的技术团队尝试做了一个多Agent协作测试,仅半天就跑出了200万元Token费。
对此,Citadel证券在最新《Tokenomics》报告里下了个判断:AI落地的核心约束,已经从"模型能力"转向了"成本与稀缺性"。说白了就是:企业选择AI时的考量重点,不再是模型有多强,而是AI能否在实现业务需求的同时尽量降低token成本。
一边是模型大厂的token越卖越便宜,另一边却是企业AI账单越来越失控。这是什么原因?
△ 图源/AI生成
Token越便宜,Agent越贵
答案是,企业用AI的方式,已经从以前的"问答",变成嵌入实际业务场景的一个个Agent。
一个Agent执行一个任务,背后可能调用几十次模型。查资料、做推理、生成内容、自我修正。每一次调用都在烧Token。OpenAI企业负责人Alexander Embiricos最近在纽约一个活动上说:"六个月前我见客户,客户聊的都是'它能做什么?够不够好'。现在聊的是'我们花了这么多钱,你们有什么可见性?可审计性?Token控制手段?模型效率怎么样?'"
多Agent协作更夸张。信息在多个Agent之间来回传递,Token消耗是指数级增长的。Citadel报告里提到一个已经发生的案例:中小企业在业务Agent化之后,每个任务的Token消耗变成了原来的3.5倍。不是总用量涨3.5倍,是每个任务。
而且用得多不一定就用得好。Faros AI对两万名开发者做了两年跟踪,发现Token消耗最大的工程师,产出大约是普通工程师的两倍,但他们消耗的Token是普通工程师的10倍。Arcolano的总结很克制:"极端支出是否值得,取决于交付代码的最终业务价值,而大多数公司现在还无法衡量这个价值。"
结果就是,token单价跌了90%,但Agent的到来让消耗量涨了十几倍。企业的AI账单,越来越难算。
Agent的“失忆税”
让Agent的token成本飙升的另一个原因,藏得更深。
Agent每次开启新对话,都要把背景信息重新加载一遍——你是谁、在做什么、之前聊了什么、项目的历史脉络是什么。这些信息在每一轮对话里被反复塞进上下文窗口,反复消耗Token。也就是说,Agent的大部分Token不是花在思考和推理上,是花在"重新认识你"上。
密歇根大学和斯坦福大学的研究团队分析了8个前沿模型在代码修复任务上的运行轨迹,发现Agentic Coding场景下,输入输出Token比可以高达154:1。其中很大的一部分消耗量,就是在反复读取和修改同一批文件。
就好比一个流水线工人,每做一个零件,都要重新打开整本操作手册从头读一遍,而不是记住上次做到哪了。
行业里有人把这笔账形象地称为Agent的"失忆税"。它不体现在任何一张发票上,但均匀地摊在每一次推理调用的上下文消耗里。上下文越长、Agent越多、任务越复杂,这个税就越重。
Prompt Caching能省一部分。模型路由能把简单任务交给小模型。语义缓存能在命中的时候直接返回结果,这些确实能省token。但它们的局限也是一样的:只能处理"完全重复"的情况,处理不了"部分重复但需要理解"的情况。
而要想从根源上解决这个问题,最好的办法就是赋予AI“记忆力”。
省Token,从让Agent“记住”开始
试想一个手机电商的AI客服场景,假设有用户打电话过来反映:"我的手机一直闪屏"。
没有记忆能力的Agent只能逐条追问:请问您的手机型号是?订单编号有吗?注册手机号是什么?什么时候购买的?追一条,调一次模型,烧一轮Token。问完三四轮,总算把信息凑齐了,才开始回答"闪屏怎么办"。不仅token费用下不来,而且用户体验差,系统低效。
而有记忆的Agent则不痛,系统已经“记得”这个用户在店里买过一台某某手机,三周前换过屏幕,上次咨询的是电池续航问题。接到"手机闪屏了"这一句话,记忆直接把关联信息调出来了。推理不用从头加载产品库、订单库、售后知识库,可以直接回答用户问题。不仅回答更准,体验更好,而且更明显的是多轮对话里的Token成本会立刻下降。
同样的售后诉求,Token消耗可能差好几倍。省掉的都是让AI"重新认识用户"那一段完全没必要发生的追问。
在销售AI外呼场景,记忆能力对Agent token消耗量的影响也同样明显。
没有记忆的情况下,AI拨出去的每一通电话都是"首次联系"。上个月的意向客户,今天接到的还是那句"您好,我是XX公司,有个产品想向您介绍"。客户体验差,转化效率低。更关键的是,每一通电话都需要加载一遍该客户所属行业的话术库、产品参数库、常见异议处理库。
有了记忆,AI拿起电话就知道:这个客户上次提到过产线改造的预算压力,对A方案比较感兴趣,最后约定两周后回电。今天正好是第十五天。推理时只需要加载两个东西:客户画像的增量更新,加上今天要推的新方案。Token从"全场重跑"变成"局部更新"。
这两个场景指向同一个原理。记忆省token的本质是"去重"——把每次都要重算一遍的东西,一次算好记下来。
这也是红熊AI“记忆科学”的优势之一。依托原生记忆架构,Agent在实际业务中先调记忆,再做推理。技术实现上不做复杂的中间层,直接在模型推理链路里嵌入记忆引擎。推理开始前,先检索本次对话关联的历史事实和偏好,只加载最近一次更新以来的增量内容。上下文窗口从"全量加载"变成了"增量携带"。
当Agent拥有类人脑的记忆能力,随之而来的不仅是客户体验的提升,还有token消耗量实打实的降低。
Token治理已成为行业课题
Linux基金会最近成立了一个新组织——Tokenomics基金会,想要像FinOps当年治理云计算成本那样,给AI Token建立一套统一的标准和度量体系。Salesforce首席可用性官Nishant Gupta的表态很直白:"Token经济学从根本上比我们以前管理过的任何东西都更抽象、更不透明。它需要一套不同于云计算时代的运营能力。"
Token经济正在进入治理时代。高盛预测,到2030年全球Token消耗量将再增长24倍。在这个压力面前,企业需要从模型的底层架构入手,为不必要的Token消耗踩下刹车。记忆就是架构层面的答案。它不像模型路由那样在原链条上做优化,而是直接改变链条结构:让Agent不再每次都从零开始。
Citadel报告里的一句话,点明了AI记忆的价值所在——"未来回报最好的,不会来自那些构建最强模型的公司,而是来自那些降低AI成本、提升效率的公司。"
红熊AI产品线上发布会
7月31日18:00 敬请关注
⍌ 预约红熊AI产品发布会~


