摘要:
和电力消耗计量等不同,词元计量不具备透明、标准的特性。也就是说,对于用户而言,词元计量存在黑箱。大模型供应商的词元计量如何取得用户信任,需要在体制机制上的创新,即在供给、需求之外,建立第三方词元计量检测、第三方词元计量审计的体制机制。
01
以词元(token)为人工智能大模型应用计量、计价正如火如荼。笔者曾经指出:token流量是一个蕴含了智能化成果的综合流量。但token体现的终归还是以数据语义单元的流量为计量依据的流量价值。[1]
流量可以带来价值,但不是全部价值。这是一种基于上层应用的底层价值,只是完整应用价值的一部分,而且可能只是一小部分。因此,词元价值便不等于数据的价值、智能的价值,而只是底层消耗计算的流量价值。[2]
因此,笔者主张:智能时代的价值度量是一个多维度、分层次的体系。Token是底层流量和投入的基石度量,反映了智能经济的“成本”和“规模”;DAA(日活智能体数)是上层应用和产出的规模度量,反映了智能经济的“渗透率”和“活跃度”;而DAA/Token作为投入产出比,则是衡量智能经济效率和健康度的关键指标,它引导技术创新和产业发展从“粗放式扩张”转向“精细化运营”。[3]
02
当我们仔细考究词元的计量功能,进一步的问题会冒出来。
词元的计量透明吗?标准吗?准确吗?
让我们先看看电力度量的情形吧。电力的流量以千瓦时(度)来度量,其度量的依据在于电网的表计体系。包括计量每个单位、每家每户用电量的电度表,每月用了多少度电一清二楚;包括每一个用电器都有额定功率,是40瓦还是100瓦,一清二楚,乘以使用时长就是功耗(用电量)。这样的计量体系是透明、标准和准确的。
再看数据传输的度量,这是以GB(字节数)来度量,运营商也会有计量体系。打开一个网页,网页占用的字节数的确定的,下载一个视频,视频的字节数也是确定的,用多少就计量多少。这样的计量也是透明、标准和准确的。
至于像汽油消耗这样的情况,就更简单了,你的油箱容量多少很清楚,加了多少升油很清楚。
到了词元,计量也应该是类似的。目前,词元计量也确实按照这样的逻辑在做,调用大模型,输入多少词元,缓存命中的多少,未命中的多少,输出词元多少,分别计价,也很清楚。
但是,也有差异。词元的情形,并没有和电度表类似的东西,也没有和用电器的额定功率类似的东西。
换句话说,词元计量是非标准的。
在供给侧的大模型那里词元消耗量是准确的、可计量的,但是却难以解释为什么需要这么多?因为消耗多少词元和大模型本身相关,和提示词相关,和问题的难度相关,和智能体的规划相关,和智能体的驾驭控制相关……没人能说得清楚。
因此,词元计量不具备透明、标准的特性。也就是说,对于用户而言,词元计量存在黑箱。
03
在真实的工业和研发场景里,一个看似简单的指令,例如“帮我做一份本周供应链排产报表”,智能体在后台并不会直接吐出答案。它会自发地拆解任务,调用外部数据库,遇到格式冲突时自发进行代码重试,甚至在多个专家大模型(MoE)之间频繁进行动态路由。
在这个全自动化的闭环工作流里,同一个任务,可能仅仅因为工具调用的多步执行、上下文窗口的剧烈拉长、或者由于网络抖动导致的反复重试,其最终消耗的Token数量和财务成本,会瞬间相差数倍甚至数十倍。
Token从过去相对可预测的调用成本,变成高度随机的经营成本。[4]
正如《Token不经济》[5]一文指出的:在消耗大增、单价上涨的token 市场,与模型厂商收入爆发相对应的,必然是下游token使用者的成本攀升,这是终端消费token不经济的底层原因。
token越来越贵固然伤及荷包,更让人心疼的是不少token在调用智能体(Agent)干活时被系统性地浪费掉了。上下文陷阱(Context Trap)、分词器黑箱(Tokenizer Black Box)、技能冗余(Skill Redundancy)、以及多Agent协同中的沟通税与长程熵增(Communication Tax and Entropy Drift),这些结构性的跑冒滴漏叠加在一起,构成了token不经济的内部技术根源。
比起定价、无效消耗等种种供给端的问题,应用端的局限性是造成token不经济的更重要的原因。尽管模型性能在过去两年取得了令人瞩目的进展,但token的通用性仍然相当有限。目前的token的使用大都局限在数字化水平较高的场景中,比如编程辅助、文档处理、数据分析。跳出这些优势部分,大模型性能会随着应用场景数字化水平下降而急剧衰减。
这些正是词元计量非标、黑箱特性的各种表现。也正是这样的特性,使得供给侧和需求侧对于计量都并不了然于胸,应用的某种盲目性不可避免。
04
针对词元计量的非标、黑箱,当然不是无所作为,应对策略虽然改变不了根子上的非标、黑箱特性,但是可以在外围进行一定程度的优化、控制。
可以从供给和需求两端施力,降低token不经济,强化token经济,让技术的发展真正转化为实在的经济价值。供给侧可以通过精细化技术手段降低单位token成本,堵住跑冒滴漏,防止风险扩散;需求侧可以通过不断发掘新的应用场景让 token花出价值来。当供给端的成本下行曲线与需求端的价值上行曲线形成交叉,token经济和不经济互相抵消后的净收益便可由负转正。[5]
05
问题在于,词元计量的非标、黑箱并不能从根子上抹去,这是由人工智能大模型底层原理的不确定性所决定的。
一个迫在眉睫的问题便是,大模型供应商的词元计量如何取得需求侧或应用端的信任?
7月3日,2026全球数字经济大会数据要素发展论坛在数智北京创新中心举办。北京数据集团旗下京算公司正式发布北京首家国资词元工厂——京算Token工厂。
有评论认为京算Token工厂的真正意义,不在于它用了什么技术,而在于它为这个新度量衡搭建了一套国资背书的“结算系统”。[6]
Token作为数据要素流通的“计量单位”,计量的公平性、安全性、可信度,直接关系到整个数据要素市场的运行基础。国资背景在这种情况下是一种信用担保——类似于法定计量单位的权威性需要国家背书。
国资背景就可以作为信用担保吗?该评论也不那么自信:当Token成为AI服务的计价单位,谁能决定Token的价格?是算力供应商、模型厂商,还是一个中立的第三方平台?京算Token工厂的国资属性有可能承担“价格锚定”的功能——但市场化程度如何,还有待观察。
06
其实,不仅国资的Token工厂在做供给侧优化,非国资的大模型同样也在优化token供给。
例如最新发布的DeepSeek V4正式版就拟采取峰谷定价机制。这不是一次单纯的“价格调整”,而是标志着国内大模型行业希望告别“参数比拼”“低价内卷”的粗放竞争,进入算力资源精细化运营的竞争阶段。[7]
这是有道理的,这意味着词元计量进一步向生成词元的本质靠拢,因为大模型的分词策略和词元吞吐本质在于大模型的暴力计算,词元的计价确实与算力价格、电力价格紧密相关。这是大模型厂商的核心竞争力向算力资源运营层延伸。
当然,这也越是看出词元的算力、电力本质,流量本质。
07
回到前面的问题:大模型供应商的词元计量如何取得需求侧或应用端的信任?
这恐怕不在于供给侧的所有制,而需要供给、需求之外的中立第三方的背书。需要在体制机制上的创新,即在供给、需求之外,建立第三方词元计量检测、第三方词元计量审计的体制机制。
参考文献:
[2]董学耕:不可承受的词元之重——有Token经济这回事吗?.
[3]董学耕:智能时代的价值度量:从Token到DAA,再到投入产出比的演进.
[4]从“烧Token”到“控Token”:一场席卷全球科技巨头的成本觉醒.
[6]170万亿Token之后,算力不再“论张卖”:北京数据集团建了首座“京算Token工厂”,国资入局想解决什么问题?.
[7]刚刚突发!DeepSeek V4正式版正式“发布”!2026.
作者简介:董学耕, 原海南省大数据管理局局长
研究方向:数字政府、数据要素

