
WhatsApp商业AI能力引入按Token计费,长对话和大模型调用会直接影响成本,WABB在更新汇总里提示客服机器人需要控制上下文长度。
按Token计费把AI客服的成本从固定变成浮动,单会话的成本取决于对话长度和上下文窗口的占用,一个把整个商品目录塞进上下文的机器人,每轮对话都在烧钱。客服场景的特点是高频低价,Token成本不加控制,一个月跑下来账单可能超过人工客服的工资,AI提效的账就算不平了。Token单价按官方价目表核对,不同模型的价差可能数倍。
固定成本变浮动成本,账的结构变了
过去AI客服的成本,多数落在“平台订阅费加消息条数”的框架里,一个月的支出在开通时就能估出来。按Token计费之后,支出跟着“会话长度乘以上下文大小乘以模型单价”走,一个月的账单要等到月底才知道。这个变化对财务测算的影响,比“单价高低”更值得注意——一个团队如果按“订阅制的固定月费”去做预算,它在Token计费下会低估“长会话、复杂咨询”带来的成本波动。
成本结构的拆解,可以按三个变量来看。会话长度,是“一轮对话里用户和机器人来回几次”,短会话在三到五轮,长会话在十轮以上;上下文大小,是“每一轮对话里,模型需要读多少背景信息”,包括系统提示词、知识库片段、历史对话;模型单价,是“每百万Token的价格”,不同模型之间的价差可能数倍。三个变量里,前两个是团队自己能控制的,第三个是选型时决定的。一个团队如果把“上下文大小”控制在合理范围,它面对的成本波动就小;把整个目录塞进上下文,成本会随对话轮数线性放大。
三个抓手的落地细节
上下文用摘要代替全文,历史对话压缩成要点再喂给模型。摘要的粒度需要按会话阶段调——售前阶段,摘要保留“用户在找什么、预算多少、有什么偏好”三项;售后阶段,摘要保留“订单号、问题类型、已经尝试过的解决步骤”三项。摘要的生成方式,可以在“每五轮对话”触发一次,把前五轮压缩成一段要点,后续对话用“要点加最近两轮原文”作为上下文,而不是“全部历史原文”。
知识库用检索代替预载,答案相关的片段按需调取。检索的效果取决于切片质量,切片太大,检索出来的片段里混着无关信息,Token消耗高;切片太小,检索出来的片段不完整,机器人答不上来。切片的合理粒度,可以按“一个切片对应一个完整的问题加答案”来定,比如“退货政策”这个切片,包含“退货条件、退货流程、运费承担”三个子项,切片大小在几百字。检索的条数,控制在“每次调取两到三条”,而不是“把检索到的全部片段都塞进去”。
转人工设阈值,三轮对话没解决的会话直接转人工,别让机器人在死循环里继续烧Token。阈值的设计可以更细——除了轮数,还可以按“意图识别置信度”设阈值,机器人对用户意图的识别置信度低于某个水平,直接转人工,而不是“硬答”。死循环的典型形态,是“用户换个说法问同一个问题、机器人换个说法给同一个答案”,这个循环每一轮都在消耗Token,且没有产生任何价值。
成本和体验的平衡
成本之外还有体验的账,上下文过短会让机器人失忆,用户重复说明需求,体验跟着变差,摘要的粒度要按场景调。体验变差的代价,不体现在Token账单上,体现在“用户放弃咨询、转去竞品”上。一个用户在对话里被要求“重复说明需求”两次以上,他的耐心消耗速度会明显加快,转化率跟着下降。摘要的粒度,需要在“省Token”和“不失忆”之间找平衡点,这个平衡点按品类不同——标准化程度高的品类(比如标品的退换货咨询),摘要可以粗一些;定制化程度高的品类(比如定制品的设计咨询),摘要需要细一些。
建议给每类会话设Token预算线,常规咨询一条线,售前深聊一条线,超线的会话人工介入。预算线的设定,可以按“这类会话的历史平均Token消耗乘以1.5”来定,1.5倍的缓冲覆盖的是“个别会话比平均长”的情况。超线的处理方式,不是“直接切断”,是“人工介入”——人工介入的成本高于Token,但它避免的是“机器人答错、用户流失”的更大损失。
上线第一个月的监控动作
计费模式上线第一个月,把日Token消耗做成日报,异常上涨的会话类型单独排查,通常是提示词设计出了漏洞,知识库的切片质量决定检索效率。日报的字段可以按“会话类型、平均轮数、平均Token消耗、超预算会话数”四项来记,四项里“平均Token消耗”的环比变化最值得盯——一个会话类型的平均消耗在一周内涨了50%,通常是“提示词里加了新的指令、或者知识库的切片变了”。
Token消耗的异常告警接入值班通知,烧钱事故要第一时间发现,摘要生成的质量每周抽检。告警的阈值,可以按“小时消耗超过日预算的十分之一”来设,超过阈值就推送到值班人员。摘要质量的抽检,可以按“每周抽十条会话,人工读一遍摘要,看‘关键信息有没有丢’”来判断,抽检的目的是“在用户抱怨之前,发现摘要的问题”。

