API报价再低，不懂Token消耗照样账单爆仓

死磕Token单价，是很多AI负责人最容易踩的误区。 拿着各家API报价来回对比，等到RAG上线、上下文拉长、并发上涨，才发现成本直接失控。

其实整个大模型算力世界，只由两条底层公式支配：

✅ 训练算力：FLOPs≈6ND

✅ 推理算力：FLOPs≈2N

N=参数量，D=训练Token总量。 从单卡测试到万卡集群规划，所有算力预算、瓶颈判断、降本方案，根源都在这里。

核心一句话：训练是一次性重金投入，推理是持续滚动的可变开销。

训练完成，权重固定；但推理每一轮对话、每一段检索文档，都在持续消耗算力。能不能看懂Token怎么被消耗，决定了你能不能管住AI业务成本。

训练、推理，完全是两套消耗逻辑

▶ 训练阶段｜算力瓶颈型

公式：FLOPs≈6×N×D

系数6 = 前向计算2N + 反向梯度4N。

D是训练数据集总Token，决定总计算量。

显存占用来自参数、梯度、优化器，动辄数千GPU连续跑数周甚至数月，烧钱快、一次性投入。

▶ 推理阶段｜显存+带宽瓶颈型

公式：FLOPs≈2×N×(输入+输出Token)

推理只跑前向，没有权重更新，系数只有2。

计费Token包含：系统提示、历史对话、用户输入、RAG检索文档、模型输出。

分为两段计算：

● Prefill：处理提示词，O(n²)平方复杂度。

● Decode：逐字生成Token，带宽压力大 显存最大杀手不是模型权重，而是KV Cache。

长上下文贵，不是线性涨价，是平方级涨价！

这套公式经过Meta Llama 3.1 405B验证，和官方披露算力匹配，可以用来估算GPU资源。

换算核心：GPU数量 = 总FLOPs ÷（时长 × 单卡峰值 × MFU利用率） 大规模训练MFU一般 35%–50%。

两个直观参考：

● 7B模型，训练2T Token：32张H100跑1～2周，成本50–100万

● 70B模型，同等数据量：128张H100跑1～2个月，成本500–1000万

⚠️推理成本最容易低估： 8B模型单次请求算力看着不高，一旦日调用百万次，一年推理开销，甚至超过一次完整预训练。这也是推理优化成为独立赛道的原因。

1、Prefill平方诅咒

Prefill要计算所有Token两两注意力，上下文从8K拉到128K，序列×16，算力直接×256。

RAG场景尤其明显：检索文档经常占单次70%–90%的Token，越长越贵。

2、KV Cache：显存吞金兽

KV Cache跟着上下文同步膨胀。

以Qwen3.5-122B为例： 上下文2K时，KV显存约512MB；拉到256K，直接涨到65GB，甚至超过模型权重，卡死并发上限。

3、Decode是带宽游戏

逐字生成时，需要反复搬运模型权重。批量越大，分摊效果越好，这就是Continuous Batching的底层原理。

不用盲目上复杂架构，按这个顺序优化，性价比最高：

▶ GQA+PagedAttention（基础底座）

GQA压缩KV体积；PagedAttention打散KV缓存，消除显存碎片，显存利用率从30%提升至90%+，vLLM就是靠这个实现吞吐暴涨。

▶ Prefix Caching（捡现成红利）

固定系统提示、模板只算一次KV，后续请求复用缓存，成本仅原来1/10。

⚠️ 注意：前缀改一个字，缓存全部失效。

▶ RAG Token瘦身（中小团队首选）

召回不是越多越好：向量粗召回+精排+摘要截断。

案例：单次Token从8000压到2000，成本降75%，准确率从52%提升至95%。搭配分层摘要还能再省40%–60%。

▶ MoE稀疏架构（高并发长上下文场景）

把总参数量和单次算力解耦。比如DeepSeek-V3 685B总参，推理只激活37B。

缺点：专家参数常驻显存，部署门槛高。

▶ 量化

INT4/INT8量化，用小幅精度损失，换取显存和算力下降，混合量化可做到效果接近无损。

6ND、2N是预算起点，推理成本由 架构稀疏度 × 上下文长度 × 并发规模 共同决定。

训练参考Chinchilla规则：最优配比 D≈20N。

推理要平衡：首Token延迟、生成速度、吞吐、显存。

✅推荐落地顺序： 先把GQA、PagedAttention做稳 → 上线Prefix缓存 → 优化RAG检索Token → 最后再考虑MoE。

不要一上来盲目追求128K长上下文、大稀疏模型，很容易预算翻车。

所有API报价、花哨的降本工具，底层都逃不开这两条算力公式。

只盯着Token单价比价，永远踩得住长上下文溢价的坑。看懂算力账本，AI成本才能真正可控。