编辑丨岑峰
当业界普遍认为 Tokenizer 技术已触及天花板、仅能微调时，前腾讯 AI Lab NLP 中心总监史树明发布最新技术报告《Counting and Min-Cost Encoding for Tokenization in Large Language Models》，提出了一种“优雅降维”的新解法。
分词器作为大模型的“语言门户”，直接决定推理效率与信息密度。然而，经典 BPE（Byte Pair Encoding）算法因贪心策略与局部性瓶颈，导致词表规模扩张后出现严重冗余：空有百万级规模，大半Token沦为闲置。
史树明提出的 CNF-MCE 框架颠覆了传统的逐步合并路径，转向“先全局统计，再全局优化”。数据显示，在 250K 词表下，该方案压缩率显著提升 26%–30%；在 1M 极大词表下，Token 效率跃升逾 60%，词表利用率更是从 52.9% 飙升至 96.9%。该报告已入选 ModelScope 本周热门论文列表。
前腾讯 NLP & LLM 专家研究员王琰对此给予高度评价：“思路优雅，代码与论文不带一丝 AI 痕迹与冗余。环境在变，但‘神’从未下山。”尽管 MCE 代价函数的理论边界及超大词表的工程落地仍需产业级基准验证，但该工作明确指出了大模型分词底层不必受困于“局部贪心合并”旧框架的新方向。
BPE分词器的固有局限
BPE 算法通过自底向上、逐步合并的方式构建词表。其基本原理是从单个字符开始，反复扫描语料，合并频率最高的相邻符号对。这种方式存在三大核心问题：
Token效率瓶颈：BPE 通常依赖预分词（pretokenization），按空格和标点切分文本，合并操作仅限于词内部。这阻断了跨词多词 Token（multiword tokens）的压缩路径。虽有尝试放宽限制，但本质上仍是在 BPE 框架内修补。
合并信息阻碍优化：部分 Token 虽在合并路径上，但在最终编码中使用率低，面临训练不充分风险；且复杂的合并关系使得词表优化操作（如合并不同词表）变得困难。
非全局最优：BPE 编码本质是贪心的，无法保证全局最短 Token 序列。例如，对 "pysimplesoap" 进行切分，BPE 可能得出 "pys|imp|les|o|ap"，而更优语义切分应为 "py|simple|soap"。
CNF-MCE 另辟蹊径，不做顺序合并，而是直接统计所有有效子串频率，并通过全局优化方式进行文本切分。
词表构建算法CNF：从“怎么合并”到“什么值得统计”
CNF（Counting and Filtering）的核心洞察在于：不再纠结于“合并哪两个 Token”，而是聚焦于“语料中哪些子串真正有价值”。其流程分为两步：
第一步：计数构建原始词表 (Counting)
算法从训练语料中提取所有“合法候选 Token”并统计频次，选取高频项构成原始词表。CNF 允许跨词子串成为候选，但设定了严格的边界有效性规则（如必须从词边界开始）。为应对大规模语料，CNF 设计了高效的多轮计数算法：按长度区间分批处理，优先短候选，利用字节 trie 存储历史频率并设置阈值提前终止，大幅降低穷举开销。
第二步：过滤 (Filtering)
原始词表中包含大量“统计高频但实际切分无用”的候选。CNF 利用 MCE 算法对训练语料进行完整切分，统计每个 Token 的实际使用频率，剔除低频词。这一步有效区分了“候选频率”与“使用价值”，避免那些被更长 Token “覆盖”的子串占据词表空间。
文本切分算法MCE：把分词变成全局优化问题
MCE（Min-Cost Encoding）是配套的编码算法。与传统 BPE 确定性、贪婪匹配不同，MCE 将分词定义为代价最小化问题，利用动态规划求解全局最优切分方案。
编码代价函数由三部分组成：单位 Token 代价（1）、边界惩罚 p(i,j) 以及可选的 Token 偏好代价 ε(t)。这三项分别对应 Token 数量、跨词边界情况以及特定 Token 的偏好。
MCE 的关键特性在于不依赖合并列表，也不依赖 Token 概率。这意味着它具有极高的通用性，可独立作用于 BPE、UnigramLM 或 CNF 构建的任何词表，实现了编码算法与词表构建方法的解耦。
实验数据：不只是“更好一点”
研究在六个文本类别上进行了系统评测，涵盖同等词表规模对比及词表扩展行为分析。
250K词表：与BPE的直接对比
在 250K 词表规模下，CNF-MCE 与 OpenAI 的 o200k_base 和 Qwen 的 qwen250k 进行公平较量。结果显示，在处理英文网页文本时，CNF-MCE 相比 o200k_base 压缩率提升 26%，相比 qwen250k 提升 30%。这一优势在各类文本中保持一致，证明新分词器在同等规模下显著优于传统 BPE。
1M词表：相对BPE基线的Scaling优势
当词表扩展至 1M 时，CNF-MCE 的优势进一步放大：
Token效率提升超60%：相较于 250K 时的 26%-30% 提升，大词表下的效率增益更为显著。
词表利用率从52.9%跃升至96.9%：BPE 在大词表下常面临“膨胀但闲置”的困境，而 CNF-MCE 基于实际使用频次的过滤机制，确保几乎每个 Token 都在编码中发挥作用。
实验表明，CNF-MCE 不仅能从更大词表中持续获益，且相对于 BPE 的领先幅度随规模扩大而增加。
下游任务验证
在 1.8B 和 8B 参数规模的语言模型从头训练中，CNF-MCE 在 11 个基准测试中的平均表现与 BPE 相当。这证实了 Token 效率的提升并未以牺牲下游任务能力为代价。
这意味着什么？
若该结论在大规模模型中得到进一步验证，其影响深远：
推理效率和成本优化：固定架构下，Token 序列缩短直接降低推理时间和成本。25% 以上的效率提升意味着同等算力可处理更长上下文，或同等输入输出下延时与成本降低 25% 以上。
分词器设计范式转移：BPE 的统治地位源于工程成熟度而非理论最优。CNF-MCE 展示了“统计构建候选空间 + 全局优化选择切分”的新路径，有望启发更多脱离 BPE 框架的创新探索。
当然，MCE 代价函数的理论依据及 1M 词表在实际部署中的工程表现仍需后续研究验证。但方向已清晰：分词器不必永远被困在“逐步合并”的范式之中。