生成式 AI 模型处理文本的方式与人类不同。理解其基于“token”（词元）的内部机制，有助于解释它们的一些异常行为及顽固局限。
Transformer 架构与分词机制
从 Gemma 等小型端侧模型到 GPT-4o，大多数模型均基于 Transformer 架构。由于该架构无法直接处理原始文本，出于实用和技术考量，文本需先被分解为更小、更易管理的片段——即 token，这一过程称为分词（tokenization）。
Token 可以是单词（如“fantastic”）、音节（如“fan”、“tas”、“tic”），甚至是单个字符。这种方法使 Transformer 能在上下文窗口上限内摄入更多语义信息，但也可能引入偏见。
分词带来的偏差与挑战
1. 空格敏感性：异常间距可能导致模型偏离轨道。例如，“once upon a time”与带尾随空格的“once upon a ”会被编码为不同的 token 序列。模型不像人类那样理解二者语义相同，提示词的细微差别可能导致结果截然不同。
2. 大小写差异：对模型而言，“Hello”不等同于“HELLO”。“hello”通常是一个 token，而“HELLO”可能被拆分为三个 token（“HE”、“El”、“O”）。这也是许多模型无法通过大写字母测试的原因。
东北大学博士生 Sheridan Feucht 指出：“很难回避‘对于语言模型而言，一个单词究竟应该是什么’这个问题；即使人类专家就完美 token 词汇达成一致，模型仍可能发现进一步切分更有用。这种模糊性意味着不存在完美的 tokenizer。”
非英语语言的“分词税”
这种模糊性在非英语语言中尤为突出。许多分词方法基于英语设计，假设空格代表新单词开始，但中文、日语、韩语、泰语和高棉语等并不使用空格分隔单词。
- 效率低下：牛津大学 2023 年研究发现，非英语任务完成时间是英语的两倍。用户不仅面临更差的模型性能，还因按 token 收费而支付更高费用。
- Token 膨胀：表意文字（如中文）的每个字符常被视为独立 token；黏着语（如土耳其语）的每个语素也常被转化为 token。例如泰语“你好”（สวัสดี）对应六个 token。
- 数据对比：Google DeepMind 研究员 Yennie Jun 的分析显示，某些语言表达相同含义所需的 token 数可能是英语的 10 倍。
数学与逻辑推理的短板
数字分词缺乏一致性，破坏了数值间的关系。分词器可能将“380”视为一个 token，却将“381”拆分为“38”和“1”。这导致模型难以理解重复数字模式和上下文（如时间数据），甚至出现“7,735 大于 7,926”这类错误。这也是模型不擅长字谜或反转单词的原因。
Andrej Karpathy 表示：“LLM 的许多奇怪行为源于分词。理想情况下，应找到完全删除这一阶段的方法。”
未来展望：字节级模型与新架构
Feucht 提到了 MambaByte 等“字节级”状态空间模型。它们摒弃分词，直接处理原始字节，在语言分析任务中与 Transformer 具备竞争力，且能更好地处理字符交换、空格和大小写等噪声。
然而，此类模型仍处于早期研究阶段。Feucht 坦言：“让模型直接处理字符而不强加分词机制是理想状态，但目前对 Transformer 而言计算上不可行，因为其复杂度随序列长度呈二次方增长。”除非分词技术取得突破，否则新的模型架构将成为解决关键问题的核心方向。