据 Rest of World 报道，AI Language Equity Coalition（AI研究语言公平联盟）今年9月发布的研究显示，互联网热门20种语言中，部分语言的AI模型Token消耗量是其他语言的1.5至5倍；在200种语言范围内，这一差距最高达17倍，显著推高了多语言AI交互成本。
文字系统决定AI模型表现与成本
研究表明，文字系统的特性比语言普及度更关键地影响模型性能。缅甸语、藏语、高棉语和老挝语因文字系统复杂，在各类模型中表现普遍最差；而使用拉丁字母的小语种阿斯图里亚斯语则表现优异。Token消耗增加不仅导致响应延迟，还压缩了上下文窗口中可用于文档和对话的空间。
Maya Research首席执行官Dheemanth Reddy指出，尽管Token价格下降可缓解部分成本压力，但要根本缩小语言间的技术鸿沟，仍需针对特定文字系统开发专用Tokenizer。