小语种AI困局:构建本土化大模型刻不容缓
数据匮乏与文化边缘化正威胁语言多样性,专家呼吁建立本地化语言模型生态
By SUN Jin & DU Peng
在2025世界人工智能大会期间举行的多语言大模型国际研讨会上,多位专家指出,当前大型语言模型(LLM)发展严重偏向主流语言,大量小语种面临被人工智能技术边缘化的风险。
塞尔维亚诺维萨德大学理工学院教授Vlado Delić表示,由于缺乏足够的数字语料库,低资源语言在主流大模型中支持严重不足。以塞尔维亚语为例,其在主要大模型中的token占比不足0.1%,极易导致医疗、法律等关键领域的误译,进而引发决策失误。
▲ PHOTO: VCG
匈牙利语言学研究中心总干事Gábor Prószéky指出,匈牙利语属于非印欧语系的黏着语,具有复杂的词缀组合和自由语序特征,给大模型的分词与建模带来独特挑战,必须针对其语言结构定制算法。
该中心高级顾问Tamás Váradi强调,保护语言多样性需要系统性投入,不仅需积累原始语料,更应建设专业标注的数据集,以提升模型的理解与生成能力。
为缩小数字鸿沟,多方正在推动国际合作。目前,匈牙利与塞尔维亚的研究团队已与中国企业展开协作,共同推进多语言大模型的技术适配与数据共建。
专家共识认为,每一种语言都应拥有基于自身语言规律和文化框架的独立大模型体系,这是维护语言主权与文化传承的关键一步。
Editor | SONG Ziyan
Supervisor | FANG Linlin

