由生产型AI初创公司Cohere领导的非营利组织Cohere for AI推出最新大型语言模型Aya。这款开源“大规模多语言”模型支持101种语言，覆盖范围是现有同类开源模型的两倍以上。
Aya项目背景与目标
Aya项目于2023年1月启动，汇聚了来自119个国家的3000多名研究人员，旨在构建真正的多语言AI模型。鉴于全球仅约5%的人口以英语为母语，而当前主流模型过度侧重英语，导致众多语言在AI领域缺乏充分支持，Aya致力于填补这一空白。
为此，Cohere同步发布了多语言指令数据集供研究使用。该数据集包含涵盖114种语言的5.13亿个数据点，是目前该领域规模最大的数据集之一。
大型语言模型（LLM）及广义AI正重塑全球技术格局，但受限于语言能力，许多社区仍未获得支持。这不仅阻碍了生成式AI的全球适用性，还可能加剧既有的技术不平等。
该数据库收录了世界各地稀有语言使用者的注释，旨在推动AI技术普惠大众。其中包含由流利使用者提供的67种语言的20.4万条罕见注释，通过补充上下文帮助模型更高效学习。
此外，数据集还扩展了对索马里语、乌兹别克语等50多种此前代表性不足语言的支持。测试显示，Aya模型性能已超越mT0和Bloomz等其他开源模型。