市面上已存在大量大型语言模型（LLM），如 OpenAI 的 GPT-4、Google 的 PaLM2 和 Meta 的 LLaMA。不同 LLM 的差异取决于核心架构、训练数据、模型权重、特定场景微调以及开发成本等因素，这些均会影响生成式 AI 响应自然语言查询的表现。
鉴于 AI 制造商可调整的变量众多，且能利用各种上下文优化特定用例性能，LLM 列表短期内难以停止增长。
另一个影响输出的因素是 LLM 开发对英语的侧重程度。由于获取英语训练数据通常更便宜便捷，非英语语言的训练投入相对较少，导致 LLM 对英语查询的响应往往优于其他语言。因此，使用非英语语言训练的模型为扩充该列表提供了显著机会。
为此，总部位于马德里的 AI 初创公司 Clibrain 上周发布了经过西班牙语指令微调的 LLM——Lince Zero。该公司认为，通过开发专为西班牙语用户优化的模型，填补了市场空白，从而加入生成式 AI 竞争。
Clibrain 指出，西班牙语不仅是全球使用人数最多的语言之一，且在横跨约 20 个国家的多个大陆和文化背景中具有丰富的方言与变体。若主流模型未能全面专注于西班牙语的多样性，其性能可能会受到影响。
虽然 OpenAI 的 ChatGPT 等模型也能处理西班牙语，但 Clibrain 声称，凭借对语言的全面专注、即将推出的基础模型及一系列领域训练模型，并使用专门的西班牙语语料库进行训练，其模型将比平均水平更能解析和理解西班牙语的细微差别。
Lince Zero 的发布是其雄心勃勃路线图的第一步。该模型主要基于现有开源技术构建，目前虽无自研基础模型，但公司表示这很快将会实现。
联合创始人兼首席执行官 Elena González-Blanco 拥有语言学研究和诗歌教育背景，并结合了多年早期自然语言处理（NLP）技术开发经历，以及在 Indra 和 Banco Santander 等保险科技和金融科技领域的行业经验。
她指出，早年从事语言学研究的经历为项目做出了关键贡献，使 Clibrain 能够获取独特的训练数据以支持模型构建。
依靠语言质量
“我们拥有一套独特的训练数据语料库，”她说，“作为语言学家，我在语言史和西班牙语方面拥有 15 年研究经验，掌握许多尚未用于训练的联系人资源。因此，独特的语料库是我们的差异化优势。”
“AI 领域发展迅速，但西班牙语市场仍处于次要地位，这对我们来说是极好的机会。从语言学角度看，我们构建的内容质量显著不同。重点不在于构建庞大的模型，而是高质量模型。”
Clibrain 首款发布的 Lince Zero 模型采用开源许可证，是后续 400 亿参数基础模型 Lince（意为“猞猁”，西班牙标志性野生猫科动物）的 70 亿参数预览版。
尽管参数量并非顶尖，但 González-Blanco 认为，在增强西班牙语理解力方面，模型规模不是杀手级特性，对语言细节的质量关注才是关键。公司预计会有西语用户愿意牺牲部分尖端生成能力或算力，以换取更高水平的母语理解力。
翻译中的信息丢失常带来摩擦。若 Lince 能维持针对西班牙语查询的语言学优势，便可能抓住机遇，服务于全球近 5 亿西班牙语母语用户中的一部分群体。
优化特定语言价值并非孤例。市面上已有百度中文模型 Ernie、德语调整模型家族以及韩国 Naver 的韩语生成式 AI 模型。未来很可能出现更多面向非英语使用者社区的 LLM。
Clibrain 也非首个专注于西班牙语对话的 AI 模型。巴塞罗那超级计算中心的 MarIA 项目于 2021 年推出，自称首个“大规模”西班牙语 AI 系统。但 Clibrain 认为其性能已超越 MarIA，整合出了迄今为止最先进、专注于西班牙语市场的模型。
González-Blanco 表示，Lince Zero 性能与 GPT-3 相当，而 MarIA 相当于 GPT-2。尽管 LLM 语言性能基准测试尚属前沿业务，Clibrain 仍鼓励西班牙语用户体验产品并提供反馈。
与开源的 Lince Zero 不同，即将推出的完整版 Lince 模型将通过 API 向付费客户开放。此外，公司还将通过 CliChat、CliCall 和 CliBot 三款通信和生产率应用提供访问权限。
开发工作将持续推进，公司计划在未来提供更多专有模型，包括能响应图像和音频的多模态模型。
Lince Zero 借鉴了多种开源技术，基于 Falcon-7B 并使用 Alpaca 和 Dolly 数据集组合微调（翻译成西班牙语并扩充至 8 万个示例）。但公司强调并非仅使用现有架构，而是拥有 AI 领域的资深工程人才。
这家成立于四月的初创公司仅三个月大，凸显了生成式 AI 领域惊人的发展速度，得益于丰富的开源库和降低的训练成本。它从 González-Blanco 另一家汽车贷款实体 Clidrive 分拆而来，并非完全从零开始。
此前在企业内部进行的 AI 实验表明，开发针对西班牙语市场优化的 LLM 值得成立独立公司。目前团队近 30 人，核心是一个专注于生成式 AI 的研发实验室。
González-Blanco 补充道：“组建研究小组并围绕已有成果开展活动非常容易。”
其他四位联合创始人分别是：巴勃罗·费尔南德斯（总裁）、巴勃罗·莫利纳（首席技术官）、保罗·马茨（首席产品官）和大卫·比利亚隆（首席人工智能官）。
截至目前，团队依靠自筹资金开发，资金来源为以往创业退出所得。在 AI 热潮下，Clibrain 尚未拥有庞大投资者阵容或充足资金储备。
González-Blanco 表示，原本希望专注于开发核心模型并推向市场而非寻求外部融资。但随着 Lince 产品路线图推进，未来可能会寻求一轮比创始人自身投入规模更大的投资。