Commencis发布博客文章，介绍了一款专注于银行与金融领域、具备流利土耳其语能力的大型语言模型。在部署前，团队测试了Llama 2、Mistral、Mixtral、Zephyr和OpenChat 3.5等主流模型，最终选择Mistral 7B作为基础模型，因其在处理复杂数据集及特定术语方面表现优异。
该项目基于Amazon Web Services高性能GPU运行，采用g5.2xlarge满足核心资源需求，并使用g5.48xlarge处理高密度计算任务。
工程团队耗时约三个月对模型进行微调，重点提升其对土耳其语的理解能力及语义关系捕捉的精准度。
模型训练数据集构建
为增强模型在银行金融领域的土耳其语能力，团队构建了定制化数据集，全面涵盖客户服务记录、财务报告、市场分析及法律监管文件等，旨在让模型掌握行业特有术语与表达方式。
在数据清洗阶段，剔除了低质及无关内容，并注重平衡不同语言结构的数据，以确保多样性并提升模型处理能力。同时，纳入性别、种族及地理位置等因素，以减少偏见并增加回答多样性。
针对预训练开源模型面临的土耳其语数据集稀缺问题，团队不仅优化现有数据，还致力于创建新数据集，以深化对土耳其语及银行业术语的理解。
团队利用OpenAI GPT-4生成了数千条合成指令用于监督微调，这些指令结合了银行金融词典术语及类别定义，在微调中发挥关键作用，并为准备和测试阶段确立了新标准。此外，通过特殊过滤方法提升问答质量，并使用GPT-4从土耳其语能力、准确性、清晰度及覆盖范围等维度进行全面评估。
Commencis在文中展示了与其他模型的对比结果。依据受《使用MT-Bench和Chatbot Arena评估LLM-as-a-Judge》论文启发的评估标准，Commencis LLM在土耳其语语言能力、相关性、准确性、精确性及回答完整性等多项指标上超越了知名大模型，这些指标也为数据集调整与参数微调提供了依据。
据悉，Commencis LLM等专有模型通过定制化内部部署，能够在银行金融行业严格的合规框架内，有效实现数据控制与合规性要求。