苹果专注于人工智能技术的Apple Intelligence研究团队发布了两个新的小型语言模型发布。在小型语言模型流行的当下，苹果的入局引人注目。尽管规模较小，但这些模型展现出高性能，可用于训练生成式AI模型。
苹果机器学习团队在开源的苹果机器学习团队在开源的 DataComp for Language Models (DCLM) 项目下推出的两个模型，正在与 Llama 3 和 Gemma 等其他领先的训练模型展开竞争。在某些指标上，苹果的轻量级语言模型与这些较小的模型表现相当，而在另一些指标上则成功超越了它们。(DCLM)项目框架下推出了两个模型，正与Llama 3、Gemma等领先模型展开竞争。在某些标准上，苹果的小模型性能与之相当，而在另一些指标上则实现了超越。
与此同时需指出，DataComp for Language Models项目汇集了哈佛大学、斯坦福大学及丰田等企业力量，专注于最有效的数据优化策略。
苹果发布的语言模型提供了用于训练ChatGPT或Claude等AI引擎的标准框架，涵盖架构、参数及数据集过滤等内容。通过对数据集进行过滤，为AI引擎提供了更高质量的数据。
苹果新模型的性能
苹果的DCLM语言模型包含70亿参数和14亿参数两种规模。其中，70亿参数模型在各项指标上超越此前表现最佳的DCLM模型MAP-Neo达6.6%。此外，Apple团队的DataComp-LM模型为实现这些指标40%更少的计算力使用。因此，该模型在拥有公开数据集的模型中表现最佳，同时成功与拥有专有数据集的模型竞争。
Apple的两个模型在大语言模型理解（MMLU）基准测试中的得分也引起了关注。然而，Apple的70亿参数模型DCLM-7B在MMLU基准测试中未能超越Llama 3、Gemma、Phi-3和Qwen-2等模型。
还需指出，Apple团队发布的这些模型并非旨在未来用于任何Apple产品。作为社区研究项目定位的这些模型，旨在有效改进用于训练AI模型的数据集。在此意义上，Apple的研究团队还研究了各种数据增强技术的影响以及基于模型的质量过滤策略。开发者可以通过Hugging Face访问这些模型。