继 Meta 推出移动端紧凑大模型 MobileLLM 后，AI 社区 Hugging Face 近日发布紧凑型语言模型系列 SmolLM，旨在性能上超越微软、Meta 及阿里 Qwen 等同类竞品。
SmolLM 的性能
SmolLM 系列包含 1.35 亿、3.6 亿及 17 亿参数三种规格。尽管体积小巧，其在推理与世界知识等基准测试中表现优异：
- SmolLM-135M：Token 数量更少，但性能优于 Meta MobileLM-125M；
- SmolLM-360M：全面超越所有参数量低于 5 亿的模型（含 Meta 与 Qwen 模型）；
- SmolLM-1.7B：在多项基准测试中胜过微软 Phi-1.5、Meta MobileLM-1.5B 及 Qwen2-1.5B。
训练数据
Hugging Face 将开发全流程开源，用户可访问从数据策展到训练的完整细节。训练数据集包括：
- Cosmopedia v2（合成教科书与故事）；
- Python-Edu（教育性 Python 示例）；
- Cosmo-Corpus（精选教育网络内容，含 FineWeb-Edu）。
首席机器学习工程师 Loubna Ben Allal 指出，模型性能高度依赖数据质量，团队通过创新方法混合网页与合成数据以确保高质量。研究负责人 Leandro von Werra 表示，SmolLM 无需昂贵 GPU 或云设施即可实现个性化自动补全及意图识别等功能。
此类可在 PC 和移动设备运行的紧凑模型，兼顾了性能与隐私，标志着行业关注点正从大型语言模型向紧凑模型转移。