AI开发平台Hugging Face发布SmolVLM系列模型
Hugging Face发布了据称最小的多模态AI模型,能够同时分析图像、短视频和文本。该系列包含SmolVLM-256M和SmolVLM-500M两款模型,专为内存不足1GB的笔记本电脑等“资源受限设备”设计,也适合需低成本处理海量数据的开发者。
两款模型参数量分别为2.56亿和5亿(参数规模通常对应模型的解题能力),均支持描述图像或视频片段,以及回答关于PDF及其内部元素(含扫描文本和图表)的问题。
训练数据方面,团队采用了The Cauldron(包含50个高质量图文数据集)和Docmatix(带详细说明的文件扫描件)。这两套数据均由Hugging Face M4团队创建,该团队专注于多模态AI技术研发。
基准测试显示,SmolVLM-256M和SmolVLM-500M在AI2D(测试小学水平科学图表分析能力)等项目中表现优于更大的Idefics 80B模型。目前,两款模型已在网上及Hugging Face平台开源,采用Apache 2.0许可证,允许无限制使用。
尽管小型模型成本低、用途广,但也可能存在大型模型不易察觉的缺陷。Google DeepMind、微软研究院和魁北克Mila研究所的联合研究发现,许多小模型在复杂推理任务上表现不及预期。研究人员推测,这可能是因为小模型仅能识别数据中的表面模式,难以在新情境中有效应用知识。

