
Hugging Face发布轻量级多模态模型SmolVLM
人工智能社区平台Hugging Face团队发布了可分析图像、短视频及文本的SmolVLM-256M与SmolVLM-500M模型。该团队称其为当前最小的人工智能模型,专为内存受限设备(如RAM不足1GB的笔记本电脑)设计。最小版本每秒可处理16个样本,批次大小为64时仅消耗15GB RAM。对于需以极低成本处理海量数据的开发者而言,这两款模型是理想选择。
核心功能:图文视频识别与PDF问答
除识别图像或视频片段外,模型还能回答关于PDF及其内容的问题,且支持处理扫描版PDF中的文本与图形。
训练数据与基准测试表现
模型基于The Cauldron和Docmatix数据集训练,两者均由Hugging Face多模态AI技术M4团队创建。其中,The Cauldron包含50个高质量图文数据集;Docmatix则是带详细字幕匹配的文档扫描集。
在AI2D等基准测试中,SmolVLM-256M和SmolVLM-500M的表现优于参数量大300倍的Idefics 80B模型。AI2D主要用于评估模型分析小学级别科学图表的能力。
开源许可与获取方式
SmolVLM-256M和SmolVLM-500M采用Apache 2.0许可证,用户可通过Web端及Hugging Face平台免费下载,并无限制使用。

