2023年，Hugging Face基于DeepMind技术推出Idefics视觉语言模型，现正式发布升级版Idefics2。新版本参数量更小、采用开源许可证，并显著增强了光学字符识别（OCR）能力。
模型对比
Idefics是支持图文提示的通用多模态模型。原版拥有800亿参数，而Idefics2仅80亿参数，规模缩减至十分之一，性能可与DeepSeek-VL及LLaVA-NeXT-Mistral-7B媲美。
据Hugging Face披露，在视觉问答（VQA）测试中，Idefics2的表现足以与LLava-Next-34B、MM1-30B-chat等更大规模模型竞争。
Idefics2核心优势
Idefics2不仅能回答图像相关问题、识别视觉内容、基于多图构建故事，还可从文档中提取信息并执行基础算术运算。
该模型支持高达980×980像素的自然分辨率及原始宽高比处理，无需将图像强制调整为固定方形比例，图像处理能力更优。
通过整合图像或文档中的文本数据，模型OCR能力得到提升。同时，团队还强化了其对图表、形状及文档类问题的回答能力。
训练数据
Idefics2的训练混合了Mistral-7B-v0.1和siglip-so400m-patch14-384等开放数据集，涵盖Wikipedia与OBELICS网络文档、公共多模态数据集及LAION-COCO图文对。
此外，训练数据还包含来自PDFA(en)、IDL、Rendered-text以及WebSight的图像转代码（image-to-code）等OCR专项数据。