传统视觉模型在处理“图中不存在目标”的指令时,往往倾向于强行给出一个边界框。在公开评测中,多数开源模型仅有个位数比例的情况能正确回答“没有”,其余则大多出现“幻觉”式标注。
近日,微信视觉团队正式开源 WeVisOne-VL。这是一款集物体定位、数量统计、文字识别、图像分割及抠图于一体的多模态视觉模型。在专门测试“负样本”(即图中无目标)的 Ref-ZOM 评测集中,其 4B 版本正确回答“没有”的比例高达 86.0%;在团队自建评测集 WeRef-Bench 中,该比例达到 96.4%,显著优于对比模型最高 73.0% 的水平。
核心特性:当图中不存在符合描述的目标时,模型将直接返回 None,而非强行框选。
技术突破:精准判断存在性与多任务统一
强化“负样本”训练,杜绝盲目框选
让模型准确识别“图中没有目标”极具挑战,因为漏检与确实不存在容易混淆。团队通过对照整图逐条复核,确保没有任何对象同时满足描述中的属性、动作和关系,才将其标记为“没有”。训练中重点优化两类错题:一是图中无目标却强行框选,二是图中有目标却漏检或错选。这种平衡训练使模型既敢于说“没有”,又不会因此降低正常目标的检出率。
数据显示,在 WeRef-Bench 中确认含有目标的题目上,4B 版本的定位得分为 78.7,远超对比模型最高的 51.7。这证明模型在学会拒绝无效指令的同时,保持了高精度的定位能力。
亿级精细标注,提升定位精度
为确保目标找得准、描得细,团队构建了一套自动标注流程,通过多模型交叉校验并补充轮廓与透明度信息。累计标注图像超过 1 亿张,包含约 36 亿个目标框,为模型提供了高质量的数据基础。
统一架构:画框、识字、抠图一模型搞定
以往,物体检测、OCR 和图像分割通常由不同模型分别处理。WeVisOne-VL 将这些任务统一为同一种输出格式,实现了“换任务无需换模型”。
以海边人物为例,模型可输出三种不同精度的结果:
- 检测框:提供矩形范围,但包含背景杂物,难以直接使用。
- 语义分割:沿轮廓进行像素级分类,但在发丝等细微处边缘生硬。
- Alpha 抠图:计算每个像素的归属概率(如发丝处的人像占比),实现自然过渡,便于合成新背景。
图:基于 WeVisOne-VL 示例原图与抠图结果制作,框和分割为对比示意。
传统方案通常需先检测再调用 SAM 等分割模型,而 WeVisOne-VL 内置了一个约 960 万参数的小模块,可直接完成高精度抠图,无需外接其他模型。
性能均衡:多任务融合未牺牲单项能力
开源发布:支持在线试用与本地部署
目前,项目已开源 2B 和 4B 两个版本的模型权重,以及技术报告、教程、评测代码和标注工具 Mask2Alpha,均采用 Apache 2.0 许可协议。用户可通过 Hugging Face 在线 Demo 体验,也可下载权重在本地部署。
注:当前版本仅支持图片输入。WeVisOne-VL 实现了从“判断有无”到“精准定位、文字识别及精细抠图”的全流程统一,旨在提供更高效、准确的视觉理解能力。

