大数跨境

1亿张图,36亿条目标框喂出来的WeVisOne-VL,微信把它开源了

1亿张图,36亿条目标框喂出来的WeVisOne-VL,微信把它开源了 微信AI
2026-11-04
17

传统视觉模型在处理“图中不存在目标”的指令时,往往倾向于强行给出一个边界框。在公开评测中,多数开源模型仅有个位数比例的情况能正确回答“没有”,其余则大多出现“幻觉”式标注。


近日,微信视觉团队正式开源 WeVisOne-VL。这是一款集物体定位、数量统计、文字识别、图像分割及抠图于一体的多模态视觉模型。在专门测试“负样本”(即图中无目标)的 Ref-ZOM 评测集中,其 4B 版本正确回答“没有”的比例高达 86.0%;在团队自建评测集 WeRef-Bench 中,该比例达到 96.4%,显著优于对比模型最高 73.0% 的水平。


核心特性:当图中不存在符合描述的目标时,模型将直接返回 None,而非强行框选。


·项目与代码:Tencent / WeVisOne-VL

·技术报告:https://arxiv.org/abs/2610.31329

·在线体验:

https://huggingface.co/spaces/hugging-apps/wevisone-vl-2b

https://huggingface.co/spaces/hugging-apps/wevisone-vl-4b

·模型权重:

https://huggingface.co/tencent/WeVisOne-VL-2B

https://huggingface.co/tencent/WeVisOne-VL-4B

·公开评测复现说明:

https://github.com/Tencent/WeVisOne-VL/blob/main/evaluation/README.md


技术突破:精准判断存在性与多任务统一

强化“负样本”训练,杜绝盲目框选

让模型准确识别“图中没有目标”极具挑战,因为漏检与确实不存在容易混淆。团队通过对照整图逐条复核,确保没有任何对象同时满足描述中的属性、动作和关系,才将其标记为“没有”。训练中重点优化两类错题:一是图中无目标却强行框选,二是图中有目标却漏检或错选。这种平衡训练使模型既敢于说“没有”,又不会因此降低正常目标的检出率。


数据显示,在 WeRef-Bench 中确认含有目标的题目上,4B 版本的定位得分为 78.7,远超对比模型最高的 51.7。这证明模型在学会拒绝无效指令的同时,保持了高精度的定位能力。

亿级精细标注,提升定位精度

为确保目标找得准、描得细,团队构建了一套自动标注流程,通过多模型交叉校验并补充轮廓与透明度信息。累计标注图像超过 1 亿张,包含约 36 亿个目标框,为模型提供了高质量的数据基础。

统一架构:画框、识字、抠图一模型搞定

以往,物体检测、OCR 和图像分割通常由不同模型分别处理。WeVisOne-VL 将这些任务统一为同一种输出格式,实现了“换任务无需换模型”。


以海边人物为例,模型可输出三种不同精度的结果:

  • 检测框:提供矩形范围,但包含背景杂物,难以直接使用。
  • 语义分割:沿轮廓进行像素级分类,但在发丝等细微处边缘生硬。
  • Alpha 抠图:计算每个像素的归属概率(如发丝处的人像占比),实现自然过渡,便于合成新背景。


图:基于 WeVisOne-VL 示例原图与抠图结果制作,框和分割为对比示意。


传统方案通常需先检测再调用 SAM 等分割模型,而 WeVisOne-VL 内置了一个约 960 万参数的小模块,可直接完成高精度抠图,无需外接其他模型。

性能均衡:多任务融合未牺牲单项能力

开源发布:支持在线试用与本地部署

目前,项目已开源 2B 和 4B 两个版本的模型权重,以及技术报告、教程、评测代码和标注工具 Mask2Alpha,均采用 Apache 2.0 许可协议。用户可通过 Hugging Face 在线 Demo 体验,也可下载权重在本地部署。


注:当前版本仅支持图片输入。WeVisOne-VL 实现了从“判断有无”到“精准定位、文字识别及精细抠图”的全流程统一,旨在提供更高效、准确的视觉理解能力。

【声明】内容源于网络
0
0
微信AI
1234
内容 71
粉丝 0
微信AI 1234
总阅读3.2k
粉丝0
内容71