大数跨境

CVPR2026 Oral|INSID3:基于DINOv3的免训练上下文分割实战|少量样本像素分割落地

CVPR2026 Oral|INSID3:基于DINOv3的免训练上下文分割实战|少量样本像素分割落地 AI与计算机视觉
2026-09-28
16
导读:哈喽各位做CV项目、毕设的小伙伴!本期我们回归纯视觉实操,拆解一篇CVPR2026 Oral论文:INSID3。

哈喽各位做CV项目、毕设的小伙伴!本期我们回归纯视觉实操,拆解一篇CVPR2026 Oral论文:INSID3。

这篇工作最大亮点:只用冻结的DINOv3骨干网络,不需要微调、不需要分割解码器、不用额外SAM模型,仅靠1~几张参考样例,就能完成新图同类目标的像素级分割。

传统的小样本分割方案,大多离不开微调、prompt工程,或是SAM这类独立分割模型做串联。INSID3另辟蹊径:挖掘DINOv3稠密特征本身自带的目标区域聚类特性,实现上下文分割。

01 论文核心思路速览

论文全称:INSID3: Training-Free In-Context Segmentation with DINOv3,CVPR2026 Oral,属于今年很受关注的零/少样本分割方向。

核心思想一句话概括:DINOv3预训练后,稠密特征天然具备物体层面的聚类结构。我们只需要给1张标注参考图,提取参考目标特征,在新图像特征空间做相似度匹配,直接生成分割掩码,全程不训练、不微调骨干权重。

整套流水线分为三步:

1.提取参考图像内目标区域的DINOv3稠密特征,得到类别原型;

2.提取待推理图像全部像素特征,计算每个像素与类别原型的特征相似度;

3.消除DINOv3特征自带的位置偏置,做简单后处理,输出实例掩码。

最大优势:轻量、免训练,新类别只需要提供少量参考图,不用重新训练网络,很适合工业质检、遥感、医疗影像这类标注稀缺场景。

02 和现有方案横向对比

•SAM / IFP(CVPR2026):需要点/文本prompt,依赖独立分割解码器;新类别依赖prompt质量

•传统小样本分割网络:必须在基础数据集上预训练,再做微调,标注成本高

•INSID3:骨干完全冻结,无解码器,仅依靠DINOv3原生稠密特征;1张参考图即可推理,开箱即用

当然它也有短板:复杂重叠物体、细粒度物体分割精度弱于SAM;更适合单类别、目标边界相对清晰的场景。

03 本地可运行极简代码实现(实操重点)

下面是INSID3核心推理逻辑,基于DINOv3,可直接在本地GPU运行,适合毕设demo快速复现。

核心函数debias_positional 是论文的关键创新:DINOv3特征自带位置偏向,图像中心区域相似度天然偏高;通过统计背景特征分布做偏移校正,大幅降低误检。

04 项目落地场景与毕设选题方向

INSID3这套免训练上下文分割架构,非常适合做成毕设项目,推荐几个落地场景:

•工业缺陷检测:少量缺陷样本,不需要大量标注,直接分割未知缺陷

•遥感地物分割:稀有地物类别标注少,用单张参考样本做区域提取

•医疗影像:病灶样本稀缺场景,少量标注图完成病灶区域分割

•野生动物监测:稀有物种实例分割,新增物种无需重新训练模型

拓展改进思路(可以写进论文创新点):结合文本特征做多模态参考原型,叠加形态学后处理优化掩码边缘,接入视频流实现时序一致的视频上下文分割。

05 实验指标与复现踩坑点

论文在COCO-OS、PASCAL-VOC等小样本分割基准上,在免训练方案里达到SOTA水平。实操复现容易踩坑的地方:

✅ 必须使用DINOv3稠密输出版本,只用CLS token效果极差;

✅ 位置偏置校正不能省略,否则图像中心区域会大量误分割;

✅ 参考掩码尽量保证目标完整,参考样本质量直接决定原型好坏;

✅ 重叠物体场景下效果下降,优先选择目标分离的数据集测试。

06 总结:这篇论文带给CV工程的启发

最近几年CV顶会一个很明显趋势:不再一味堆叠巨大模型、大量标注。很多工作开始挖掘预训练骨干模型本身已经学到的视觉知识,做免训练、上下文推理。INSID3就是典型代表。

它不需要复杂解码器,不需要海量标注,只利用预训练模型内置的特征聚类能力完成像素分割。对于标注成本高的行业场景,这个思路有很强的工程价值。

当然,它不是用来直接替代SAM的,二者定位不一样:SAM擅长开放词汇交互式分割;INSID3擅长少量参考样例、免训练的实例分割任务。

下期预告:CVPR2026 Highlight|MatAnyone2 视频抠图实战,长时序视频人像/物体抠图,自带质量评估模块。

【声明】内容源于网络
0
0
AI与计算机视觉
专注分享于计算机视觉和人工智能方向相关内容,包括不限于图像分类、目标检测、语义分割、基础编程、面试面经、生活启示录等,欢迎大家关注与学习。
内容 115
粉丝 0
AI与计算机视觉 专注分享于计算机视觉和人工智能方向相关内容,包括不限于图像分类、目标检测、语义分割、基础编程、面试面经、生活启示录等,欢迎大家关注与学习。
总阅读1.5k
粉丝0
内容115