NeurIPS 2023｜零样本/开放域分割: 通过微调CLIP来学习掩码级知识表征

Paper: https://arxiv.org/pdf/2310.00240.pdf

Code: https://github.com/jiaosiyu1999/MAFT

1.Abstract

本篇文章通过对CLIP进行微调的方式来解决zero-shot segmentation和open-vocabulary segmentation。先前的零样本/开放域分割模型都是通过将CLIP冻结来保留其zero-shot能力。然而，本文指出：冻结的CLIP对不同的掩码不敏感，并且倾向于对同一图像的各种掩码产生相似的预测。这种对不同掩码的不敏感是影响最终分割结果的关键。以下图为例，尽管冻结的CLIP将“天鹅”的掩码（p1）进行了正确的分类，但其将同时包含“天鹅”和“河流”的掩码（p3）也归类为“天鹅”。

基于上述观察，本篇文章的提出了针对CLIP的掩码敏感型微调（Mask-Aware Fine-Tuning）范式，通过对CLIP的Image Encoder进行微调，使其学习到对掩码敏感的知识表征。这种微调遵循两个原则：1）提升CLIP对不同掩码的区别能力。2）保持CLIP的zero-shot能力。

优势：（1）MAFT即插即用，fine-tune过的CLIP可直接应用到大多数零样本/开放域分割模型中，并且和SAM等模型结合可得到更高质量的结果。（2）相比于pixel-level的约束，mask级别的finetune可以更好保存 CLIP的泛化性。（3）高效，本文对CLIP Image Encoder进行修改，使其可以同时处理任意数量的掩码，极大降低了计算冗余。此外finetune仅需很短的时间即可实现（Pasca-VOC: 100 iterations; COCO-Stuff: 1000 iterations）。

2. Methodology

论文中的模型结构如下：

2.1Image-Proposal CLIP Encoder

受Mask2Former启发，本文对CLIP Image Encoder进行了修改，将proposal generator生成的掩码作为偏置（Bias），添加到Multihead Attention中。这种修改过的Image-Proposal CLIP （IP-CLIP）可并行处理任意数量的掩码，极大程度上减少了计算冗余，并且所有的掩码分类时可获取全局信息，有助于分类。

2.2 Objective

本文在mask-aware fine-tuning阶段设计了两个loss。（1）mask-aware loss约束掩码的分类得分（Ac）和掩码质量（IoU得分）趋于一致。（2）本文在训练阶段额外引入了一个参数冻结的CLIP作为teacher net，self-distillation loss约束无掩码时整图的分类得分和teacher net的分类得分保持一致。

通过mask-aware loss和self-distillation loss的约束，保证了CLIP通过fine-tune对不同掩码敏感，且不损害CLIP的zero-shot能力。

3. Experiment

3.1 zero-shot / open-vocabulary segmentation

zero-shot segmentation结果如下，由于ZegFormer，ZSSeg和FreeSeg使用了ensemble将seen类别和unseen类别的分类得分分别对待，因此MAFT在seen类别上的增益不明显。

本文额外的给出了不使用ensemble的结果，即仅适用CLIP对掩码进行分类，可见MAFT在seen和unseen类别上均有显著提升。

open-vocabulary segmentation结果如下

3.2 Ablation Studies

本文进行了广泛的消融实验，包括（a）对MAFT各模块进行消融，（b）对mask-aware loss函数进行消融，（c）对fine-tuning的迭代次数进行消融，（d）对CLIP中参与fine-tune的各个units进行消融，（e）对开始masked multihead attention的transformer layer进行消融。

3.3 Extending MAFT with SAM

本文探索了使用Segment Anything Model作为proposal generator的效果。

3.4 Extending MAFT with more Vision-Language Models

本文探索了将MAFT应用到更多的Vision-Language模型中，包括CLIP-ViT-L和CLIP-Res50。

1）使用更强的Vision-Language模型CLIP-ViT-L可以在开放域分割中达到新的SOTA性能。

2）MAFT 也可以轻松应用到ResNet-based模型上，类似于IP-CLIP的设计，我们将偏置（Bias），添加到AttentionPool2d中的Multihead Attention中。可见MAFT对ResNet-based的模型同样可以产生显著的效果。

3.5 Qualitative Study

本文展示了一些典型的掩码和TOP5分类得分，可见经过MAFT，CLIP对于不同的掩码更加敏感了，给出的得分也更加合理。

本文在多个数据集上对比了FreeSeg和FreeSeg+MAFT的可视化结果

公众号后台回复“数据集”获取100+深度学习各方向资源整理