大数跨境

发一区新打法!小样本学习+CLIP,识别精度直接抬档!

发一区新打法!小样本学习+CLIP,识别精度直接抬档! AI因斯坦
2026-11-11
3
导读:CLIP拉开零样本识别的大门之后,真正的攻坚点落在只有几张图也得好用上。

CLIP拉开零样本识别的大门之后,真正的攻坚点落在只有几张图也得好用上。从提示词自适应、视觉-语言原型对齐,到适配器微调与伪标签迭代自训练,小样本与CLIP的结合已经从简单拼接走向结构性改造。


我从近年顶会顶刊中整理了10篇该方向的最新前沿论文,正在做相关课题的伙伴可以直接下方领取论文及代码(部分包含),做相关课题的同学有兴趣可以参考~


长按识别下方二维码,回复【小样本clip】

无偿领全部论文合集及项目代码


Decoupling Augmentation Bias in Prompt Learning for Vision-Language Models

解耦视觉-语言模型提示学习中的增强偏差


文章内容

本文指出提示学习普遍只用文本侧增广,图像增广几乎未被纳入提示优化,导致语义与背景、纹理、风格等偶然属性相互纠缠,在少样本和跨域场景下削弱泛化能力。作者先验证直接把图像增广接入CoCoOp反而因元网络学不到语义特征而降低新类精度,据此提出AAPL框架。核心是delta meta token:把受控图像扰动产生的属性级差异编码进提示空间,再以AdTriplet损失解耦低层外观变化与类相关语义,使软提示聚焦判别性视觉特征。在11个基准数据集上,AAPL在零样本、少样本、跨数据集与域泛化设置中一致优于CoOp、CoCoOp等基线。



Feature Projection Learning for Better Vision-Language Reasoning

特征投影学习:以更优的视觉-语言推理


文章内容

本文指出CoOp训练成本高且少样本精度有限、Tip-Adapter缓存膨胀带来海量参数,提出仅增加极少参数与训练时间的特征投影学习FPL。方法把分类转化为投影问题:对每个类别的少样本图像,用去掉注意力池化层的CLIP图像编码器提取特征图,经岭回归闭式解求投影矩阵θ*,将类原型特征投影进查询图像的像素级特征空间并据此重构;以重构特征图与真实特征图的负均方欧氏距离作为分类分数,再与原生CLIP的预测做残差融合,并附加投影正交损失促使各类投影特征相互分离。仅1分钟、0.001M参数即在16-shot ImageNet上达66.68%,11个数据集上平均超出Tip-Adapter-F 5.1%,域泛化提升4.3%。



Training-Free Dual Hyperbolic Adapters for Better Cross-Modal Reasoning

免训练双曲双适配器:面向跨模态推理的增强


文章内容

本文针对视觉-语言模型适配普遍依赖微调、域偏移下性能衰减的问题,提出免训练的T-DHA方法。核心观察是CLIP的语义概念天然呈层级结构,而欧氏空间的余弦相似度无法表达这种树状关系。因此把图像特征经指数映射投影到庞加莱球双曲空间,利用其体积随半径指数增长的特性刻画层级,再用双曲距离度量相似度。方法同时构造正向与负向双曲适配器:正向以类别原型为锚,负向用同数据集其他类特征均值作为"不属于该类"的参照,并在图像-图像与图像-文本两条预测通路上分别计算正负偏好,最后加权融合。在11个数据集的免训练少样本评测中全面超越Tip-Adapter、APE等基线,16-shot平均达75.53%。



↓↓听说在下方一键三连的都Accept了🌝

点点赞
点分享
点喜欢

【声明】内容源于网络
0
0
AI因斯坦
人工智能领域论文干货
内容 134
粉丝 0
AI因斯坦 人工智能领域论文干货
总阅读1.7k
粉丝0
内容134