近期我们针对小样本学习+多模态的前沿成果进行了深度整合，从中筛选出33篇很有参考价值的论文，收录了NeurIPS、AAAI、ICLR、CVPR、ICCV等顶会顶刊上的相关工作，并配套整理了开源代码实现。
这些论文基本覆盖了当前主流方法与技术瓶颈，特别适合正在准备论文的朋友，无论你是想找创新突破口、设计课题方案，还是想复现经典模型，都能提供实质性帮助。
扫描下方二维码，回复「多模态小样本」
免费获取全部论文合集及项目代码
Multimodal Cross-Domain Few-Shot Learning for Egocentric Action Recognition
内容：本文提出MM‑CDFSL方法处理带无标注目标域数据的第一人称动作识别跨域小样本学习任务，先对RGB、光流、手部姿态热图各个模态独立使用VideoMAE完成预训练，联合源域与目标域重构损失以及源域分类交叉熵损失学习具备域自适应与类别判别性的多模态特征，之后冻结各模态预训练教师编码器，利用无标注目标域数据开展多模态特征蒸馏，将多模态互补知识迁移给仅用于推理的RGB学生编码器，同时在预训练、蒸馏、小样本训练、推理全流程应用Tube Masking掩码操作，进一步提出集成掩码推理，通过多次掩码生成样本做集成预测抵消掩码带来的精度损失，在目标域少量支持集样本上微调分类器完成小样本适配，最终在查询集上完成动作识别推理。
Multimodal Task Vectors Enable Many-Shot Multimodal In-Context Learning
内容：本文提出MTV多模态任务向量方法来突破大多模态模型上下文长度限制实现多模态少样本上下文学习，该方法先多次向模型输入分批的少样本上下文示例，对每一个注意力头取最后token输出得到多次推理的平均激活值，接着使用与下游任务格式对齐的样例，借助改造后的REINFORCE策略优化算法筛选出适配任务的注意力头位置，将平均激活与对应头位置共同构成多模态任务向量，下游推理时直接替换对应注意力头的激活，无需把大量示例作为输入token，不微调模型主干参数，既可以单独使用，也能够和显式上下文示例结合开展推理。
扫描下方二维码，回复「多模态小样本」
免费获取全部论文合集及项目代码
Argumentative Stance Prediction: An Exploratory Study on Multimodality and Few-Shot Learning
内容：本文基于ImgArg多模态论点挖掘数据集开展论点立场预测的探索实验，一方面对XLNet、BLOOM‑560M、Transformer‑XL、DeBERTa‑v2、XLM‑RoBERTa多个文本预训练模型微调，根据各模型验证集F1分数做加权集成得到最终预测结果，另一方面直接微调ViLT、FLAVA多模态模型，同时利用InstructBLIP将图像转成文本描述后和推文文本拼接再微调RoBERTa构建多模态RoBERTa，最后使用LLaMA‑2‑13B开展零样本与少样本实验，借助k‑means聚类按照主题划分训练集样本，推理时选取同主题样例作为上下文示例，针对数据集类别不平衡采用加权交叉熵损失，统一在HuggingFace框架下完成训练，对比不同方案在支持、反对两类立场上的精确率、召回率与F1指标。
Few-shot Learning for Cross-Target Stance Detection by Aggregating Multimodal Embeddings
内容：本文提出CT‑TN跨目标文本‑网络模型开展少样本跨目标立场检测，利用RoBERTa对推文文本与目标拼接输入得到文本表征并输出立场预测，同时借助PecanPy实现的Node2Vec算法分别从关注、好友、点赞三类社交关系网络中学习用户图嵌入并各自生成分类预测，之后采用多数投票集成策略融合文本与三组网络分支的预测结果得到最终输出，在P‑stance数据集上设置100‑400不同少样本数量开展实验，对比CrossNet、TGA‑Net、RoBERTa基线模型，同时通过消融实验验证各个分支组件的贡献，以宏平均F1作为评价指标衡量模型性能。
扫描下方二维码，回复「多模态小样本」
免费获取全部论文合集及项目代码
