导读
迁移学习中的“源数据”未必需要是图像、文本或音频。一项发表于 ICML 2026 的研究表明，从高斯分布中随机采样且毫无语义的噪声，也能辅助模型在少量标注下提升学习效果。该研究提出了半监督噪声自适应（SSNA）方法及噪声自适应框架（NAF），通过构建具有判别性的噪声类别结构并迁移至真实目标域，显著提升了小样本场景下的分类准确率。
用噪声替代真实源域
传统迁移学习依赖标签丰富的真实源域，但受限于隐私、版权等因素，源数据往往难以获取。SSNA 打破了这一前提，直接使用从简单概率分布生成的噪声作为源域。
具体而言，若目标任务包含 C 个类别，研究团队在 1024 维空间中为每个类别随机采样均值向量，构造 C 个高斯分布，并从中采样噪声向量。噪声类别与目标类别通过索引固定对应，但这种对应本身不包含任何语义信息（如噪声类 0 并不天然代表“猫”）。真正被迁移的，是噪声域中形成的判别结构：同类噪声聚集，异类噪声分离。只要该结构能与目标域对齐，即可为真实样本提供清晰的分类边界。
少量标注不可或缺
噪声可替代源数据，但无法完全替代目标域标签。由于噪声来自独立空间且类别编号人为指定，模型必须借助少量已标注的目标样本，才能建立噪声类与真实类别的对齐关系。实验显示，当 CIFAR-100 每类标注样本降为 0 时，NAF 与基线 ERM 的准确率均接近随机水平；一旦引入少量标注，NAF 的表现便持续优于 ERM。这证明在半监督设定下，真实源域并非实现正迁移的必要条件。
NAF 框架的核心机制
基于泛化上界理论，NAF 将训练目标拆解为三个关键部分：
监督学习建立桥梁
利用目标域编码器将真实样本映射至共享表征空间，并通过少量标注样本计算交叉熵损失。这一步骤与普通监督学习一致，旨在建立噪声类与真实类别之间的初始联系。
构建噪声类别结构
噪声投影器将随机向量映射到同一表征空间，分类器依据预设编号识别噪声。训练过程中，同类噪声逐渐聚拢，不同类噪声相互分离，形成清晰的簇结构。
跨域分布对齐
NAF 计算噪声域与目标域的分布差异以实现_align_。论文对比多种方案后，采用负域相似度（NDS）作为默认机制，通过余弦相似度推动两域的全局均值及各类别均值靠近。未标注目标样本的类别均值则通过伪标签迭代估计。
整体目标函数由三部分组成：目标域经验误差、噪声域经验误差以及两域在共享空间中的分布差异。
多数据集验证性能增益
主实验覆盖 8 个视觉数据集和 1 个文本分类数据集。在 ResNet-18 骨干网络及每类仅 4 个标注样本的设定下，NAF 相较标准监督学习基线（ERM）在多个数据集上取得显著提升：
- CIFAR-10：提升 12.35%
- CIFAR-100：提升 7.61%
- DTD-47：提升 4.38%
- Caltech-101：提升 2.74%
在细粒度分类任务（CUB-200、Oxford Flowers-102、Stanford Cars-196）中，NAF 同样表现优异，准确率分别提升 8.94%、5.51% 和 7.74%。即便在大规模 ImageNet-1K（每类 100 标注）和文本任务 AG News-4（基于 BERT）中，NAF 也分别实现了 0.99% 和 4.18% 的性能增益。
此外，NAF 具备良好的兼容性，可直接嵌入 UDA、FixMatch 等现有半监督方法中并带来额外增益。
核心洞察：结构优于随机
消融实验揭示，噪声生效的关键在于类别间是否存在可分离的结构。若将所有噪声压缩为同一点，导致判别结构消失，NAF 不仅无增益，反而引发负迁移。反之，拉大噪声类别中心距离能显著提升准确率。研究表明，只要形成可分离模式，少量噪声即可发挥作用，噪声数量并非决定性因素。
与常规数据增强不同，SSNA 并非在真实样本附近进行变换，而是构造独立的噪声域并在表征空间完成跨域对齐。在真实源数据不可得的场景下，这种低成本的合成噪声方案具有重要的应用价值。
总结
SSNA 研究为迁移学习提供了新视角：源数据的价值未必完全依赖其真实语义，表征空间中形成的类别结构同样是可迁移的知识。NAF 通过让随机噪声形成判别性结构，并借助少量标注将其传递给真实数据，证明了即使源域不含真实信息，合理的结构设计仍能对目标任务产生正向作用。这为隐私受限或数据稀缺场景下的模型训练开辟了新的研究路径。
论文标题：Semi-Supervised Noise Adaptation: Transferring Knowledge from Noise Domain
论文地址：https://arxiv.org/pdf/2606.00558
源码地址：https://github.com/AIResearch-Group/SSNA