行家说行话 | 关于少样本学习的二三事

    | 构建万物AI的美好世界 |

以视觉AI系统中应用非常广泛的目标检测算法为例，不同任务中需要检测的目标可能存在很大差异，以目前的监督式学习范式处理，对大量有标签数据的需求在切入新场景和新任务时，存在成本和效率的双重压力。我们将这样的情况称作“碎片化”的任务场景。

在这样的背景下，“少样本学习（Few-shot Learning）”方法应运而生，有时又被称为“元学习（Meta Learning）”或者“学会学习（Learn to Learn）”。

它强调利用既有的知识经验来促进新任务的学习，使计算机具备获取多样性知识的能力。此类方法在视觉AI系统中已有极为成功的案例，例如考拉悠然多模态识别技术，在训练过程里让模型习得提取每个人独特“特征”的能力，从而当遇到未见过的人员（新的任务）时，仅需注册一张或几张照片，即可达成对其身份识别的超高准确率。

（人脸识别面部特征提取）

少样本学习优势所在 ·

一方面，针对新任务可以通过极少量样本的特征提取与注册方式迅速达成上线，显著提高系统开发与应用的效率。以智慧城市场景中的行为识别为例，在监督式学习范式下，对于每一种需要被系统甄别出的行为，都需要经过对较大量视频数据的采集、分段、标注、训练等繁复的过程，从一个行为识别任务从需求明确到实际的部署上线可能花费数周到数月时间；但通过“少样本学习”的方式，则仅需要将少数几个典型行为样本注册到系统中即可达成一定程度的识别，这一过程可能只需要几天的时间就能完成。

另一方面，在使用过程中的漏报与误报现象，也可以通过注册方式实时在线解决，对于现有AI系统依赖于离线训练与部署的笨重迭代方式也是很好的补充。比如目标检测算法在智能制造领域的具体应用中，漏检和误检的现象对这类系统造成长期的困扰，人工智能方法虽然显著提高了目标检测算法的准确率，但也仍然无法完全杜绝漏检和误检的产生；在传统监督式学习下，针对漏检和误检的现象，需要收集一定量的错误样本，然后增量进行训练，不仅费时费力、响应延迟，且新的训练是否能够关注到这些错误样本，从而实际达成效果提升并不能得到保障，这些错误样本的数据分布很可能被极大量的原始训练数据的分布所淹没；而在“少样本学习”范式之下，针对漏检和误检的问题，则只需要将错例及时注册到系统中，告知系统这是“增补”或“例外”的目标，通过这一简便快捷的操作，错漏补丁即可实时生效，并且也不会存在分布淹没的不利现象。

基于此，快速、高效和灵活将是少样本学习区别于传统监督式学习的优势所在。

              提升少样本条件下的应用效果的注意事项

利用“少样本学习”范式来改造AI算法以适应“碎片化”任务场景，基于度量的方法是一种相对简便的实施路径，这一路径与“表征学习（Representation Learning）”也有较大的相似性。通过考拉悠然的不断实践，提升此类方法在少样本条件下的应用效果需要注意以下三点：

基于度量的方法希望对于每一个样本能够提取到其独一无二的“特征”，并且这种特征应该是稳定的，即不受常见的如光照、角度、模糊等条件而变化，这可以通过简单的数据增强手段在一定程度上模拟；

这种学习方法本身可以是无监督的，因此可以利用海量的廉价无标签数据进行学习以提高泛化性能；在有一些宝贵有标签数据的条件下，也可以利用标签数据，来进一步促进特征的稳定性；同时结合这两种学习方法比单一地采取其中一种更好；

机器学习方法在学习高维特征的过程中会倾向于“抄捷径”，因此在特征之间有时会存在较强的相关性，这不利于充分发掘模型的表达能力以提炼多样性知识；通过约束特征之间的独立性，有助于提高模型在新任务上的冷启动效果。