标检测任务是计算机视觉的基础任务之一,主要任务是对图像中的目标进行分类和定位。但是现有的目标检测任务基于大量的标注的图像进行训练,限制了某些场景下的应用和推广。

通过应用较少的标注数据的半监督方法或者利用不完全匹配的标注数据的弱监督方法,利用极少的标注数据学习具有一定泛化能力的模型显得较为重要,这也是小样本学习的所需要解决的问题。

人类视觉可以通过对新事物极少的学习就可以获得永久的记忆能力。传统的目标检测方法需要借助大量的数据获得具有一定泛化能力的模型在新数据中取得应用。

小样本目标检测研究现状

如图所示的就是一个比较经典的小样本检测方法,基于包含充足数据的基类,模型试图学习一定的泛化能力,并仅靠极少数的标注数据在新类上进行测试。通过巧妙的设计训练方法,模型及loss,引导模型在极少量标注数据中学习具有一定泛化能力的检测模型。

在小样本检测中不得不提的是C-way K-shot问题。在元训练阶段,首先从训练集中随机抽取C个类别,每个类别包含K个样本,构成模型的支撑集,即为一个元任务。目的是为了使得模型从C X K个数据中学习识别C个类别(K值很小,通常K<10)

小样本目标检测研究现状

一、小样本学习

按照解决方案分为四类:

  1. 基于度量学习
  2. 基于元学习
  3. 基于数据增强
  4. 基于多模态的方法

1、基于度量学习

从改善模型框架入手,对于输入图像在训练阶段,模型头部输出两个样本属于同一类别的概率;在测试阶段,模型输出测试样本与支撑集所有样本属于同一类别的概率,最高概率所对应的类别即为最后的结果。匹配网络支撑集和查询图像采用不同的特征提取器,分类结果由查询图像与支撑集所有样本的预测值的加权得到。

小样本目标检测研究现状

2、基于元学习的方法

利用记忆增强网络(LSTM,RNN等)

小样本目标检测研究现状

3、基于数据增强的方法

通过数据增强来弥补数据量不充足的问题,扩充少量原始样本

小样本目标检测研究现状

4、基于多模态的方法

在少量样本的情况下引入其他模态信息进行融合

小样本目标检测研究现状

二、小样本目标检测

小样本目标检测方法主要基于传统的经典成熟的目标检测方法,借鉴小样本学习框架,构建针对目标检测的小样本解决方案,现有的方法分为以下三类:

  1. 基于微调的方法
  2. 基于模型的方法
  3. 基于度量学习的方法

1、基于微调的方法

基于微调的迁移学习的方法,首先在大规模数据集上进行学习源域模型,并使用该模型参数初始化目标域模型,之后在小规模数据集上进行微调。

2、基于模型的方法

构建新的目标检测模型来解决小样本目标检测的问题

小样本目标检测研究现状

3、基于度量学习的方法

基于度量学习的方法,模型由基本检测模型和元模型组成,基础模型在基础训练中提供基础类的特征,元模型学习基础特征用于输入图像的重要权重系数,进而调整基础特征重要程度在小样本上进行检测。

小样本目标检测研究现状

三、小样本目标检测现有的问题

1、依赖于传统的目标检测领域中经典成熟的方法,但是后续的推理速度缓慢,不能满足实时性需求。

2、现有的方法泛化性能差强人意,随小样本类别增加,效果下降明显

来源:知乎 https://zhuanlan.zhihu.com/p/143444970