FPN：目标检测常用的特征提取方法

常规的特征提取方法

  1. 多维度的目标检测一直以来都是通过对输入图像进行不同程度的缩小或扩大来对图像做特征组合，即图像金字塔的方式，例如人脸检测MTCNN网络就是图像金字塔方式输入，这种方法能有效表达出图像上的各种维度特征，对最终检测效果提升很明显，但是对硬件及内存要求较高，同时比较耗时。

  2. 只用单一维度的图像作为网络输入，在经过多次CNN网络模型提取特征，这种方式因为只考虑一种维度信息，在目标检测中，对小目标检测效果不好，Faster r-cnn网络使用。

  3. 虽然只用单一维度的图像作为网络输入，但是在卷积网络的多个feature map上进行目标检测或分类，因为网络层数递增，各层特征会考虑到图像上的不同维度目标，SSD检测网络中使用。

  4. FPN架构方式，顶层特征通过上采样和低层特征做融合，然后每层都独立预测（从网络不同层抽取不同尺度的特征和上采样后做预测）

    下图a，b，c，d各种方式依次对应1,2,3,4
    FPN：目标检测常用的特征提取方法

算法内容

FPN：目标检测常用的特征提取方法

算法大致结构如上图：一个自底向上的线路，一个自顶向下的线路，横向连接（lateral connection）。图中放大的区域就是横向连接，这里1*1的卷积核的主要作用是减少卷积核的个数，也就是减少了feature map的个数，并不改变feature map的尺寸大小。

  • 自下至上的通路，就是指的普通CNN特征自底至上逐层浓缩表达特征的一个过程，即前向过程，在前向过程中，feature map的大小在经过某些层后会改变，而在经过其他一些层的时候不会改变，作者将不改变feature map大小的层归为一个stage，因此每次抽取的特征都是每个stage的最后一个层输出，这样就能构成特征金字塔。

  • 自上至下的通路，上层的特征输出其feature map比较小，却能表示更大维度的图像信息，自上至下过程使用上采样。

  • 横向连接，是将上采样的结果和自底向上生成的相同大小的feature map进行融合（merge），即进行了CNN层特征与每一级别输出之间的表达关联。

    FPN（Feature Pyramid Network）算法同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到预测的效果。并且预测是在每个融合后的特征层上单独进行的，这和常规的特征融合方式不同，它已成为图像特征提取中的标配了