引言:

SPPNet的性能已经得到很大的改善,但是由于网络之间不统一训练,造成很大的麻烦,所以接下来的Fast R-CNN就是为了解决这样的问题。

1. Fast R-CNN

改进的地方:

提出一个RoI pooling(region of interest即候选区),然后整合整个模型,把CNN、SPP变换层、分类器、bbox回归几个模块一起训练。
目标检测算法Fast R-CNN
步骤

  1. 首先将整个图片输入到一个基础卷积网络,得到整张图的feature map
  2. 将region proposal(RoI)映射到feature map中
  3. RoI pooling layer提取一个固定长度的特征向量,每个特征会输入到一系列全连接层,得到一个RoI特征向量(此步骤是对每一个候选区域都会进行同样的操作)
    1)其中一个是传统softmax层进行分类,输出类别有K个类别加上”背景”类(最终得到是N+1类)
    2)另一个是bounding box regressor(边框回归)

1.1 RoI pooling
首先RoI pooling只是一个简单版本的SPP层,目的是为了减少计算时间并且得出固定长度的向量。
目标检测算法Fast R-CNN
RoI池层使用最大池化将任何有效的RoI区域内的特征转换成具有H×W的固定空间范围的小feature map,其中H和W是超参数 它们独立于任何特定的RoI。

例如:VGG16 的第一个 FC 层的输入是 7 x 7 x 512,其中 512 表示 feature map 的层数。在经过 pooling 操作后,其特征输出维度满足 H x W。

假设输出的结果与FC层要求大小不一致,对原本 max pooling 的单位网格进行调整,使得 pooling 的每个网格大小动态调整为 h/H,w/W, 最终得到的特征维度都是HxWxD。

它要求 Pooling 后的特征为 7 x 7 x512(即要求输入到 FC 层的特征维度是7 x 7),如果碰巧 ROI 区域只有 6 x 6 大小怎么办?每个网格的大小取 6/7=0.85 , 6/7=0.85,以长宽为例,

按照这样的间隔取网格:[0, 0.85, 1.7, 2.55, 3.4, 4.25, 5.1, 5.95],取整后,每个网格对应的起始坐标为:[0, 1, 2, 3, 4, 5, 6]

下面是一整套RoI pooling流程图:

首先经过卷积层得到的特征图:

目标检测算法Fast R-CNN
得到候选区:
目标检测算法Fast R-CNN
因为每个候选区大小不固定,需要提取一个固定长度的特征向量:

这里是用4 x 4的RoI池层(相当于之前说的SPP层的一部分):
目标检测算法Fast R-CNN

最后进行池化:
目标检测算法Fast R-CNN
目标检测算法Fast R-CNN
1.2 End-to-End model ( 端对端模型 )

从输入端到输出端直接用一个神经网络相连,整体优化目标函数。

接着我们来看为什么后面的整个网络能进行统一训练?
特征提取CNN的训练和SVM分类器的训练在时间上是先后顺序,两者的训练方式独立,因此SVMs的训练Loss无法更新SPP-Layer之前的卷积层参数,去掉了SVM分类这一过程,所有特征都存储在内存中,不占用硬盘空间,形成了End-to-End模型(生成Region proposal除外,end-to-end在Faster-RCNN中得以完善)

  1. 使用了softmax分类
  2. RoI pooling能进行反向传播,SPP层不适合(这里的原因本人也不是很清楚,可以百度感受野相关的知识进一步了解)

2. 多任务损失 Multi-task loss
目标检测算法Fast R-CNN

3. R-CNN、SPPNet、Fast R-CNN效果对比
目标检测算法Fast R-CNN
4. Fast R-CNN总结

目标检测算法Fast R-CNN
缺点:

使用Selective Search提取Region Proposals,没有实现真正意义上的端对端,操作也十分耗时(下一节Faster R-CNN会改善)

参考:
https://www.cnblogs.com/kongweisi/p/10900021.html