【神经网络】目标检测——RCNN

test阶段：

1. 用Selective Search招两千左右的Rigion Proposal，并且图像四周加16个像素，再wrap最为CNN输入（227*227*3），这个是Alexnet的input。之所以这样是可以很好地利用Alexnet的结果；
2. 用CNN特征提取特征（2000*4096）。网络结构就是AlexNet，输入227*227*3，第五层输出6*6*256，第六层输出：4096，第七层输出4096，模型将第七层的输出为特征
   参考Alexnet：
   https://blog.csdn.net/zyqdragon/article/details/72353420

3. 对每一个类别分别建立SVM模型，得到评分（2000*20）。这里在选择rigion proposal的时候采用的是非极大抑制（greedy non-maximum suppression）

   非极大抑制（greedy non-maximum suppression）：
   对于每一类别，从score高的开始，当IoU（Intersection over union）高于阈值，去掉该region proposal，然后再在剩下的中间继续选择，直到遍历所有的score高于某个阈值的region proposal。

训练过程：

• pre-training：用ILSVRC 2012的数据集进行训练（Alexnet模型），这个是没有bounding box labels，学习率为0.01
• fine-tuning：利用warped region proposal进行训练，在这里是有bbox的
  positive：所有和groud-truth box的IoU>0.5的region proposal
  negative：剩下的
  学习率设置为0.001，比前面小，因为我们是想微调，不太改变pretraining的权重
  每次训练用128个样本，正负比例1:3，即正32个，负96个。We bias the sampling towards positive windows because they are extremely rare compared to background.
• 在建立SVM时
  positive：only the ground-truth boxes
  negative:proposals with less than 0.3IoUwith all instances of a class(该类的所有ground truth boxes)
  Proposals that fall into the grey zone (more than 0.3 IoU overlap, but are not ground truth) are ignored.

paper对比了用第五六七层的输出作为特征，发现在不fine-tuning的情况下，建立的模型mAP（mean average precision）差不多，说明CNN提取的特征主要表现在卷积层（尽管参数少），而用了fine-tuning，fc7、fc6比pool5效果好很多，说明全连接层能够学习到特定任务的样本的特征。

bounding box regression
为了improve localization performance，需要class-specific bounding-box regression。
在对每一个proposal打分之后，用CNN得到的特征对bounding box的位置、大小进行调整，
we only learn from a proposal P if it is nearby at least one ground-truth box. We implement “nearness” by assigning P to the ground-truth box G with which it has maximum IoU overlap (in case it overlaps more than one) if and only if the overlap is greater than a threshold (which we set to 0.6 using a validation set).
对于离得太远的proposal，re不re都没啥意思，所以只选择和某一个ground-truth的IoU大于0.6的训练。
输入：CNN得到的feature
输出：

dx(P),dy(P),dw(P),dh(P)$$d_x(P),d_y(P),d_w(P),d_h(P)$$

利用上述输出可以得到调整后的proposal的位置：

Ĝx=Pwdx(P)+PxĜy=Phdy(P)+PyĜw=Pwexp(dw(P))Ĝh=Phexp(dh(P))$$\begin{gathered} {\hat{G}}_x=P_w{d}_x(P)+P_x \\ {\hat{G}}_y=P_h{d}_y(P)+P_y \\ {\hat{G}}_w=P_{w}exp(d_w(P)) \\ {\hat{G}}_h=P_{h}exp(d_h(P)) \end{gathered}$$

目标函数：

∑i=1N(tI∗−ŵT∗ϕ5(Pi))2+λ||ŵ∗||2$$\sum _{i=1}^N(t_{\ast }^I-{\hat{w}}_{\ast }^T{\varphi }_5(P^i){)}^2+\lambda ||{\hat{w}}_{\ast }|{|}^2$$

其中*为x、y、w、h代表中心位置和宽高

tx=(Gx−Px)/Pwty=(Gy−Py)/Phtw=log(Gw/Pw)th=log(Gh/Ph)$$\begin{gathered} t_x=(G_x-P_x)/P_w \\ {t}_y=(G_y-P_y)/P_h \\ {t}_w=log(G_w/P_w) \\ {t}_h=log(G_h/P_h) \end{gathered}$$

λ$\lambda$设置为1000。

objectproposal transformations的方法
1. tightest square with context。在原始图片上截取正方形（猜测是向短边两边延展），超过的部分用均值
2. tight- est square without context。直接用均值
3. warp。不管三七二十一，变形就变形吧，直接调整长宽比
还有padding，作者选了padding=16