Faster RCNN在Fast RCNN上更进一步，将Region Proposal也用神经网络来做，如果说Fast RCNN的最大贡献是ROI pooling layer和Multi task，那么RPN（Region Proposal Networks）就是Faster RCNN的最大亮点了。使用RPN产生的proposals比selective search要少很多（300vs2000）,因此也一定程度上减少了后面detection的计算量。
IntroductionFast RCNN之后，detection的计算瓶颈就卡在了Region Proposal上。一个重要原因就是，Region Proposal是用CPU算的，但是直接将其用GPU实现一遍也有问题，许多提取规则其实是可以重用的，因此有必要找一种能够共享算力的GPU版Region Proposal。
Faster RCNN则是专门训练了一个卷积神经网络来回归bounding box，从而代替region proposal。这个网络完全由卷积操作实现，并且引入anchor以应对对象形状尺寸各异的问题，测试速度与Fast RCNN相比速度极快。
这个网络叫做region proposal layer.
RPN
训练数据就是图片和bounding box
输入任意尺寸的图片，缩放到800×600
输入到一个基础卷积神经网络，比如ZF或者VGG，以ZF为例，得到一个51×39的feature map
用一个小的网络在feature map上滑窗，算每个3x3窗口的feature，输出一个长度为256的向量，这个操作很自然就是用3×3卷积来实现，于是可以得到一个51×39×256的feature map
每个256向量跟feature map上一个3×3窗口对应，也跟800×600的原图上9个区域相对应，具体讲一下这个9个区域：
卷积后feature map上的每个3x3的区域跟原图上的多个区域是对应的，我们可以逆运算得到，
但是如果把所有区域都考虑进来，区域就太多了，
所以我们让每个3x3的区域（图中橙色方格）和原图上九个区域相对应，这九个区域的中心（灰色方格）就是3x3对应原图区域的中心
九个区域有九种尺寸分别是
128x128 128x64 64x128
256x256 256x128 128x256
512x512 512x256 256x512
这九个区域我们也成为9个anchor，或者9个reference box
如此，每个特征就能和原图上形状和尺寸各异的区域对应起来了
回到刚刚的256向量，将这个向量输入一个FC，得到2x9个输出，代表9个anchor为前景还是背景的概率
学习用的标签设置：如果anchor与真实bounding box重叠率大于0.7，就当做是前景，如果小于0.3，就当做背景
将256向量输入另一个FC，得到4x9个输出，代表9个anchor的修正后的位置信息(x,y,w,h)
学习用的标签就是真实的bounding box，用的还是之s前Faster RCNN的bounding box regression
两个FC在实现的时候是分别用两个1x1卷积实现的
以橙色为例，256向量和W1矩阵相乘，得到长度为18的向量，这样的操作在51x39个feature都要做一遍，实现起来就很自然变成了用一个1x1的卷积核在feature map上做卷积啦，这样也暗含了一个假设，不同位置的slide window对于anchor的偏好是相同的，是一个参数数量与精度的权衡问题。
于是我们会得到图片上51x39x9≈20K个anchor为前景的概率，以及修正后的位置
上面这个过程可以完全独立地训练，得到一个很好的Region Proposal Network
理论上我们可以用上面这个流程去训练RPN，但训练RPN的时候，一个batch会直接跑20K个anchor开销太大了。
因此每个batch是采一张图里的256个anchor来训练全连接层和卷积层；
这256个anchor里正负样本比例为1:1，正样本128个，负样本128个，
如果正样本不足128个，用负样本填充，这也意味着并非所有的背景anchor都会拿来训练RPN，因为前景的anchor会远少于背景的anchor，丢掉一些背景anchor才能保证样本平衡，丢背景anchor的时候
具体实现上，先算所有anchor，再算所有anchor与bounding box的重叠率，然后选择batch中的256个anchor，参与训练。同一张图会多次参与训练，直到图中的正anchor用完。
因此最终的一个mini batch的训练损失函数为：
其中，
pi是一个batch中的多个anchor属于前景/后景的预测概率向量，ti是一个batch中正anchor对应的bounding box位置向量
Lcls是softmax二分类损失
Lreg跟Fast RCNN中的bounding box regression loss一样，乘一个pi*，意味着只有前景计算bounding box regression loss
论文中说Ncls为256，也就是mini-batch size，Nreg约为256*9=2304（论文中说约等于2400）,这意味着一对p对应9个t，这种对应关系也体现在全连接层的输出个数上，由于两个task输出数量差别比较大，所以要做一下归一化。