论文:https://arxiv.org/pdf/2003.09119.pdf
代码:https://github.com/KiveeDong/CentripetalNet
**出处:**西交,商汤,中科院,北大
关键词: anchor-free, coco48%

摘要: 基于关键点的检测器具有良好的性能。然而,不正确的关键点匹配仍然是普遍存在的,并极大地影响了探测器的性能。在这篇文章中,我们提出使用向心位移来对同一实例中的角点进行配对的中心网。向心力可以预测角点的位置和向心移动,并匹配移动结果对齐的角。结合位置信息,我们的方法比传统的嵌入方法更准确地匹配角点。角池将边界框内的信息提取到边界上。为了使这些信息在角落里更容易被察觉,我们设计了一个交叉星可变形卷积网络来进行特征适应。此外,我们还研究了基于无锚检测器的实例分割

通过给我们的中心距配备一个掩模预测模块。在MS-COCO test-dev上,我们的离心talnet不仅以48.0%的AP性能优于所有现有的无锚检测器,而且以40.2%的askAP性能可与最先进的实例分割方法相媲美

1. 简介

基于anchor-based的方法存在的问题:

  • anchor尺寸的设置。yolo中采用kmeans
  • 正负样本的均衡问题。一般是1:3;或者focal loss手段;

anchor free方法的发展过程:

  • cornornet
  • centernet

基于cornornet的方法需要判断两个点是否是同一个物体的。(这个没有看)传统的方法是通过关联嵌入来进行判断的。而且这种方法也取得了比较好的效果。(但是肯定是不够好的????)

问题:

  1. 在训练过程中,网络实际上是被训练来寻找对角线上所有潜在点中唯一的匹配点。它对异常值高度敏感,当一个训练样本中有多个相似对象时,训练难度会急剧增加
    (大概的意思就是,相似物体容易出现匹配错误的情况,比如:相似的物体A,B,A的左上容易和B的右下匹配)
  2. 关联嵌入的匹配方式是基于外观的,所以对相似物体容易匹配错。例下图。
    【论文阅读】CentripetalNet:目标检测新网络,COCO 48 % AP超现所有Anchor-free网络
    解决方案
    论文提出了一种新颖的向心偏移角匹配方法,以及一种能够更好地预测向心偏移的交叉星形可变形卷积模块。也就是一种新的匹配方法,一种新的卷积。
  • 新匹配方法:给定一对角,我们定义一个二维向量,即。,向心位移,对于每个角,向心位移编码空间偏移从角落到盒子中心点。这样,每个角都可以根据向心位移产生一个中心点,因此如果两个角同属一个边界盒,它们所产生的中心点应相近。(匹配中就用到了物体feature+距离信息)。匹配的质量可以用两个中心之间的距离和匹配的几何中心来表示
  • cross-star deformable convolution:。。。

2. 相关的工作

2.1 anchor-based

RCNN, SSD, YOLO, Retinanet

2.2 anchor-free

3. CentripetalNet

【论文阅读】CentripetalNet:目标检测新网络,COCO 48 % AP超现所有Anchor-free网络
网络主要由4部分组成:脚点预测模块,中心点偏移模块,交叉星可变卷积,实例分割模块

  • 先用cornernet生成所有的候选脚点
  • 由中心点偏移算法计算出corner之间的配对和最后的物体矩形框
  • 它的偏移场是从角落到它们相应的中心的偏移量来学习的,通过对特征的适应来丰富角落位置的视觉特征,这对于提高向心位移模块的精度是很重要的
  • 添加实例分割模块。mask-rcnn中实例分割模块有利于提高模型精度。

3.1 中心点偏移模块

【论文阅读】CentripetalNet:目标检测新网络,COCO 48 % AP超现所有Anchor-free网络
左上角和右下角的向心位移定义为:
【论文阅读】CentripetalNet:目标检测新网络,COCO 48 % AP超现所有Anchor-free网络
有点像曼哈顿距离取log。这是物体box的回归目标。这里用smoothL1 Loss。N表示训练样本中目标的个数。即有目标才进行回归。
【论文阅读】CentripetalNet:目标检测新网络,COCO 48 % AP超现所有Anchor-free网络

3.2 角点匹配

。。。

reference

  1. https://mp.weixin.qq.com/s/rpqDpXJA2OBHhGjkBUDPXQ

TO DO

  • read the cornernet