Mask R-CNN用于目标检测和分割代码实现

Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow

代码链接:https://github.com/matterport/Mask_RCNN

这是基于Python 3,Keras和TensorFlow 的Mask R-CNN的实现。该模型为图像中对象的每个实例生成边界框和分割masks。基于功能金字塔网络Feature Pyramid Network(FPN)和ResNet101主干网。

该存储库包括:

  • 基于FPN和ResNet101构建的Mask R-CNN的源代码。
  • MS COCO的训练代码
  • MS COCO的预训练权重
  • Jupyter说明文件电脑可在每个步骤可视化检测管线
  • 用于多GPU训练的Parallel Model类
  • 评估MS COCO指标(AP)
  • 自主数据集训练示例

该代码已记录并设计为易于扩展。如果在研究中使用,请考虑引用该存储库(下面的bibtex)。如果从事3D视觉工作,可能会发现最近发布的Matterport3D数据集也很有用。该数据集是由客户捕获的3D重构空间创建的,这些客户同意将其公开提供给学术用途。可以在此处看到更多示例。

开始启动

  • demo.ipynb是最简单的启动方法。显示了一个示例,该示例使用在MS COCO上进行预训练的模型来分割自己的图像中的对象。包括在任意图像上运行对象检测和实例分割的代码。
  • train_shapes.ipynb显示了如何在自己的数据集上训练Mask R-CNN。本说明文件介绍了玩具数据集(形状),以演示对新数据集的训练。
  • model.pyutils.pyconfig.py):这些文件包含主要Mask RCNN实现。
  • inspect_data.ipynb。该说明文件可视化了准备训练数据的不同预处理步骤。
  • inspect_model.ipynb本说明文件深入介绍了检测和分割对象所执行的步骤。提供了管道中每个步骤的可视化。
  • inspect_weights.ipynb 此说明文件检查经过训练的模型的权重,并查找异常和奇数模式。

逐步检测

为了帮助调试和理解模型,共有3个说明文件(inspect_data.ipynbinspect_model.ipynb, inspect_weights.ipynb)提供了很多可视化效果,并允许逐步运行模型以检查每个点的输出。这里有一些例子:

1.锚点排序和过滤

可视化第一阶段区域提议网络的每个步骤,并显示正锚和负锚以及锚框的细化。 

2.边界框优化

这是最终检测框(虚线)的示例,在第二阶段对其进行了改进(实线)。 

3.遮罩生成

生成的masks示例。然后将缩放并放置在正确位置的图像上。

4,分层激活

通常,检查不同层的激活以查找故障迹象(全零或随机噪声)通常很有用。

5.重量直方图

另一个有用的调试工具是检查重量直方图。这些都包含在inspect_weights.ipynb说明文件中。

6.登录到TensorBoard

TensorBoard是另一个出色的调试和可视化工具。该模型配置为记录损失并在每个时期结束时节省权重。

7.将不同的部分组合成最终结果

MS COCO训练

正在为MS COCO提供预训练的权重,以使其易于启动。可以将这些权重用作在网络上训练自己的变体的起点。训练和评估代码在中samples/coco/coco.py。可以在Jupyter说明文件中导入此模块(有关示例,请参阅提供的说明文件),也可以直接从命令行运行,如下所示:

# Train a new model starting from pre-trained COCO weights

python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=coco

 

# Train a new model starting from ImageNet weights

python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=imagenet

 

# Continue training a model that you had trained earlier

python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=/path/to/weights.h5

 

# Continue training the last model you trained. This will find

# the last trained weights in the model directory.

python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=last

还可以使用以下命令运行COCO评估代码:

# Run COCO evaluation on the last trained model

python3 samples/coco/coco.py evaluate --dataset=/path/to/coco/ --model=last

训练时间表,学习率和其参数应在中设置samples/coco/coco.py。

训练自己的数据集

首先阅读有关气球颜色飞溅示例的博客文章。涵盖了从注释图像到训练再到在示例应用程序中使用结果的过程。

总之,要在自己的数据集上训练模型,需要扩展两个类:

Config 此类包含默认配置。对其进行子类化,然后修改需要更改的属性。

Dataset 此类提供了使用任何数据集的一致方式。允许使用新的数据集进行训练,而无需更改模型的代码。还支持同时加载多个数据集,如果要检测的对象在一个数据集中并非全部可用,这将很有用。

见例子samples/shapes/train_shapes.ipynb,samples/coco/coco.py,samples/balloon/balloon.py,和samples/nucleus/nucleus.py。

与官方文件的差异

此实现大部分遵循Mask RCNN论文,但是在少数情况下,偏向于代码简单和通用化。这些是知道的一些差异。如果遇到其差异,请告诉。

  • 图像调整大小:为了支持每批训练多幅图像,将所有图像调整为相同大小。例如,在MS COCO上为1024x1024px。保留宽高比,因此,如果图像不是正方形,则将其填充为零。在本文中,进行了调整大小,以使最小的一面为800像素,最大的一面为1000像素。
  • 边界框:某些数据集提供边界框,而某些数据集仅提供masks。为了支持对多个数据集的训练,选择忽略数据集随附的边界框,而是动态生成。选择封装masks所有像素的最小框作为边界框。这简化了实现,并且还使图像增强很容易应用,否则图像增强将很难应用于边界框,例如图像旋转。

为了验证这种方法,将计算出的边界框与COCO数据集提供的边界框进行了比较。发现〜2%的边界框相差1px或更多,〜0.05%的边界相差5px或更多,只有0.01%的相差10px或更多。

  • 学习率:本文使用的学习率是0.02,但发现该值太高,通常会导致权重爆炸,尤其是在使用小批量时。这可能与Caffe和TensorFlow计算梯度之间的差异(批次与GPU之间的总和与均值)之间的差异有关。或者,也许官方模型使用渐变修剪来避免此问题。确实使用了梯度裁剪,但不要设置得太过激。发现,较小的学习率无论如何都会收敛得更快,因此继续这样做。

引文

使用以下bibtex引用此存储库:

@misc{matterport_maskrcnn_2017,

  title={Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow},

  author={Waleed Abdulla},

  year={2017},

  publisher={Github},

  journal={GitHub repository},

  howpublished={\url{https://github.com/matterport/Mask_RCNN}},

}

贡献

欢迎对该存储库做出贡献。可以做出贡献的示例:

  • 速度改进。就像在TensorFlow或Cython中重写一些Python代码一样。
  • 训练其数据集。
  • 精度提高。
  • 可视化和示例。

也可以加入团队,并帮助建立更多像这样的项目。

要求

列出了Python 3.4,TensorFlow 1.3,Keras 2.0.8和其常见软件包requirements.txt。

MS COCO要求:

要对MS COCO进行训练或测试,还需要:

如果使用Docker,则代码已通过验证可在此Docker容器上工作 。

安装

  1. copy此存储库
  2. 安装依赖

pip3 install -r requirements.txt

  1. 从存储库根目录运行安装程序

python3 setup.py安装

  1. 发布页面下载预训练的COCO权重(mask_rcnn_coco.h5)。
  2. (可选)pycocotools从这些存储库之一中进行MS COCO安装的训练或测试。是原始pycocotools的分支,具有针对Python3和Windows的修复(官方仓库似乎不再处于活动状态)。