Mask R-CNN用于目标检测和分割代码实现

Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow

代码链接：https://github.com/matterport/Mask_RCNN

这是基于Python 3，Keras和TensorFlow 的Mask R-CNN的实现。该模型为图像中对象的每个实例生成边界框和分割masks。基于功能金字塔网络Feature Pyramid Network（FPN）和ResNet101主干网。

该存储库包括：

  • 基于FPN和ResNet101构建的Mask R-CNN的源代码。
  • MS COCO的训练代码
  • MS COCO的预训练权重
  • Jupyter说明文件电脑可在每个步骤可视化检测管线
  • 用于多GPU训练的Parallel Model类
  • 评估MS COCO指标（AP）
  • 自主数据集训练示例

该代码已记录并设计为易于扩展。如果在研究中使用，请考虑引用该存储库（下面的bibtex）。如果从事3D视觉工作，可能会发现最近发布的Matterport3D数据集也很有用。该数据集是由客户捕获的3D重构空间创建的，这些客户同意将其公开提供给学术用途。可以在此处看到更多示例。

开始启动

  • demo.ipynb是最简单的启动方法。显示了一个示例，该示例使用在MS COCO上进行预训练的模型来分割自己的图像中的对象。包括在任意图像上运行对象检测和实例分割的代码。
  • train_shapes.ipynb显示了如何在自己的数据集上训练Mask R-CNN。本说明文件介绍了玩具数据集（形状），以演示对新数据集的训练。
  • （model.py，utils.py，config.py）：这些文件包含主要Mask RCNN实现。
  • inspect_data.ipynb。该说明文件可视化了准备训练数据的不同预处理步骤。
  • inspect_model.ipynb本说明文件深入介绍了检测和分割对象所执行的步骤。提供了管道中每个步骤的可视化。
  • inspect_weights.ipynb 此说明文件检查经过训练的模型的权重，并查找异常和奇数模式。

逐步检测

为了帮助调试和理解模型，共有3个说明文件（inspect_data.ipynb，inspect_model.ipynb， inspect_weights.ipynb）提供了很多可视化效果，并允许逐步运行模型以检查每个点的输出。这里有一些例子：

1.锚点排序和过滤

可视化第一阶段区域提议网络的每个步骤，并显示正锚和负锚以及锚框的细化。 

2.边界框优化

这是最终检测框（虚线）的示例，在第二阶段对其进行了改进（实线）。 

3.遮罩生成

生成的masks示例。然后将缩放并放置在正确位置的图像上。

4，分层激活

通常，检查不同层的激活以查找故障迹象（全零或随机噪声）通常很有用。

5.重量直方图

另一个有用的调试工具是检查重量直方图。这些都包含在inspect_weights.ipynb说明文件中。

6.登录到TensorBoard

TensorBoard是另一个出色的调试和可视化工具。该模型配置为记录损失并在每个时期结束时节省权重。

7.将不同的部分组合成最终结果

MS COCO训练

正在为MS COCO提供预训练的权重，以使其易于启动。可以将这些权重用作在网络上训练自己的变体的起点。训练和评估代码在中samples/coco/coco.py。可以在Jupyter说明文件中导入此模块（有关示例，请参阅提供的说明文件），也可以直接从命令行运行，如下所示：

# Train a new model starting from pre-trained COCO weights

python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=coco

 

# Train a new model starting from ImageNet weights

python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=imagenet

 

# Continue training a model that you had trained earlier

python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=/path/to/weights.h5

 

# Continue training the last model you trained. This will find

# the last trained weights in the model directory.

python3 samples/coco/coco.py train --dataset=/path/to/coco/ --model=last

还可以使用以下命令运行COCO评估代码：

# Run COCO evaluation on the last trained model

python3 samples/coco/coco.py evaluate --dataset=/path/to/coco/ --model=last

训练时间表，学习率和其参数应在中设置samples/coco/coco.py。

训练自己的数据集

首先阅读有关气球颜色飞溅示例的博客文章。涵盖了从注释图像到训练再到在示例应用程序中使用结果的过程。

总之，要在自己的数据集上训练模型，需要扩展两个类：

Config 此类包含默认配置。对其进行子类化，然后修改需要更改的属性。

Dataset 此类提供了使用任何数据集的一致方式。允许使用新的数据集进行训练，而无需更改模型的代码。还支持同时加载多个数据集，如果要检测的对象在一个数据集中并非全部可用，这将很有用。

见例子samples/shapes/train_shapes.ipynb，samples/coco/coco.py，samples/balloon/balloon.py，和samples/nucleus/nucleus.py。

与官方文件的差异

此实现大部分遵循Mask RCNN论文，但是在少数情况下，偏向于代码简单和通用化。这些是知道的一些差异。如果遇到其差异，请告诉。

  • 图像调整大小：为了支持每批训练多幅图像，将所有图像调整为相同大小。例如，在MS COCO上为1024x1024px。保留宽高比，因此，如果图像不是正方形，则将其填充为零。在本文中，进行了调整大小，以使最小的一面为800像素，最大的一面为1000像素。
  • 边界框：某些数据集提供边界框，而某些数据集仅提供masks。为了支持对多个数据集的训练，选择忽略数据集随附的边界框，而是动态生成。选择封装masks所有像素的最小框作为边界框。这简化了实现，并且还使图像增强很容易应用，否则图像增强将很难应用于边界框，例如图像旋转。

为了验证这种方法，将计算出的边界框与COCO数据集提供的边界框进行了比较。发现〜2％的边界框相差1px或更多，〜0.05％的边界相差5px或更多，只有0.01％的相差10px或更多。

  • 学习率：本文使用的学习率是0.02，但发现该值太高，通常会导致权重爆炸，尤其是在使用小批量时。这可能与Caffe和TensorFlow计算梯度之间的差异（批次与GPU之间的总和与均值）之间的差异有关。或者，也许官方模型使用渐变修剪来避免此问题。确实使用了梯度裁剪，但不要设置得太过激。发现，较小的学习率无论如何都会收敛得更快，因此继续这样做。

引文

使用以下bibtex引用此存储库：

@misc{matterport_maskrcnn_2017,

  title={Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow},

  author={Waleed Abdulla},

  year={2017},

  publisher={Github},

  journal={GitHub repository},

  howpublished={\url{https://github.com/matterport/Mask_RCNN}},

}

贡献

欢迎对该存储库做出贡献。可以做出贡献的示例：

  • 速度改进。就像在TensorFlow或Cython中重写一些Python代码一样。
  • 训练其数据集。
  • 精度提高。
  • 可视化和示例。

也可以加入团队，并帮助建立更多像这样的项目。

要求

列出了Python 3.4，TensorFlow 1.3，Keras 2.0.8和其常见软件包requirements.txt。

MS COCO要求：

要对MS COCO进行训练或测试，还需要：

如果使用Docker，则代码已通过验证可在此Docker容器上工作 。

安装

  1. copy此存储库
  2. 安装依赖

pip3 install -r requirements.txt

  1. 从存储库根目录运行安装程序

python3 setup.py安装

  1. 从发布页面下载预训练的COCO权重（mask_rcnn_coco.h5）。
  2. （可选）pycocotools从这些存储库之一中进行MS COCO安装的训练或测试。是原始pycocotools的分支，具有针对Python3和Windows的修复（官方仓库似乎不再处于活动状态）。