目标检测coco数据集点滴介绍

1.  COCO数据集介绍

MS COCO 是google 开源的大型数据集, 分为目标检测、分割、关键点检测三大任务, 数据集主要由图片和json 标签文件组成。 coco数据集有自带COCO API,方便对json文件进行信息读取。本博客介绍是目标检测数据集格式的制作。

COCO通过大量使用Amazon Mechanical Turk来收集数据。COCO数据集现在有3种标注类型:object instances(目标实例), object keypoints(目标上的关键点), 和image captions(看图说话),使用JSON文件存储。

2.  MSCOCO数据集数据结构{

"images":

[

{"file_name":"cat.jpg","id":1,"height":1000,"width":1000},

{"file_name":"dog.jpg","id":2,"height":1000,"width":1000},

...

]

"annotations":

 [

{"image_id":1,"bbox":[100.00,200.00,10.00,10.00],"category_id":1}

{"image_id":2,"bbox":[150.00,250.00,20.00,20.00],"category_id":2}

...

]

"categories":

 [

{"id":0,"name":"bg"}

{"id":1,"name":"cat"}

{"id":1,"name":"dog"}

...

]

}

标注文件中,"images" 关键字对应图片信息,"annotations" 关键字对应标注信息,"categories" 对应类别信息: "images": 该关键字对应的数据中,每一项对应一张图片,"file_name"对应图片名称,"id"对应图片序号,"height"和"width"分别对应图像的高和宽。 "annotations": 该关键字对应的数据中,每一项对应一条标注,"image_id"对应图片序号,"bbox"对应标注矩形框,顺序为[x, y, w, h],分别为该矩形框的起始点x坐标,起始点y坐标,宽、高。"category_id"对应类别序号。 "categories": 该关键字对应的数据中,每一项对应一个类别,"id"对应类别序号,"name"对应类别名称。

关键字关联说明: 1."annotations"中的元素通过"image_id"关联图像,比如"image_id":2,该条标注信息对应"images"中"id"为2的图像。 2."annotations"中的元素通过"category_id"关联类别,比如"category_id":2,该条标注信息对应"categories"中"id"为2的类别。

例: 在上面列出的数据结构中

这条标注信息通过"image_id"可以找到对应的图像为"cat.jpg",通过"category_id"可以找到对应的类别为"cat"

背景图片说明:
"annotations"中的元素,"category_id":0对应的是背景。当且仅当一张图片对应的所有annotations中,"category_id"都为0,该图片为背景图片。

3.  COCO数据集json文件,分类和id

coco目标检测数据集标注目标信息采用的是数据格式是json,其内容本质是一种字典结构,字典堆栈和列表信息内容维护。

coco里面的id和类名字对应:总共80类,但id号到90!

 

coco_id_name_map={1: 'person', 2:
'bicycle', 3: 'car', 4: 'motorcycle', 5: 'airplane',                   6: 'bus', 7: 'train', 8:
'truck', 9: 'boat', 10: 'traffic light', 11: 'fire hydrant', 13: 'stop sign',
14: 'parking meter', 15: 'bench', 16: 'bird', 17: 'cat', 18: 'dog', 19:
'horse', 20: 'sheep', 21: 'cow', 22: 'elephant', 23: 'bear', 24: 'zebra', 25:
'giraffe', 27: 'backpack', 28: 'umbrella', 31: 'handbag', 32: 'tie', 33:
'suitcase', 34: 'frisbee', 35: 'skis', 36: 'snowboard', 37: 'sports ball', 38:
'kite', 39: 'baseball bat', 40: 'baseball glove', 41: 'skateboard', 42:
'surfboard', 43: 'tennis racket', 44: 'bottle', 46: 'wine glass', 47: 'cup',
48: 'fork', 49: 'knife', 50: 'spoon', 51: 'bowl', 52: 'banana', 53: 'apple',
54: 'sandwich', 55: 'orange', 56: 'broccoli', 57: 'carrot', 58: 'hot dog', 59:
'pizza', 60: 'donut', 61: 'cake', 62: 'chair', 63: 'couch', 64: 'potted plant',
65: 'bed', 67: 'dining table', 70: 'toilet', 72: 'tv', 73: 'laptop', 74:
'mouse', 75: 'remote', 76: 'keyboard', 77: 'cell phone', 78: 'microwave', 79:
'oven', 80: 'toaster', 81: 'sink', 82: 'refrigerator', 84: 'book', 85: 'clock',
86: 'vase', 87: 'scissors', 88: 'teddy bear', 89: 'hair drier', 90:
'toothbrush'}

 

打开json文件:

 with open(json_path,'r') as load_f:

    load_dict =
json.load(load_f)

里面协议是这样的,annotations下面是每一个box的标注信息,包括分割的,当前框使用目标框,image_id,categogy_id。

因此要想获得整个数据集信息,必须遍历整个box信息,将其进行统计分配。

4.  COCO数据集性能指标

COCO 提供了 12 种用于衡量目标检测器性能的评价指标.

Recall   召回率(查全率)。表示正确识别物体A的个数占测试集中物体A的总个数的百分数Recall = TP / (TP+FN)

 

Precision
精确率(查准率)。表示正确识别物体A的个数占总识别出的物体个数n的百分数Precision
= TP / (TP+FP)

fp
:false positive误报,即预测错误

fn
:false negative漏报,即没有预测到

tp:true
positive

tn:true
negative

iou:intersection-over-union

Accuracy  准确率。正确分类的样本数除以所有的样本数,正确率越高,分类器越好。Accuracy=(TP+TN)/
(TP+TN+FP+FN)

以上介绍都是基于2分类的,并不是多分类的

 

 以下12个指标用于表征COCO上物体检测器的性能:

 Average Precision (AP):

AP                              % AP at
IoU=0.50:0.05:0.95 (primary challenge metric)

 

APIoU=.50                   % AP at IoU=0.50 (PASCAL VOC
metric)

 

APIoU=.75                   % AP at IoU=0.75 (strict
metric)

 

AP
Across Scales:

 

APsmall                       % AP for small objects:
area < 322

 

APmedium                   % AP for medium objects: 322
< area < 962

 

APlarge                        % AP for large objects:
area > 962

 

Average
Recall (AR):

 

ARmax=1                     % AR given 1 detection per
image

 

ARmax=10                   % AR given 10 detections per
image

 

ARmax=100                 % AR given 100 detections per
image

 

AR
Across Scales:

 

ARsmall                       % AR for small objects: area < 322

 

ARmedium                   % AR for medium objects: 322
< area < 962

 

ARlarge                        % AR for large objects:
area > 962