caffe扩展实验

caffe实现caltech101图像分类

这里讲述如何用自己的数据集,在caffe平台一步步实现的过程[新手参考];

主要分为下面3个环节:

数据集准备 Dataset preparation
caffe网络准备 Caffe network files preparation
从零开始训练和微调 From scratch training and finetuning

复制imagenet项目到MyNet,修改内容完成caltech101数据集分类网络

数据集准备:

caltech101(加利福尼亚理工学院101类图像数据库)数据集:

数据集地址: http://www.vision.caltech.edu/Image_Datasets/Caltech101/Caltech101.html

直接下载: 101_ObjectCategories.tar.gz (131Mbytes)

简介:

文件夹包含属于101类别的图片对象,一个文件夹包含一类图片。每类约40至800张图像。大多数类别都有大约50张图片。 2003年9月由Fei-Fei Li，Marco Andreetto和Marc'Aurelio Ranzato收集。每个图像的大小约为300×200像素。图片总量过8000张。

caffe扩展实验

caffe数据集的创建需要两个文件: train.txt 和 val.txt, 格式为图片路径+所属类别编号,内容片段如下

...
caltech101/windsor_chair/image_0005.jpg 98
caltech101/windsor_chair/image_0023.jpg 98
caltech101/windsor_chair/image_0043.jpg 98
caltech101/wrench/image_0009.jpg 99
caltech101/wrench/image_0018.jpg 99
...

需要注意的是类别编号从0开始.

下面给出python实现的程序getlist.py,自动生成train.txt和val.txt

import os

root = os.getcwd() #获取当前路径
data = 'caltech101'
path = os.listdir(root+'/'+ data) #显示该路径下所有文件
path.sort()
vp = 0.105 #测试集合取总数据前10%
file = open('train.txt','w')
fv = open('val.txt','w')
i = 0

for line in path:
    subdir = root+'/'+ data +'/'+line
    childpath = os.listdir(subdir)
    mid = int(vp*len(childpath))
    for child in childpath[:mid]:
        subpath = data+'/'+line+'/'+child;
        d = ' %s' %(i)
        t = subpath + d
        fv.write(t +'n')
    for child in childpath[mid:]:
        subpath = data+'/'+line+'/'+child;
        d = ' %s' %(i)
        t = subpath + d
        file.write(t +'n')
    i=i+1

file.close()
fv.close()

执行命令生成[在caffe-master/data/目录下执行]

ipython getlist.py

转换成lmdb格式　　

caffe-master/examples/imagenet目录下create_imagenet.sh可以方便的实现转换,需要简单修改如下配置项

EXAMPLE=examples/MyNet  # 指定存储LMDB数据位置  
DATA=data/ # 存放train.txt和val.txt文件的文件夹

TRAIN_DATA_ROOT=data/ # train图片文件夹
VAL_DATA_ROOT=data/ # val图片文件夹(一般都同上)

RESIZE=true # 讲所有的图片统一大小

# 下面的代码片段
GLOG_logtostderr=1 $TOOLS/convert_imageset 
    --resize_height=$RESIZE_HEIGHT 
    --resize_width=$RESIZE_WIDTH 
    --shuffle 
    $TRAIN_DATA_ROOT 
    $DATA/train.txt 
    $EXAMPLE/MyNet_train_lmdb 

GLOG_logtostderr=1 $TOOLS/convert_imageset 
    --resize_height=$RESIZE_HEIGHT 
    --resize_width=$RESIZE_WIDTH 
    --shuffle 
    $VAL_DATA_ROOT 
    $DATA/val.txt 
    $EXAMPLE/MyNet_val_lmdb

修改完毕之后,执行shell命令,得生成训练和测试的lmdb数据

./examples/MyNet/create_imagenet.sh

结果如下　　

caffe扩展实验

imagenet/make_imagenet_mean.sh 会根据lmdb文件生成一个均值文件, 修改对应参数来生成二进制均值文件,在运算时可以大大加快运算速度,但不是必须

$TOOLS/compute_image_mean $EXAMPLE/MyNet_train_lmdb  # train数据lmdb文件夹路径
  $DATA/mean.binaryproto # 保存均值文件的路径

caffe网络文件

caffe网络文件可以根据caffe-master/models/bvlc_reference_caffenet/下的两个文件修改: solver.protoxt 和 train_val.protoxt[DAG网络]　　

caffe扩展实验

将两个文件拷贝到examples/MyNet目录下,首先修改examples/MyNet/train_caffenet.sh

./build/tools/caffe train 
    --solver=examples/MyNet/solver.prototxt $@

修改solver参数,指向当前目录下的solver.protoxt文件,然后修改solver.protoxt文件内容

net: "examples/MyNet/train_val.prototxt" # 网络文件路径
test_iter: 100 # 迭代n*batch_size需要覆盖所有数据
test_interval: 300 # 每迭代300次后输出测试结果
base_lr: 0.01
lr_policy: "step"
gamma: 0.1
stepsize: 100
display: 100 # 每迭代100次训练数据输出一次结果
max_iter: 5000 # 最大迭代次数
momentum: 0.9
weight_decay: 0.0005
snapshot: 4000 
snapshot_prefix: "examples/MyNet/caffenet_train"
solver_mode: GPU

修改train_val.prototxt文件内容,四项内容, 文件片段如下

name: "CaffeNet"
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 60
    mean_file: "examples/MyNet/mean.binaryproto" # 01
  }
  data_param {
    source: "examples/MyNet/MyNet_train_lmdb" # 02
    batch_size: 256
    backend: LMDB
  }
}
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 60
    mean_file: "examples/MyNet/mean.binaryproto" # 03
  }
  data_param {
    source: "examples/MyNet/MyNet_val_lmdb" # 04
    batch_size: 50
    backend: LMDB
  }
}