caffe cifar10试跑问题总结

[daniel]

  • 写了一个脚本可以直接用来添加环境变量:/Users/songdanzju/daniel_script/export_for_ananconda.sh

#! /bin/bash

export PATH=~/ananconda/bin:$PATH 

export DYLD_FALLBACK_LIBRARY_PATH=~/anaconda:~/anaconda/lib:/usr/local/lib:/usr/lib 

 

 

  • 准备数据库

cd $CAFFE_ROOT   #切换目录到自己的caffe-master的安装目录下

sudo ./data/cifar10/get_cifar10.sh

sudo ./examples/cifar10/create_cifar10.sh

> 执行的时候路径有问题,所以把get_cifar10.sh和create_cifar10.sh 拷贝到caffe文件夹下,并在.sh文件中添加了环境变量, 通过在脚本中添加了语句:sh /Users/songdanzju/daniel_script/export_for_ananconda.sh 实现,再cd $CAFFE_ROOT,执行sudo ./get_cifar10.sh和sudo ./create_cifar10.sh

 

运行之后将会在examples/cifar10中出现数据库文件./cifar10-leveldb 和数据库图像均值二进制文 件./mean.binaryproto 

> 由于我电脑上同时安装了python2.7和python3.5,所以在上一步会报错,所以在caffe的Makefile.config文件中关闭了leveldb,然后重新编译了caffe,解决了问题。这一步测试出现的是两个分开的数据库文件:测试和训练,

查看~/caffe/examples/cifar10/中出现:

cifar10_test_lmdb

cifar10_train_lmdb

mean.binaryproto 

 

 

> 环境变量问题:caffe在make all之前要添加环境变量,另外试跑cifar10时是在sudo下执行的脚本

>由于sudo执行的~/caffe/ ,所以要在环境变量需要在.sh文件中单独添加:sh daniel_script/export_for_ananconda.sh 

 

  • 模型说明

该 CNN 由卷积层,POOLing 层,非线性变换层,在顶端的局部对比归一化线性分类器组成。 该模型的定义在 CAFFE_ROOT/examples/cifar10/cifar10_quick_train.prototxt 中, 可以进行修改。其实后缀为 prototxt 很多都是用来修改配置的

> 由于编译Caffe的时候没有用GPU, 所以做训练的时候,训练和测试的脚本中的solver_mode要修改为CPU

即cifar10_quick_solver.prototxt和cifar10_quick_solver_lr1.prototxt文件的最后

 

  • 训练和测试

训练这个模型非常简单,当我们写好参数设置的文件 cifar10_quick_solver.prototxt 和定义的 文件 cifar10_quick_train.prototxt 和 cifar10_quick_test.prototxt 后,运行 train_quick.sh 或者在 终端输入下面的命令:cd $CAFFE_ROOT/examples/cifar10
./train_quick.sh
即可,train_quick.sh 是一个简单的脚本,会把执行的信息显示出来,培训的工具是 train_net.bin,cifar10_quick_solver.prototxt 作为参数。

> 同样是路径问题,所以拷贝了train_quick.sh到caffe文件夹下,并执行脚本添加环境变量:/Users/songdanzju/daniel_script/export_for_ananconda.sh

 

 

**** 读书笔记 2 用一个预训练模型提取特征 

> 这一篇比较详细,参考[http://blog.csdn.net/u013634684/article/details/50143843],文章中直接写了脚本执行这一步,可以参考,我仿照他的脚本写了~/daniel_script/extract_features.sh,还未完成。

 

> 特征提取文件:build/tools/extract_features.bin

 

 

 

2.1 制作一个数据库先做一个临时文件夹存放东西。mkdir examples/_temp 

find `pwd`/examples/images -type f -exec echo {} \; > examples/_temp/temp.txt
我们将使用 imagedatalayer 预计标签之后的每一个文件名,所以让我们添加一个 0 到每一行 的末尾sed "s/$/ 0/" examples/_temp/temp.txt > examples/_temp/file_list.txt 这样,我们将得到两个文件 temp.txt 和 file_list.txt 

 

2.2.定义特征提取网络结构 在实践中,从一个数据集中减去均值图像对于提高分类准确性很重要,因此从 ILSVRC dataset 中下载均值图像数据库 

data/ilsvrc12/get_ilsvrc_aux.sh
我们将使用其中的 data/ilsvrc12/imagenet_mean.binaryproto 去定义网络结构。 将定义结构的文件 cope 到我们的临时文件夹。 

cp examples/feature_extraction/imagenet_val.prototxt examples/_temp 然后,我们进入 imagenet_val.prototxt 更改路径。更改其中$CAFFE_DIR 的地方 下图是我做的改动。

 

  transform_param {

    mirror: false

    crop_size: 227

    mean_file: "/Users/songdanzju/caffe/data/ilsvrc12/imagenet_mean.binaryproto"

  }

  image_data_param {

    source: "/Users/songdanzju/caffe/examples/_temp/file_list.txt"

    batch_size: 50

    new_height: 256

    new_width: 256

  }

 

 2.3.提取特征

执行指令:(这是一条指令)

build/tools/extract_features.bin examples/imagenet/caffe_reference_imagenet_model examples/_temp/imagenet_val.prototxt fc7 examples/_temp/features 10 lmdb 

> 执行的时候出错:dyld: Library not loaded … Reason: Image not loaded,环境变量问题,export DYLD_FALLBACK_LIBRARY_PATH=~/anaconda:~/anaconda/lib:/usr/local/lib:/usr/lib  ,解决。[http://stackoverflow.com/questions/17703510/dyld-library-not-loaded-reason-image-not-loaded]

> 关于permission denied 的问题:[http://www.aichengxu.com/view/2488942], 权限问题:chmod 777 filename(修改为最高权限),ls -l filename查看文件权限,或者sudo su进入root

> 问题:examples/imagenet/中缺少预训练模型(也就是已经训练好的模型)caffe_reference_imagenet_model ,下载位置:[http://dl.caffe.berkeleyvision.org/], copy到examples/imagenet/目录下

 

其中 fc7 是最高层的特征,我们也可以使用其他层提取,像 conv5 或 pool3 最后的参数是数据的批次特征保存在 LevelDB examples/_temp/features ,可以运用到其他代码了。 这里可以发现,特征文件中 5 个文件和 cifar10 中的 leveldb 是相似的。 _temp 下 features

 

 

Cifar10 下特征数据库 

 

因此,这是我们训练时组建模型时必要的文件。  

> 我的examples/_temp/features/下是两个文件:data.mdb lock.mdb,我的examples/cifar10/cifar10_train_lmdb/ 下两个文件:data.mdb lock.mdb

> 在这个过程中如果遇到如下错误:

 

表示参数不够,检查参数个数是否对。

其中上面的第5个参数,表示提取特征数据的batch的数目,解释下,网络中我们的batch_size,表示一次提取特征的图片数,而batch就是总的图片数除以batch_size取整即可。

即提取的特征是batch_size的整数倍,如果图片数不能整除batch_size网络会自动从开始的图片中自动补入。

 

 

 

**** 学习笔记 3 用自己的数据训练和测试“CaffeNet 

参考一篇很详细的教程:caffe学习笔记6--训练自己的数据集(带脚本),这里没有详细写自己的过程

http://www.voidcn.com/blog/thystar/article/p-5782103.html

 

> 制作自己的数据集:参考资源:

http://blog.csdn.net/yhl_leo/article/details/50801226

http://blog.csdn.net/deeplearninglc007/article/details/40086503

 

本学习笔记有点脱离了原文,原文是用 ImageNet1000 类的数据库,而因为电脑内存不 足,只能自己模仿做一个小的数据库进行下去。 

本来教程是假设已经下载了 ImageNet 训练数据和验证数据(非常大),并以下面的格式 存储在磁盘: 

/path/to/imagenet/train/n01440764/n01440764_10026.JPEG /path/to/imagenet/val/ILSVRC2012_val_00000001.JPEG 

 

里面是各种的分类图。

  因为实在太大,所以我们改为模仿搭建自己的数据库。

在 data 中新建文件夹 myself

 

> 我利用整理好的trainset(共400张,里面可以有不同categroy的文件夹),valset(247张),testset,执行~/Desktop/test/build_train_txt, ~/Desktop/test/build_val_txt, ~/Desktop/test/build_test_txt, 制作图片路径与对应标签文件:train_txt, val_txt, test_txt

 

我的数据集路径

训练样本存放路径

trainset: /Users/songdanzju/caffe/data/myself/train/trainset

train.txt: /Users/songdanzju/caffe/data/myself/train/train.txt

交叉验证样本存放路径

valset /Users/songdanzju/caffe/data/myself/train/valset

val.txt /Users/songdanzju/caffe/data/myself/train/val.txt

测试样本存放路径

testset: /Users/songdanzju/caffe/data/myself/test/testset

test.txt: /Users/songdanzju/caffe/data/myself/test/test.txt

 

> 生成lmdb文件的时候出现问题:

 

原因:train_lmdb 和val_lmdb文件is already exists,删掉,再运行,解决。

 

> 

 

 

 

读书笔记 4 学习搭建自己的网络 MNIST caffe 上进行训练与学习 

——————————————————————————————————

> 问题:执行./examples/mnist/create_mnist.sh时候出错:

WARNING: Logging before InitGoogleLogging() is written to STDERR

F0111 15:36:44.385371 2933224384 convert_mnist_data.cpp:144] This example requires LevelDB and LMDB; compile with USE_LEVELDB and USE_LMDB.

 

准备重新编译caffe,结果cmake时出错:

CMake Error at /usr/local/Cellar/cmake/3.7.1/share/cmake/Modules/FindPackageHandleStandardArgs.cmake:138 (message):

  Could NOT find vecLib (missing: vecLib_INCLUDE_DIR)

 

解决方法:

open the CMakeCache.txt file,
find this line:
//vecLib include directory
vecLib_INCLUDE_DIR:PATH=/System/Library/Frameworks/vecLib.framework/Headers

change to:
//vecLib include directory
vecLib_INCLUDE_DIR:PATH=/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.12.sdk/System/Library/Frameworks/vecLib.framework/Headers

然后,

(caffe_root)

cd build

cmake ..

make

 

______________________________________________

 

> 问题:执行net.set_phase_test()发现错误:

AttributeError                            Traceback (most recent call last)

<ipython-input-20-23af18ee8508> in <module>()

----> 1 net.set_phase_test()

      2 net.set_mode_cpu()

 

AttributeError: 'Classifier' object has no attribute 'set_phase_test'

解决:import caffe 然后dir(caffe)发现没有set_phase_test,别人的做法:I was able to remove it from my python classify script and everything still seemed to work,我删除以后发现net.set_mode_cpu()同样报错,于是改成caffe.set_mode_cpu(),解决。

 

> 可视化图像特征的代码:filter_visualization.ipynb

https://github.com/intelcaffe/caffe-old/blob/master/examples/filter_visualization.ipynb

各部分源码(全,各种ipynb都有):http://nbviewer.jupyter.org/github/BVLC/caffe/tree/master/examples/