Ubuntu16.04+CUDA8.0+caffe配置

电脑配置

系统：Ubuntu16.04

GPU:NVIDIA GTX1050

 

安装过程

1.安装相关依赖项

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler 

sudo apt-get install --no-install-recommends libboost-all-dev

sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev

sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

2.安装NVIDIA驱动

（1）查询NVIDIA驱动

首先去官网(http://www.nvidia.com/Download/index.aspx?lang=en-us)查看适合自己显卡的驱动：

图1.显卡驱动查询

例如本人电脑的显卡驱动如下图：

图2.显卡驱动版本

（2）安装驱动

安装之前先卸载已经存在的驱动版本：

sudo apt-get remove --purge nvidia*

若电脑是集成显卡（NVIDIA独立显卡忽略此步骤），需要在安装之前禁止一项：

sudo service lightdm stop

执行以下指令安装驱动：

sudo add-apt-repository ppa:xorg-edgers/ppa

sudo apt-get update

sudo apt-get install nvidia-367 #注意在这里指定自己的驱动版本！

安装完成之后输入以下指令进行验证：

sudo nvidia-smi

若列出了GPU的信息列表则表示驱动安装成功。

3.安装CUDA

CUDA是NVIDIA的编程语言平台，想使用GPU就必须要使用cuda。

（1）下载CUDA

首先在官网上(https://developer.nvidia.com/cuda-downloads)下载CUDA：

图3.CUDA下载

（2）安装CUDA

下载完成后执行以下命令：

sudo sh cuda_8.0.27_linux.run

注意：执行后会有一系列提示让你确认，但是注意，有个让你选择是否安装nvidia361驱动时，一定要选择否：

Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 361.62?

因为前面我们已经安装了更加新的nvidia367，所以这里不要选择安装。其余的都直接默认或者选择是即 可。

可能出现的错误：网上说GCC版本高于5.0可能会出现错误，但是我的是5.4却正常安装。

当出现“unsupport complier”错误时，说明gcc版本太高，需要降低gcc版本。解决办法如下：

以gcc4.9与g++4.9为例

安装低版本gcc与g++：

sudo apt-get install gcc-4.9 g++-4.9

之后进入/usr/bin:

cd /usr/bin

先删除和gcc5.0关联的gcc:

sudo rm gcc

sudo rm g++

再建个软连接

sudo ln -s gcc-4.9 gcc

sudo ln -s g++-4.9 g++

然后重新安装。

（3）环境变量配置

打开~/.bashrc文件：

sudo vim ~/.bashrc

将以下内容写入到~/.bashrc尾部：

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

然后设置环境变量和动态链接库，在命令行输入

sudo gedit /etc/profile

在打开的文件里面加上（注意等号两边不能有空格）

export PATH=/usr/local/cuda/bin:$PATH

保存之后，创建链接文件

sudo gedit /etc/ld.so.conf.d/cuda.conf

在打开的文件中添加如下语句：

/usr/local/cuda/lib64

保存退出执行命令行：

sudo ldconfig

使链接立即生效。

（4）测试CUDA的sammples

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuerymakesudo ./deviceQuery

如果现实一些关于GPU的信息，则说明安装成功。

4.配置cuDNN

cuDNN是GPU加速计算深层神经网络的库。

首先去官网(https://developer.nvidia.com/rdp/cudnn-download)下载cuDNN,可能需要注册一个账号才能下载。由于本人的显卡是GTX1080，所以下载版本号如下图：

下载完cudnn后，命令行输入文件所在的文件夹 (ubuntu为本机用户名)

cd home/ubuntu/Downloads/

tar zxvf cudnn-8.0-linux-x64-v5.1.tgz
#解压文件

cd进入cudnn5.1解压之后的include目录，在命令行进行如下操作：

sudo cp cudnn.h /usr/local/cuda/include/
#复制头文件

再cd进入lib64目录下的动态文件进行复制和链接：（5.1.5为对应版本具体可修改）

sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库

cd /usr/local/cuda/lib64/

sudo rm -rf libcudnn.so libcudnn.so.5 #删除原有动态文件

sudo ln -s libcudnn.so.5.1.5 libcudnn.so.5 #生成软衔接

sudo ln -s libcudnn.so.5 libcudnn.so #生成软链接

在此一定要注意，要安装自己对应的路径和版本，不要直接复制以上命令！不要直接复制以上命令！不要直接复制以上命令！

5.安装opencv3.1

从官网上下载opencv3.1.0

http://opencv.org/downloads.html

并将其解压到你要安装的位置，（下载的位置还是在home/ubuntu、Downloads文件夹下）

首先安装Ubuntu系统需要的依赖项，虽然我也不知道有些依赖项是干啥的，但是只管装就行，也不会占据很多空间的。

sudo apt-get install --assume-yes libopencv-dev build-essential cmake git libgtk2.0-dev pkg-config python-dev python-numpy libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libavcodec-dev libavformat-dev
libswscale-dev libxine2-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev libtbb-dev libqt4-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev x264 v4l-utils unzip

然后安装OpenCV需要的一些依赖项，一些文件编码解码之类的东东。

 

sudo apt-get install build-essential cmake git

sudo apt-get install ffmpeg libopencv-dev libgtk-3-dev python-numpy python3-numpy libdc1394-22 libdc1394-22-dev libjpeg-dev libpng12-dev libtiff5-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libxine2-dev libgstreamer1.0-dev
libgstreamer-plugins-base1.0-dev libv4l-dev libtbb-dev qtbase5-dev libfaac-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev x264 v4l-utils unzip

在终端中cd到opencv文件夹下（解压的那个文件夹），然后

mkdir build #新建一个build文件夹，编译的工程都在这个文件夹里

cd build/

cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D WITH_V4L=ON -D WITH_QT=ON -D WITH_OPENGL=ON -DCUDA_NVCC_FLAGS="-D_FORCE_INLINES" ..（后面两点不要忘记）

cmake成功后，会出现如下结果，提示配置和生成成功：

-- Configuring done

-- Generating done

-- Build files have been written to: /home/ise/software/opencv-3.1.0/build

由于CUDA 8.0不支持OpenCV的 GraphCut 算法，可能出现以下错误，如果没出现则可以忽略：

/home/usrname/opencv-3.1.0/modules/cudalegacy/src/graphcuts.cpp:120:54: error: 'NppiGraphcutState' has not been declared

typedef NppStatus (*init_func_t)(NppiSize oSize, NppiGraphcutState** ppStat

^

/home/usrname/opencv-3.1.0/modules/cudalegacy/src/graphcuts.cpp:135:18: error: 'NppiGraphcutState' does not name a type

operator NppiGraphcutState*()

^

/home/usrname/opencv-3.1.0/modules/cudalegacy/src/graphcuts.cpp:141:9: error: 'NppiGraphcutState' does not name a type

NppiGraphcutState* pState;

.......

进入opencv-3.1.0/modules/cudalegacy/src/目录，修改graphcuts.cpp文件，将：

#include "precomp.hpp"

#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)

改为

#include "precomp.hpp"

#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER) || (CUDART_VERSION >= 8000)

然后make编译就可以了

make -j8

上面是将opencv编译成功，但是并没有安装到我们的系统中，有很多的设置都没有写入到系统中，因此还要进行install。

sudo make install

sudo /bin/bash -c 'echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf'

sudo ldconfig

重启系统，重启系统后cd到build文件夹下：

sudo apt-get install checkinstall

sudo checkinstall

然后按照提示安装就可以了。

使用checkinstall的目的是为了更好的管理我安装的opencv，因为opencv的安装很麻烦，卸载更麻烦，其安装的时候修改了一大堆的文件，当我想使用别的版本的opencv时，将当前版本的opencv卸载就是一件头疼的事情，因此需要使用checkinstall来管理我的安装。

执行了checkinstall后，会在build文件下生成一个以backup开头的.tgz的备份文件和一个以build开头的.deb安装文件，当你想卸载当前的opencv时，直接执行dpkg -r build即可。

6.配置caffe

（1）将终端cd到要安装caffe的位置。

（2）从github上获取caffe：

git clone https://github.com/BVLC/caffe.git

注意：若没有安装Git，需要先安装Git：

sudo apt-get install git

（3）因为make指令只能make Makefile.config文件，而Makefile.config.example是caffe给出的makefile例子，因此，首先将Makefile.config.example的内容复制到Makefile.config：

sudo cp Makefile.config.example Makefile.config

（4）打开并修改配置文件：

sudo gedit Makefile.config #打开Makefile.config文件

根据个人情况修改文件：

a.若使用cudnn，则

将

#USE_CUDNN := 1

修改成： 

USE_CUDNN := 1

b.若使用的opencv版本是3的，则

将

#OPENCV_VERSION := 3 

修改为： 

OPENCV_VERSION := 3

c.若要使用python来编写layer，则

将

#WITH_PYTHON_LAYER := 1 

修改为 

WITH_PYTHON_LAYER := 1

d.重要的一项 :

将# Whatever else you find you need goes here.下面的

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 

修改为： 

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial       

这是因为ubuntu16.04的文件包含位置发生了变化，尤其是需要用到的hdf5的位置，所以需要更改这一路径.

（5）修改makefile文件

打开makefile文件，做如下修改：

将：

NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)

替换为：

NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)

（6）编辑/usr/local/cuda/include/host_config.h

将其中的第115行注释掉：

将

#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!

改为

//#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!

（7）编译

make all -j8 #-j根据自己电脑配置决定

编译过程中可能会出现如下错误：

错误内容1：

"fatal error: hdf5.h: 没有那个文件或目录"

解决办法：

step1:在Makefile.config文件的第85行，添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS，也就是把下面第一行代码改为第二行代码。

将：

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include

替换为：

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/

stept2:在Makefile文件的第173行，把 hdf5_hl 和hdf5修改为hdf5_serial_hl 和 hdf5_serial，也就是把下面第一行代码改为第二行代码。

将：

LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5

改为：

LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial

错误内容2：

"libcudart.so.8.0 cannot open shared object file: No such file or directory"

解决办法是将一些文件复制到/usr/local/lib文件夹下：

#注意自己CUDA的版本号！

sudo cp /usr/local/cuda-8.0/lib64/libcudart.so.8.0 /usr/local/lib/libcudart.so.8.0 && sudo ldconfig

sudo cp /usr/local/cuda-8.0/lib64/libcublas.so.8.0 /usr/local/lib/libcublas.so.8.0 && sudo ldconfig

sudo cp /usr/local/cuda-8.0/lib64/libcurand.so.8.0 /usr/local/lib/libcurand.so.8.0 && sudo ldconfig

（8）测试

sudo make runtest

如果运行之后出现下图，说明caffe配置成功。

图6.caffe测试结果

到此caffe配置完毕！

 

MNIST数据集测试

配置caffe完成后，我们可以利用MNIST数据集对caffe进行测试，过程如下：

 

1.将终端定位到Caffe根目录

cd ~/caffe

 

2.下载MNIST数据库并解压缩

./data/mnist/get_mnist.sh

 

3.将其转换成Lmdb数据库格式

./examples/mnist/create_mnist.sh

 

4.训练网络

./examples/mnist/train_lenet.sh

训练的时候可以看到损失与精度数值，如下图：

图7.MNIST数据集训练

可以看到最终训练精度是0.9914。

注意最后一步，好几处是在sudo下运行，由于上文中主要是针对当前用户进行环境变量及库的设置，所以在运行suod时会出现找不到库的情况，而普通用户可以正常运行。