本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:ubuntu16.04 cuda8.0 opencv3.2.0 caffe安装 - Python技术站
ubuntu16.04 cuda8.0 opencv3.2.0 caffe安装
•
Caffe
安装过程
1.安装相关依赖项
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
2.安装NVIDIA驱动
(1)查询NVIDIA驱动
首先去官网(http://www.nvidia.com/Download/index.aspx?lang=en-us)查看适合自己显卡的驱动:
图1.显卡驱动查询
例如本人电脑的显卡驱动如下图:
图2.显卡驱动版本
(2)安装驱动
安装之前先卸载已经存在的驱动版本:
sudo apt-get remove --purge nvidia*
若电脑是集成显卡(NVIDIA独立显卡忽略此步骤),需要在安装之前禁止一项:
sudo service lightdm stop
执行以下指令安装驱动:
sudo add-apt-repository ppa:xorg-edgers/ppa
sudo apt-get update
sudo apt-get install nvidia-367 #注意在这里指定自己的驱动版本!
安装完成之后输入以下指令进行验证:
sudo nvidia-smi
若列出了GPU的信息列表则表示驱动安装成功。
(win10注意要先关闭主板密码)
3.安装CUDA
CUDA是NVIDIA的编程语言平台,想使用GPU就必须要使用cuda。
(1)下载CUDA
首先在官网上(https://developer.nvidia.com/cuda-downloads)下载CUDA:
图3.CUDA下载
(2)安装CUDA
下载完成后执行以下命令:
sudo sh cuda_8.0.27_linux.run
注意:执行后会有一系列提示让你确认,但是注意,有个让你选择是否安装nvidia361驱动时,一定要选择否:
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 361.62?
因为前面我们已经安装了更加新的nvidia367,所以这里不要选择安装。其余的都直接默认或者选择是即可。
可能出现的错误:
当出现“unsupport complier”错误时,说明gcc版本太高,需要降低gcc版本。解决办法如下:
以gcc4.9与g++4.9为例
安装低版本gcc与g++:
sudo apt-get install gcc-4.9 g++-4.9
之后进入/usr/bin:
cd /usr/bin
先删除和gcc5.0关联的gcc:
sudo rm gcc
sudo rm g++
再建个软连接
sudo ln -s gcc-4.9 gcc
sudo ln -s g++-4.9 g++
然后重新安装。
(3)环境变量配置
打开~/.bashrc文件:
sudo vim ~/.bashrc
将以下内容写入到~/.bashrc尾部:
export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
(4)测试CUDA的sammples
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuerymakesudo ./deviceQuery
如果现实一些关于GPU的信息,则说明安装成功。
4.配置cuDNN
cuDNN是GPU加速计算深层神经网络的库。
首先去官网(https://developer.nvidia.com/rdp/cudnn-download)下载cuDNN,可能需要注册一个账号才能下载。由于本人的显卡是GTX1080,所以下载版本号如下图:
图4.cuDNN下载
下载cuDNN5.1之后进行解压,cd进入cuDNN5.1解压之后的include目录,在命令行进行如下操作:
sudo cp cudnn.h /usr/local/cuda/include/ #复制头文件
再将cd进入lib64目录下的动态文件进行复制和链接:
sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库
cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.5 #删除原有动态文件
sudo ln -s libcudnn.so.5.0.5 libcudnn.so.5 #生成软衔接
sudo ln -s libcudnn.so.5 libcudnn.so #生成软链接
5.安装opencv3.1
从官网(http://opencv.org/downloads.html)下载Opencv,并将其解压到你要安装的位置,假设解压到了/home/opencv。
安装前准备,创建编译文件夹:
cd ~/opencv
mkdir build
cd build
配置:
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
编译:
make -j8 #-j8表示并行计算,根据自己电脑的配置进行设置,配置比较低的电脑可以将数字改小或不使用,直接输make。
以上只是将opencv编译成功,还没将opencv安装,需要运行下面指令进行安装:
sudo make install
可能会出现的错误:
错误内容1:
gcc-4.9: error trying to exec 'cc1plus': execvp:
没有那个文件或目录
说明gcc与g++版本不兼容,解决办法跟gcc版本太高时一样:
安装低版本gcc与g++:
sudo apt-get install gcc-4.9 g++-4.9
之后进入/usr/bin:
cd /usr/bin
先删除和gcc5.0关联的gcc:
sudo rm gcc
sudo rm g++
再建个软连接
sudo ln -s gcc-4.9 gcc
sudo ln -s g++-4.9 g++
错误内容2:
modules/cudalegacy/src/graphcuts.cpp:120:54: error:
‘NppiGraphcutState’ has not been declared
typedef NppStatus (*init_func_t)(NppiSize oSize,
NppiGraphcutState** ppState, Npp8u* pDeviceMem);
这是因为opecv3.0与cuda8.0不兼容导致的。解决办法:
修改 ~/opencv/modules/cudalegacy/src/graphcuts.cpp文件内容,如图:
图5.文件修改
6.配置caffe
(1)将终端cd到要安装caffe的位置。
(2)从github上获取caffe:
git clone https://github.com/BVLC/caffe.git
注意:若没有安装Git,需要先安装Git:
sudo apt-get install git
(3)因为make指令只能make Makefile.config文件,而Makefile.config.example是caffe给出的makefile例子,因此,首先将Makefile.config.example的内容复制到Makefile.config:
sudo cp Makefile.config.example Makefile.config
(4)打开并修改配置文件:
sudo gedit Makefile.config #打开Makefile.config文件
根据个人情况修改文件:
a.若使用cudnn,则
将
#USE_CUDNN := 1
修改成:
USE_CUDNN := 1
b.若使用的opencv版本是3的,则
将
#OPENCV_VERSION := 3
修改为:
OPENCV_VERSION := 3
c.若要使用python来编写layer,则
将
#WITH_PYTHON_LAYER := 1
修改为
WITH_PYTHON_LAYER := 1
d.重要的一项 :
将# Whatever else you find you need goes here.下面的
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib
修改为:
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
这是因为ubuntu16.04的文件包含位置发生了变化,尤其是需要用到的hdf5的位置,所以需要更改这一路径.
(5)修改makefile文件
打开makefile文件,做如下修改:
将:
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
改为:
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
如果make时报错 可以用cmake-gui编辑下
(6)编辑/usr/local/cuda/include/host_config.h (新版CUDA8.0已经不用)
ctrl+F查找4.9出现的地方,大约位于115行,在第113行处应该显示if _GNUC_>4 || (_GNUC_ == 4 && _GNUC_MINOR_ > 9),因为我们的是5.2.1,因此,把上面的2个4都改成5就ok了,保存退出。
将
#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
改为
//#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
(7)编译
安装mkl 下载链接https://software.intel.com/en-us/qualify-for-free-software/student
下载时登录教育邮箱帐号并记住密码
下载解压之后,运行install.sh 脚本, 一路默认安装即可。在安装开始的时候需要输入序列号,这个如果你在网站上留了有效邮箱,邮件里面是会发给你序列号,输入即可。
在写好链接代码的脚本后,这时候调用intel库还是会出问题,会提示mkl cannot open shared object file no such file or directory,需要在系统PATH路径中加入代码
1: 获得root权限, $ su
2: $ gedit /etc/profile
3: 在末尾处加入代码:
export PATH=":/opt/intel/bin:$PATH"
export LD_LIBRARY_PATH=$LD_LIBRARY_LIB:/opt/intel/lib/intel64:/opt/intel/mkl/lib/intel64
4: $ source /etc/profile 如果没有报错,则path生效
将MakeFile.comfig中BLAS 修改为 BLAS := mkl
或安装OpenBlas
sudo apt-get install libopenblas-base
make all -j8 #-j根据自己电脑配置决定
编译过程中可能会出现如下错误:
错误内容1:
"fatal error: hdf5.h: 没有那个文件或目录"
解决办法:
step1:在Makefile.config文件的第85行,添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS,也就是把下面第一行代码改为第二行代码。
将:
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
替换为:
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
stept2:在Makefile文件的第173行,把 hdf5_hl 和hdf5修改为hdf5_serial_hl 和 hdf5_serial,也就是把下面第一行代码改为第二行代码。
将:
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
改为:
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
错误内容2:
"libcudart.so.8.0 cannot open shared object file: No such file or directory"
解决办法是将一些文件复制到/usr/local/lib文件夹下:
#注意自己CUDA的版本号!
sudo cp /usr/local/cuda-8.0/lib64/libcudart.so.8.0 /usr/local/lib/libcudart.so.8.0 && sudo ldconfig
sudo cp /usr/local/cuda-8.0/lib64/libcublas.so.8.0 /usr/local/lib/libcublas.so.8.0 && sudo ldconfig
sudo cp /usr/local/cuda-8.0/lib64/libcurand.so.8.0 /usr/local/lib/libcurand.so.8.0 && sudo ldconfig
错误内容3:
waring nvcc
解决办法:修改maleficent.config 中CUDA_ARCH 变量 改成与你显卡相匹配的数值。
(8)测试
sudo make runtest
如果运行之后出现下图,说明caffe配置成功。
图6.caffe测试结果
到此caffe配置完毕!
MNIST数据集测试
配置caffe完成后,我们可以利用MNIST数据集对caffe进行测试,过程如下:
1.将终端定位到Caffe根目录
cd ~/caffe
2.下载MNIST数据库并解压缩
./data/mnist/get_mnist.sh
3.将其转换成Lmdb数据库格式
./examples/mnist/create_mnist.sh
4.训练网络
./examples/mnist/train_lenet.sh
训练的时候可以看到损失与精度数值,如下图:
图7.MNIST数据集训练
可以看到最终训练精度是0.9914。
赞 (0)
深度学习框架caffe/CNTK/Tensorflow/Theano/Torch的对比
上一篇
2023年4月6日
[caffe笔记]:杀死caffe多个进程中的某个(发生 leveldb lock 解决方法)
下一篇
2023年4月6日