卷积神经网络与典型结构

一、神经网络与卷积神经网络

　　0.DNN(MLP多层感知器)能用到计算机视觉上吗？为什么需要CNN

　　　　DNN可以用在计算机视觉上，

　　1.卷积神经网络和人工神经网络的差异在哪里？

　　　　

　　　　为什么需要卷积神经网络。下面是一个32x32x3的图片，隐层一般为1024或者4096的维度。输入维度是4k左右，隐层在1024维度。这会导致过拟合和太大的计算量

　　2.层级结构

　　　　(1)保持了层级网络结构

　　　　(2)不同层次有不同的形式(运算)与功能

　　　　(3)主要有以下层次

　　　　　　数据输入层/Input layer

　　　　　　　　有3中常见的数据处理方式：

　　　　　　　　　　去均值：把输入数据各个维度第中心化到0，必做，AlexNet,VGG，在RGB上取均值。

　　　　　　　　　　归一化：幅度归一化到同样的范围，必做

　　　　　　　　　　PCA/白化：用PCA降维；白化是对数据每个特征轴上的幅度归一化

　　　　　　　　　　下图一是原始数据，数据不要随着每次的变化偏移越来越大或者说有越来越大的偏移度，所以需要去均值，将数据各个维度中心化到0

　　　　　　　　　　 如下图，使用PCA降维，找到一些正交的轴，然后将数据投影到轴上，是一个去相关的操作。白化是做完PCA之后，把数据归一化到一个范围之内。

　　　　　　图像处理：resize()===>sub mean（去均值）

　　　　　　卷积计算层/CONV layer   第一层

　　　　　　　　卷积核(kernel,filter)：第二层用于数据处理，用于数据计算的神经元.

　　　　　　　　每个神经元和前一层的所有输入都去进行连接，而且 每一个连接都要给一个权重w，这个时候参数量就会很大，

　　　　　　　　局部关联。每个神经元看做一个filter

　　　　　　　　窗口(receptive field)滑动，filter对局部数据计算

　　　　　　　　涉及概念：

　　　　　　　　　　深度/depth，第二层神经元的个数，有多少个kernel(filter)这个depth值就是多少

　　　　　　　　　　步长/stride，滑窗每次滑动的格数

　　　　　　　　　　填充值/zero-padding，在周边补0的圈数

　　　　　　滑窗滑到每个位置的计算。用滑窗和对应位置做乘积，然后将所有的乘积加在一起。每到一个位置都是做这样的处理，

　　　　　　参数共享机制

　　　　　　假设每个神经元连接数据窗的权重是固定的；假定每个神经院连接权重，可以看做模板，每个神经元只关注一个特性。需要估算的权重格数减少：一层1亿=》3.5w

　　　　　　一组固定的权重和不同窗口内数据做内积：卷积。　

　　　　　　激励层/Activation layer：把卷积层输出的结果做非线性映射

　　　　　　　　Sigmoid:

　　　　　　　　Tanh(双曲正切)

　　　　　　　　ReLU

　　　　　　　　Leaky ReLU

　　　　　　　　ELU

　　　　　　　　Maxout

　　　　　　池化层(下采样层)/Pooling layer

　　　　　　　　夹在连续的卷积层中间

　　　　　　　　压缩数据和参数的量，减小过拟合

　　　　　　　　

　　

 

　　　　　　全连接层/FC layer

　　　　　　　　两层之间所有神经元都有权重连接

　　　　　　　　通常全连接层在卷积神经网络尾部

　　　　　　典型CNN结构为：

　　　　　　

　　　　　　Batch Normalization层(可能有)  2015年google提出

　　　　　　CNN慎用sigmoid!

　　　　　　首先试RELU，因为快，但是要小心

　　　　　　如果2失败，请用Leaky RELU或者Maxout

　　　　　　某些情况下tanh倒是有很不错的效果，但是很少

　　　　(4)卷积神经网络卷积层可视化理解 

　　　　　　CONV Layer 2

　　　　(5)通一般机器学习算法，先定义Loss function，衡量和实际效果之间的差距

　　　　　　找到最小化损失函数的W和b，CNN中用的算法是SGD

　　　　　　SGD需要计算W和b的偏导

　　　　　　BP算法就是计算偏导用的

　　　　　　BP算法的核心就是求导的链式法则

　　　　　　BP算法利用链式求导法则，逐级相乘直到求解出dW和db

　　　　　　利用SGD/随机梯度下降，迭代和更新W和b　　

　　　　(6)卷积神经网络优缺点：

　　　　　　优点：

　　　　　　　　共享卷积核，优化计算量

　　　　　　　　无序手动选择特征，训练好权重，即得特征

　　　　　　　　深层次的网络抽取图像信息丰富，表达效果好

　　　　　　缺点：

　　　　　　　　需要调参，需要大量样本，GPU等硬件依赖

　　　　　　　　物理含义不明确　　　　

　　3.数据处理

　　4.训练算法

　　5.优缺点

二、正则化与Droupout

　　0.神经网络学习能力强可能会过拟合

　　　　Dropout(随机失活)正则化：别一次开启所有学习单元

　　　　

　　1.正则化与Droupout处理

　　2.Droupout理解

三、典型结构与训练

　　1.典型CNN

　　2.训练与优化