0有全连接网络,为什么还需要CNN
图像处理领域的特殊性,
     全连接网络缺点:                              CNN解决办法:
     1参数太多                                   |     局部连接
     2没有利用图像之间位置的信息          |     权值共享
     3网络层数限制                             |     下采样:pooling,只保留重要参数,提高鲁棒性
 
 
1激活函数
Relu:卷积神经网络CNN公式推导走读     图像:卷积神经网络CNN公式推导走读  sigmoid图像:卷积神经网络CNN公式推导走读卷积神经网络CNN公式推导走读
相比sigmoid优势:
     1速度快,因为运算简单max ;
     2 坚强梯度消失问题,梯度计算时每经过一层就累乘一个sigmoid的导数,图像可以看出最大是1/4,而relu导数是1,不会衰减;
     3稀疏性:大脑5%的神经元是激活的,神经网络15%比较好,sigmoid有50%激活,relu小于0的都是不机会的,所以激活概率更低。
 
 
卷积神经网络CNN公式推导走读
 卷积神经网络CNN公式推导走读
2网络架构: INPUT -> [[CONV]*N -> POOL?]*M -> [FC]*K
                                   卷积层                池化层               全连接层
 
2.1卷积层(多维的,维度=卷积核的个数)
局部连接:只有上一层部分神经元相连;
权值共享:对所有像素的权值都是一样的,个数为filter的个数:3*3的filter有3*3个权值。
注:深度大于1的输入,filter是深度比较与输入深度一致
卷积神经网络CNN公式推导走读
 卷积神经网络CNN公式推导走读
2.2池化层
主要作用是下采样去掉不重要的样本,进一步减少参数个数。除了取max 还有mean等方法
卷积神经网络CNN公式推导走读
卷积神经网络CNN公式推导走读
2.3全连接层(同bp网络)
 
3训练
bp原理一样(三步):
卷积神经网络CNN公式推导走读
不同:
局部连接和下采样影响第二步误差项计算;
权值共享影响第三步w的计算;
 卷积神经网络CNN公式推导走读
3.1卷积层训练
 卷积神经网络CNN公式推导走读
卷积神经网络CNN公式推导走读
 
同bp借用netj,卷积conv(矩阵):卷积神经网络CNN公式推导走读
由于权重共享,a1,2 需要累加a1,1 和a1,2的影响:
eg1.a1,1与netj1,1有关:卷积神经网络CNN公式推导走读
卷积神经网络CNN公式推导走读
所以,卷积神经网络CNN公式推导走读
卷积神经网络CNN公式推导走读
eg2.a1,2与netj1,1 和netj1,2有关:卷积神经网络CNN公式推导走读
卷积神经网络CNN公式推导走读
所以,卷积神经网络CNN公式推导走读
卷积神经网络CNN公式推导走读
 
总结,
卷积神经网络CNN公式推导走读可以写成:卷积神经网络CNN公式推导走读卷积神经网络CNN公式推导走读
 
3.2池化层训练
由于没有需要学习的参数,只是梯度传递(max或mean) ,所以不需要梯度计算。
eg max卷积神经网络CNN公式推导走读卷积神经网络CNN公式推导走读
梯度等于l-1层值最大的卷积神经网络CNN公式推导走读
 卷积神经网络CNN公式推导走读
eg.mean  梯度等于1/n^2
卷积神经网络CNN公式推导走读
 卷积神经网络CNN公式推导走读
 
 
 
 

参考:网络博客