深度学习原理与框架-卷积网络细节-网络设计技巧 1. 3个3*3替换7*7卷积核 2. 1*1 和 3*3 替换 3*3卷积核

感受野：对于第一次卷积，如果卷积核是3*3，那么卷积的感受野就是3*3，如果在此卷积上，再进行一次卷积的话，那么这次的卷积的感受野就是5*5 

因为5*5的区域，卷积核为3*3， 卷积后每一个点的感受野是3*3，卷积后的区域为3*3

第二次卷积还用用3*3的卷积的话，第二次卷积的结果就变成了1*1，因此每一个点的感受野是5*5

 

对应于3次卷积的结果，每一点的感受野就是7*7, 

由上式我们可以看出，对于3个3*3卷积后的感受野和一个7*7卷积核卷积的感受野是相同的，我们下面做一个比较，3个3*3卷积的参数要小于一个7*7，这样可以防止过拟合的情况，同时多层的relu激活，增加了卷积过程中的非线性， 

网络结构技巧1：3个3*3卷积替换一个7*7卷积

网络结构技巧2：使用1*1*c*c/2, 3*3*c/2*c/2, 1*1*c/2*c 卷积来替换一个3*3的卷积

 

网络技巧总结

1.尽量使用3*3的卷积来替代5*5和7*7的卷积

2.使用1*1的卷积，用来增加或者减少矩阵的维度也是很有效的

3.将N*N的卷积转换为1*N和N*1的卷积

4.尽量给出较少的参数和较少的计算