卷积神经网络

ResNeSt是亚马逊的李沐团队的paper，最近在各个任务上刷榜了，但却被ECCV2020 strong reject了，在知乎上也是引起了热议，据李沐说这个网络花了一百万刀！我看完 以后感觉是ResNeXt +  SKNet的组合，训练网络的很多tricks在工程上还是很有意义 的。 讨论：https://www.zhihu.com/question/3…

　　举例 　　单个张量与多个卷积核的分离卷积 　　参考资料   举例 分离卷积就是先在深度上分别卷积，然后再进行卷积，对应代码为： import tensorflow as tf # [batch, in_height, in_width, in_channels] input =tf.reshape(tf.constant([2,5,3,3,8,2,6,1…

　　举例 　　单个张量与多个卷积核在深度上分别卷积 　　参考资料   举例 如下张量x和卷积核K进行depthwise_conv2d卷积   结果为： depthwise_conv2d和conv2d的不同之处在于conv2d在每一深度上卷积，然后求和，depthwise_conv2d没有求和这一步，对应代码为： import tensorflow as tf…

　　直接定义的缺点 　　简易定义的方式 　　参考资料   直接定义的缺点 在tensorflow中假设有一批输入为： 其定义如下： tf.constant([ [ [ [3, 1, -3], [1, -1, 7] ], [ [-2, 2, -5], [2, 7, 3] ] ], [ [ [-1, 3, 1], [-3, -8, 6] ], [ [4, 6, …

　　二维Full卷积 　　二维Same卷积 　　二维Valid卷积 　　三种卷积类型的关系 　　具备深度的二维卷积 　　具备深度的张量与多个卷积核的卷积 　　参考资料 二维卷积的原理和一维卷积类似，也有full卷积、same卷积和valid卷积。 举例：3*3的二维张量x和2*2的二维张量K进行卷积 二维Full卷积 Full卷积的计算过程是：K沿着x从左到…

　　一维Full卷积 　　一维Same卷积 　　一维Valid卷积 　　三种卷积类型的关系 　　具备深度的一维卷积 　　具备深度的张量与多个卷积核的卷积 　　参考资料 一维卷积通常有三种类型：full卷积、same卷积和valid卷积，下面以一个长度为5的一维张量I和长度为3的一维张量K（卷积核）为例，介绍这三种卷积的计算过程     一维Full卷积 Fu…

　　举例 　　结论 　　参考资料   在一些书籍和博客中所讲的卷积（一个卷积核和输入的对应位置相乘，然后累加）不是真正意义上的卷积。根据离散卷积的定义，卷积核是需要旋转180的。 按照定义来说，一个输入和一个卷积核做卷积操作的流程是： ①卷积核旋转180 ②对应位置相乘，然后累加 举例 下面这个图是常见的卷积运算图： 中间的卷积核，其实是已经旋转过180度的…