卷积神经网络

本文是 Google 团队在 MobileNet 基础上提出的 MobileNetV2，其同样是一个轻量化卷积神经网络。目标主要是在提升现有算法的精度的同时也提升速度，以便加速深度网络在移动端的应用。  

参考资料 0 Figures First 1 LeNet5 贡献 2 Dan Ciresan Net 3 AlexNet 贡献 4 VGG19 贡献 5 Network-in-network(NiN) 6 Inception V1-V3 贡献 参考资料 Neural Network Architectures CS231N Spring 2017 Lectu…

http://codeforces.com/contest/757/problem/E 题意 Sol 非常骚的一道题 首先把给的式子化一下，设$u = d$，那么$v = n / d$ $$f_r(n) = \sum_{d \mid n} \frac{f_{r – 1}(d) + f_{r – 1}(\frac{n}{d})}{2}$$ $$= \sum_{…

神经网络即指人工神经网络，或称作连接模型，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。神经网络用到的算法是向量乘法，采用符号函数及其各种逼近。并行、容错、可以硬件实现以及自我学习特性，是神经网络的几个基本优点，也是神经网络计算方法与传统方法…

数据增强 思路：在训练的时候引入干扰，在测试的时候避免干扰。 翻转图片增强数据。       随机裁切图片后调整大小用于训练，测试时先图像金字塔制作不同尺寸，然后对每个尺寸在固定位置裁切固定大小进入训练，最后对所有结果取平均值。   对颜色信息进行主成分分析并重建   迁移学习 三种网络训练思路： 中量数据的训练思路：先训练附加层，收敛后整体整体微调(fun…

平滑技术也叫做过滤技术，可以用来去除图像中的噪声，常用的平滑处理的处理算法有基于二维离散卷积的高斯平滑、均值平衡、基于统计学方法的中值平滑、双边滤波、导向滤波等。二维离散卷积是基于两个矩阵的一种计算方式，通过以下示例进行理解。 一.原理 \[I = \left ( \begin{matrix} 1&2\\ 3&4\\ \end{matrix}…

Dropout作用 在hinton的论文Improving neural networks by preventing coadaptation提出的，主要作用就是为了防止模型过拟合。当模型参数较多，训练数据较少时候，根据线性代数相关知识可以知道，当前模型可以非常完美的拟合我们的曲线。但该模型对测试数据集可能就没有很好的表现了，也就是说训练出的模型泛化能力很…

对给定函数f(t),g(t)拉普拉斯变换得 将上面二式相乘，并建立下面的等式 这意味着两个函数分别进行拉普拉斯变换的结果相乘等于某个未知函数h(t)进行一次拉普拉斯变换的结果， 现在问题变成了求解h(t)，过程如下： 上面推理过程，主要考虑到定积分可以看作是数列求和的极限，比如两个数列相乘可以进行如下转化：      

我们知道\(FFT\)是一个循环卷积。本质上的离散傅里叶变换满足的是这个性质： \[c_k=\sum\limits_{i,j}[i+j=k(mod\ n)]a_ib_j \] 但是由于我们做的长度足够大(\(n\)足够大)所以这种循环卷积卷不回去。这导致我们只能做特定长度的\(FFT,n=2^w\)如果我们需要做任意长度循环卷积呢？ 其实稍微推推式子就可以了…

常规的神经网络连接结构如下  当网络训练完成, 在推导的时候为了加速运算, 通常将卷积层和 batch-norm 层融合, 原理如下 \[\begin{align*} y_{conv} &= w \cdot x + b \\ y_{bn} &= \gamma \cdot \left (\frac{y_{conv} – E[x]}{\sqrt…