深度学习

视角1：一般平方损失函数的公式如下图所示： h表示的是你的预测结果，y表示对应的标签，J就可以理解为用二范数的方式将预测和标签的差距表示出来，模型学习的过程就是优化权重参数，使得J达到近似最小值。理论上这个损失函数是很有效果的，但是在实践中却又些问题。它这个h是激活函数激活后的结果，激活函数通常是非线性函数，例如sigmoid之类的，这就使得这个J的曲线变得…

3-2 3-3 3-4 （2）从”一对一方式”的角度：假设样本的类别数为C，则需要构造C(C-1)/2个权重向量????若想单独分出一类样本c，则使用C-1个权重向量可以将其他样本与c类样本区分开来。但是想要在分出c类样本的基础上分出d类，则需要考虑划分d类与其他样本的C-1个权重向量与c类的那C-1个权重向量是否划分出了不可判断区域，也就是我们无法保证这些…

角度1：角度2：即：接近 0 的输入在 sigmoid 型函数上的导数较大，梯度下降速度较快 4-2 异或问题：异或（XOR）问题可以看做是单位正方形的四个角，响应的输入模式为（0,0），（0,1），（1,1），（1,0）。第一个和第三个模式属于类0图示为：具体： 4-3 举例说明： 解决方法有[书中86-88页]：使用带泄露的ReLU使用带参数的ReLU使…

5-2 5-3 主要作用： 降维和升维： 每个1×1的卷积核都试图提取基于相同像素位置的特征的融合表达。可以实现特征升维和降维的目的。 比如，一张500 * 500且厚度depth为100 的图片在20个filter上做11的卷积，那么结果的大小为500500*20。 加入非线性： 1*1卷积核，可以在保持feature map尺度不变的（即不损失分辨率）的…

明显地，埃尔法和K成正比 7-2 7-3 7-4 7-5 7-6 7-7 从再参数化的角度来分析批量归一化中缩放和平移的意义在此公式中，r和b表示缩放和平移参数向量。 通过r和b，能够有效适应不同的激活函数。例如：通过r和b，可以自动调整输入分布，防止ReLU死亡问题。 有了b的存在，仿射变换不再需要偏置参数。 逐层归一化可以提高效率，并且作为一种隐形的正则…

三者都是典型的神经网络模型。卷积神经网络是对前馈神经网络增加卷积层和池化层。延时神经网络是对前馈神经网络增加延时器。循环神经网络是对前馈神经网络增加自反馈的神经元。 延时神经网络和循环神经网络是给网络增加短期记忆能力的两种重要方法。 卷积神经网络和循环神经网络的区别在循环层上。卷积神经网络没有时序性的概念，输入直接和输出挂钩；循环神经网络具有时序性，当前决策…

只考虑一层简单的循环神经网络，设隐藏层神经元数量为D（即D维），输入层的维数为M。一个LSTM层（隐藏层）的参数总数为：4D*（D+M）+4D 8-2 8-3 8-4 按照内容寻址，阿西吧。 8-5 8-6 参见：Hopfield 神神经网络动力学分析与应用[郑鹏升]博士论文中8.9页

参考链接 菜鸟教程：Python 直接赋值、浅拷贝和深度拷贝解析 概述 直接赋值：其实就是对象的引用（别名）。 浅拷贝(copy)：拷贝父对象，不会拷贝对象的内部的子对象。 深拷贝(deepcopy)： copy 模块的 deepcopy 方法，完全拷贝了父对象及其子对象。 图解 代码示例 END

1、SRCNN、FSRCNN (Learning a Deep Convolutional Network for Image Super-Resolution, ECCV2014) (Accelerating the Super-Resolution Convolutional Neural Network, ECCV2016) 2、ESPCN、VESPC…

1.1训练，验证，测试集（Train/Dev/Test sets） （1）深度学习是一个按照下图进行循环的快速迭代的过程，往往需要多次才能为应用程序找到一个称心的神经网络。 （2）在机器学习中，通常将样本分成训练集，验证集和测试集三部分，数据规模相对较小，适合传统的划分比例（如6:2:2），数据集规模比较大的，验证集和测试集要小于数据总量的20%或者10%甚…