深度学习

 这是最新找到的  对抗生成网络的代码，亲测可以跑通。前几天也上传了一个网上找到的代码，但是这回这个代码中判别网络的假数据中加入了 detach() 函数， 网上查找说这个函数可以切断神经网络的反向传导，虽然不是很理解，但总是感觉这个更对一些。对于  detach 这个函数在这里面的作用网上怎么说的都有，不过个人感觉最有说服力的说法是 减少没有必要的运算，毕…

主要思路 　　前面几篇所讲的都是围绕神经网络展开的，一个标志就是激活函数非线性；在前人的研究中，也存在线性激活函数的稀疏编码，该方法试图直接学习数据的特征集，利用与此特征集相应的基向量，将学习得到的特征集从特征空间转换到样本数据空间，这样可以用特征集重构样本数据。 ​ 数据集、特征集、基向量分别表示为\(x、A、s\).构造如下目标代价函数,对估计误差的代价…

1. 主题思路 “UFLDL 无监督特征学习”本节全称为自我学习与无监督特征学习，和前一节softmax回归很类似，所以本篇笔记会比较简化，主题思路和步骤如下： 把有标签数据分为两份，先对一份原始数据做无监督的稀疏自编码训练，获得输入层到隐藏层的最优化权值参数\(W, b\)； 把另一份数据分成分成训练集与测试集，都送入该参数对应的第一层网络(去掉输出层的稀…

1. 主要思路 “UFLDL 卷积神经网络”主要讲解了对大尺寸图像应用前面所讨论神经网络学习的方法，其中的变化有两条，第一，对大尺寸图像的每个小的patch矩阵应用相同的权值来计算隐藏层特征，称为卷积特征提取；第二，对计算出来的特征矩阵做“减法”，把特征矩阵纵横等分为多个区域，取每个区域的平均值(或最大值)作为输出特征，称为池化。这样做的原因主要是为了降低数…

1. 基本问题 在第一篇 UFLDL深度学习笔记 （一）基本知识与稀疏自编码中讨论了激活函数为\(sigmoid\)函数的系数自编码网络，本文要讨论“UFLDL 线性解码器”，区别在于输出层去掉了\(sigmoid\)，将计算值\(z\)直接作为输出。线性输出的原因是为了避免对输入范围的缩放： S 型激励函数输出范围是 [0,1]，当$ f(z^{(3)})…

1. 主要思路 本文要讨论的“UFLDL 建立分类用深度网络”基本原理基于前2节的softmax回归和 无监督特征学习，区别在于使用更“深”的神经网络，也即网络中包含更多的隐藏层，我们知道前一篇“无监督特征学习”只有一层隐藏层。原文深度网络概览不仅给出了深度网络优势的一种解释，还总结了几点训练深度网络的困难之处，并解释了逐层贪婪训练方法的过程。关于深度网络优…

http://blog.csdn.net/pirage/article/details/53424544   分词原理 本小节内容参考待字闺中的两篇博文： 97.5%准确率的深度学习中文分词（字嵌入+Bi-LSTM+CRF） 如何深度理解Koth的深度分词？ 简单的说，kcws的分词原理就是： 对语料进行处理，使用word2vec对语料的字进行嵌入，每个字特…

　　这篇文章将介绍MXNet的编译安装。 　　MXNet的编译安装分为两步： 首先，从C++源码编译共享库（libmxnet.so for linux，libmxnet.dylib for osx，libmxnet.dll for windows）。 接着，安装语言包。   1. 构建共享库依赖 　　目标是构建共享库文件。 最小构建需求： 最新的支持C++ …

感谢原著，原文出处：https://www.cnblogs.com/wangyaning/p/7853879.html 过去几年，深度神经网络在模式识别中占绝对主流。它们在许多计算机视觉任务中完爆之前的顶尖算法。在语音识别上也有这个趋势了。而中文文本处理，以及中文自然语言处理上，似乎没有太厉害的成果？尤其是中文短文本处理的问题上，尚且没有太成功的应用于分布式…

　　有时我们的样本标签，都是标记从0开始直至到类别的个数。在模型训练的时候，这些标签需要变成one_hot向量，这样才能够跟softmax出来的概率做互熵损失，计算loss。 　　那么，映射的方法如下： 1 def to_one_hot(y, n_class): 2 return np.eye(n_class)[y] 　　 　　y： 类型是list，样本的类…