深度学习

代码如下： import numpy as np import tflearn from tflearn.layers.core import dropout from tflearn.layers.normalization import batch_normalization from tflearn.data_utils import to_categ…

自动编码器是一种有三层的神经网络：输入层、隐藏层（编码层）和解码层。该网络的目的是重构其输入，使其隐藏层学习到该输入的良好表征。   自动编码器神经网络是一种无监督机器学习算法，其应用了反向传播，可将目标值设置成与输入值相等。自动编码器的训练目标是将输入复制到输出。在内部，它有一个描述用于表征其输入的代码的隐藏层。     自动编码器的目标是学习函数 h(x…

  ［导读］ “大数据时代”，数据为王！无论是数据挖掘还是目前大热的深度学习领域都离不开“大数据”。大公司们一般会有自己的数据，但对于创业公司或是高校老师、学生来说，“Where can I get large datasets open to the public?”是不得不面对的一个问题。 本文结合笔者在研究生学习、科研期间使用过以及阅读文献了解到的深度…

【论文标题】Deep Learning based Recommender System: A Survey and New Perspectives （ ACM Computing Surveys · July 2017） 【论文作者】 SHUAI ZHANG, University of New South WalesLINA YAO, Universi…

SGD SGD是深度学习中最常见的优化方法之一，虽然是最常使用的优化方法，但是却有不少常见的问题。 learning rate不易确定，如果选择过小的话，收敛速度会很慢，如果太大，loss function就会在极小值处不停的震荡甚至偏离。每个参数的learning rate都是相同的，如果数据是稀疏的，则希望出现频率低的特征进行大一点的更新。深度神经网络之…

以下是阅读TextCNN后的理解 步骤： 　　1.先对句子进行分词，一般使用“jieba”库进行分词。 　　2.在原文中，用了6个卷积核对原词向量矩阵进行卷积。 　 　　3.6个卷积核大小：2个4*6、2个3*6和2个2*6，如上图所示；然后进行池化，对相同卷积核产生的特征图进行连接；再进行softmax输出2个类别。 　　　　1).这里对no-static…

sigmoid: Relu:   为什么通常Relu比sigmoid和tanh强，有什么不同？主要是因为它们gradient特性不同。 1.sigmoid和tanh的gradient在饱和区域非常平缓，接近于0，很容易造成vanishing gradient的问题，减缓收敛速度。vanishing gradient在网络层数多的时候尤其明显，是加深网络结构的…

这是GoogLeNet的最早版本，出现在2014年的《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。   介绍 深度学习以及神经网络快速发展，人们不再只关注更给力的硬件、更大的数据集、更大的模型，而是更在意新的idea、新的算法以及模型的改进。 …

前言 我们都知道增加网络的宽度和深度可以很好的提高网络的性能，深的网络一般都比浅的的网络效果好，比如说一个深的网络A和一个浅的网络B，那A的性能至少都能跟B一样，为什么呢？因为就算我们把A的网络参数全部迁移到B的前面几层，而B后面的层只是做一个等价的映射，就达到了A网络的一样的效果。一个比较好的例子就是VGG，该网络就是在AlexNex的基础上通过增加网络深…