深度学习

3.1调试处理 （1）不同超参数调试的优先级是不一样的，如下图中的一些超参数，首先最重要的应该是学习率α（红色圈出），然后是Momentum算法的β、隐藏层单元数、mini-batch size（黄色圈出）、再之后是Layer、learning rate decay（紫色圈出）、最后是Adam算法中的β1、β2、ε。 （2）用随机取值代替网格点取值。下图左边…

2.1进行误差分析 （1）一识别猫为案例，错误率为10%，这时系统还可以有较大提升空间，这时该往哪方面努力呢？可以通过误差分析，具体可以拿出100个分类错误的样本，然后利用表格统计每个样本分类错误的原因（如下图所示），比如很模糊，狗和猫很像，有滤镜等，一个样本出错可以同时有多个原因，统计看因为什么原因导致分类错误的比例最高，那么就应该着重花功夫在那上面。 （…

2.1Mini-batch梯度下降 （1）例如有500万个训练样本，这时可以每1000个组成一个Mini-batch,共用5000个Mini-batch。主要是为了加快训练。 （2）循环完所有的训练样本称为（1 epoch）。 （3）使用大括号X{t},Y{t}表示一个Mini-batch。（小括号（i）表示第i个样本，中括号[l]表示神经网络第l层）。  …

【目标识别】深度学习进行目标识别的资源列表：O网页链接 包括RNN、MultiBox、SPP-Net、DeepID-Net、Fast R-CNN、DeepBox、MR-CNN、Faster R-CNN、YOLO、DenseBox、SSD、Inside-Outside Net、G-CNN等。Papers Deep Neural Networks for Obj…

转载：火烫火烫的 个人觉得BP反向传播是深度学习的一个基础，所以很有必要把反向传播算法好好学一下 得益于一步一步弄懂反向传播的例子这篇文章，给出一个例子来说明反向传播 不过是英文的，如果你感觉不好阅读的话，优秀的国人已经把它翻译出来了。 一步一步弄懂反向传播的例子（中文翻译） 然后我使用了那个博客的图片。这次的目的主要是对那个博客的一个补充。但是首先我觉得先…

我们在计算模型w的转置乘上x的时候，往往需要把w和x分别进行向量化然后运算，因为这样会使我们的计算机得到结果的时间更快，而且这种方法不管是在CPU还是在GPU上都是成立的，首先我们来看看代码： import numpy as np import time a=np.random.rand(1000000) b=np.random.rand(1000000) …

逻辑回归函数是由两个函数符合而成，首先我们有sigmoid函数g(z)： 当然这里面的参数可以加上各种有关theta的定值，并不一定必须就只有x之前的theta参数。 然后再把g(z)拿到h(x)函数里面去拟合就可以了，h(x)则是我们的Logistic回归函数。 把这两个方程拟合放到一起有： sigmoid函数长这样： 由于我们是二分类的问题，因此y只有1…

1.1为什么选择序列模型 （1）序列模型广泛应用于语音识别，音乐生成，情感分析，DNA序列分析，机器翻译，视频行为识别，命名实体识别等众多领域。 （2）上面那些问题可以看成使用（x，y）作为训练集的监督学习，但是输入与输出的对应关系有非常多的组合，比如一对一，多对多，一对多，多对一，多对多（个数不同）等情况来针对不同的应用。 1.2数学符号 （1）x(i)&…

4.1什么是人脸识别 （1）人脸验证（face verification）:1对1，输入一个照片或者名字或者ID，然后判断这个人是否是本人。 （2）人脸识别（face recognition）:1对多，判断这个人是否是系统中的某一个人。 4.2One-shot学习 （1）比如一个公司的员工，一般每个人只给一张工作照（如4个人），这时网络输出五个单元，分别代表…

2.1词汇表征 （1）使用one-hot方法表示词汇有两个主要的缺点，以10000个词为例，每个单词需要用10000维来表示，而且只有一个数是零，其他维度都是1，造成表示非常冗余，存储量大；第二每个单词表示的向量相乘都为零（正交），导致没能够表示是词汇之间的联系，比如oriange和apple,queen和king应该是联系比价紧密的，但是用上面的词典表示无…