Reference：Theano入门三部曲

http://deeplearning.net/tutorial/logreg.html  （Softmax回归）

http://deeplearning.net/tutorial/mlp.html （MLP多层感知器）

http://deeplearning.net/tutorial/lenet.html （简易LeNet卷积神经网络）

 

为什么要使用Theano？

深度学习最好使用一些库，比如Theano。主要是因为反向传播调整参数时，需要求导。链式求导本身没有难处。

但是深度学习的神经网络架构设计的比较复杂，层数又多（15层不是梦）。

在基本BP网络的三层结构里，链式的长度已经到了5，推导公式已经不忍直视，人工求导显然不是明智的。

Theano提供了grad梯度函数，自动根据表达式求一阶导数，grad(cost,param)，其中cost函数可以是一个超长超长的表达式。

param则可以是一个超大超大的数组或是矩阵。

显然，有了grad函数，我们可以专心设计正向传播的I/O，反向传播只要一个grad函数即可。省去了复杂的公式推导。

 

Theano是深度学习较早的库之一，由深度学习三大先驱（Geoffrey Hinton(Google)、Yann LeCun(Facebook)）的Yoshua Bengio构建。

使用Python组织逻辑，C编译执行，CUDA并行加速计算，是非常好的实验平台。

它的库源码中包含大量注释，并且提供深度学习的几个基本模型的代码实现文档。

每篇文档都采用paper的形式，集中了许多大牛的论文的精华、各种小trick，也给出了论文的具体引用，方便按图索骥。

 

Theano的一般结构

Theano基于Python的面向对象，所以它的神经网络也是基于面向对象的思路去写的。

【对象】

它认为，浅层网络的中分类器，深度网络中的每个层，都是一个对象。

在这个对象里，你被指定了输入格式，你只需要做两件事：

根据格式，定义参数、定义输出。

 

【数据读入/处理】

从文件读入数据，并且对数据进行全局分享处理(shared)

Theano中搞了一个奇怪的shared类型，Python的普通类型可以由theano.shared()方法转换。

Shared区是供GPU、C代码使用的内存区，与Python的内存区独立，但是由Tensor变量联系着。

这里就不得不提Theano的函数机制。theano.tensor中封装的着大量的惰性函数。

这些惰性函数，在Python里是不会执行的。需要在theano.function()里执行。

theano.function()有四大区：

inputs=[], 如果只是一个普通的列表，就把输入放在这个参数。如果输入有很多，应该放在givens区里。inputs区不支持shared变量，所以也要挪到givens区。

inputs在写function时基本是留空的，inputs=[],这个位置接受的是在线传入的值，如果是离线值，应当放到givens区里。

 

outputs=普通函数or惰性函数，就是指定工作函数。

这里有个trick，就是如何print出Tensor表达式的量（因为该量的值只会在执行时确定，不能使用get_value)。以取出Softmax的预测值y_pred为例。

只要写这样一个function就行了，function(inputs=[],outputs=classifier.y_pred,givens={....自己指定范围...})。

 

updates=参数更新的列表，格式[(原,新),(原,新)....]，Shared区的变量只能在updates里更新，Python的中赋值只会让变量留在Python的内存区。

但是在function的内存区和Python一点关系也每有。如果Python里设置一个Tensor关联一些Shared变量的话，Shared区的updates会波及到Python区的值。

如CNN教程里的，params这个Tensor，明明在Python的全局内存区，但是每次update之后，都会被改变。

也就是说Shared区能影响Python区，但是Python区无法动Shread区一根汗毛。

givens={x:List1[:],y:List2[:],.....},其中x和y是outputs函数里使用的变量的名字，一定要对应，下面会讲为什么。

 

theano.function()不是以Python的方式执行，而是迅速编译成C代码执行，相当于每个function都是一个独立的子程序，所以这四大区是必要的。

由于是独立子程序，Python中的普通变量显然不能很好工作。所以一般都设成shared类型。

实际上，tensor的不少惰性函数都需要在Python状态下的shared变量才能定义。原理未知。比如T.dot就不要求shared变量，但是grad的param一定要求是shared。

由于Theano的大部分计算都在function里，而function又是以C执行，所以Theano具有不输于C的速度，同时兼具Python的灵活性。

 

【主过程：前向传播构建&反向传播迭代】

创建各个神经网络层、分类器的实例对象，由I/O首尾相连，最后利用分类器构建cost函数，完成前向传播。

利用各个层对象的参数、cost函数，构建梯度表达式，以及updates列表。

为训练集、验证集、测试集创建以theano.function()为壳的模型。

使用mini-batch梯度法分批训练训练集，测试验证集&测试集。

 

【mini-batch梯度法与验证集收敛】

深度学习中的梯度法应当使用mini-batch。

随机梯度(Stochastic Gradient Descent)虽然快，但是不利于收敛。

批梯度（Batch Gradient Descent）太慢，但是收敛很好。

mini-batch做了个折中，它把数据集分成好多小batch，每个batch有统一的batchsize。

对小部分数据进行BGD，这样兼顾了速度和收敛。

每个小batch即算一次iter迭代，做完全部batch，算一次epoch。

 

同时引入了验证集，由原训练集切割而成。验证集在小数据集里不会出现。但是在大数据集里一定是要有的。

原因是大数据集的cost函数，你很难去评估什么值才算是勉强收敛。所以采用训练、验证交叉的方法替代传统的看值收敛。

验证集训练法有几个参数，patience（耐力）、patience_increase（耐力增长系数）、improvement_threshold(耐力增长（模型继续迭代改善）阈值）

validation_frequency（验证集评估频率）、best_validation_loss（当前最低错误率）。

验证集的算法：

while(epoch++)

     训练每个小batch

         计算当前小batch的iter

         满足评估频率?开始评估!

         若评估loss<最好loss

             若评估loss<最好loss*阈值：patience=max(patience,iter*增长系数)

             更新最好loss

         （选择）：评估测试集

iter >=patience: 总迭代结束

 

一旦长时间评估loss没有刷新patience，很快iter就会超过patience而结束迭代。

否则，则一直训练，不停创造更好的loss。