循环神经网络总结整理(RNN、LSTM、GRU)

在经过了一个周期迭代之后，猛地发现不记录一些东西是真的不行的，只有将知识娓娓道来，把自己当作一个教师的身份整理这些思路，才算真正的掌握了。故，将这一章的知识点整理记录下来，以供自己学习理解，查阅运用。

综述：

在前馈神经网络中，信息的传递是单向的，即网络的输出只依赖于当前的输入。但是在很多现实的任务中，网络的输出不仅和当前的输入有关还和之前的输入（当前的状态)，甚至是以后的输入有关，另外前馈神经网络难以处理时序数据，如视频、语音、文本，这类都是一些不固定长度的数据，而前馈神经网络输入输出都是固定长度的，故很难去处理这一类时序数据。

而循环神经网络则是一类具有短期记忆功能的神经网络。不但可以接受其他神经元的信息，还可以接受自身的信息。形成环路。循环神经网络的参数学习可以通过随时间反向传播算法来学习。即按照时间的逆序将错误信息一步步的向前传递，但当序列较长时，会存在梯度爆炸和消失问题，这类可成为长程依赖问题，为解决，引入了门控单元。

给网络增加记忆能力：

前馈神经网络是静态网络不具有这类记忆能力，（反观循环网络类似递归一样，可将信息不断地进行筛选迭代处理反馈）。

1.延时神经网络：

建立一个额外的延时单元，以此记录历史信息（输入输出隐状态）

2.有外部出入的非线性自回归模型：

3.循环神经网络：

通过带自反馈的神经元，能处理任意长度的时序数据。

循环神经网络总结整理(RNN、LSTM、GRU)

隐藏层的活性值ht也称为状态或隐状态。

简单循环网络

表示在t时刻网络的输入，表示了隐藏层的状态，(隐藏层神经元活性值)，不仅和当前输入有关，也和前一时刻的隐层状态循环神经网络总结整理(RNN、LSTM、GRU) 有关。

循环神经网络总结整理(RNN、LSTM、GRU)

简单循环神经网络和隐马尔可夫链大致无异，通过U状态-状态转移矩阵，和W状态输入矩阵，

循环网络可以看作是在时间维度上权值共享的神经网络。

应用到机器学习：

根据任务不同的特点可以分为，序列到类别模式、同步的序列到序列模式、异步的序列到序列模式。

序列到类别模式：主要用于序列数据的分类问题：

输入为序列，输出为类别，如文本分类中，输入数据为单词的序列，输出数据为文本的类别

将一个样本，输出为y={1,2,3,4....C} 将x按照不同时刻输入到循环神经网络中，得到不同时刻的隐状态ht ，ht+1等等，可以将循环神经网络总结整理(RNN、LSTM、GRU) 看作整个序列的最终表示，然后再输入给分类器进行分类。

除了将最后时刻的状态作为整个序列的表示之后，我们还可以对所有序列的状态进行平均，利用这个平均的状态作为整个序列的表示。

同步的序列到序列模型：用于序列标注问题

每一个时刻都有输入和输出，且其长度相同。如在词性标注中，每一个单词都需要标注其对应的词性标签。

输入为一个长度T的序列，输出为序列y（1-T）样本x按不同时刻输入到循环神经网络中，并得到不同时刻的隐状态，每个时刻的循环神经网络总结整理(RNN、LSTM、GRU) 都代表了当前时刻xt信息和前一时刻隐状态的历史信息。（全部的包含信息？与后来的遗忘门f来做比较。）

然后再输入给g分类器得到序列y。对真是标签y和预测的y_hat进行交叉熵得到损失函数，在进行梯度下降更新参数和梯度。

异步的序列到序列模型：

seq2seq中用到此类，也称为编码器-解码器输入和输出不需要有严格的对应关系，也不需要有一致的长度。如在机器翻译中，输入源语言序列，输出为目标语言序列，其长度不一定等长。

一般通过先编码后解码的过程来进行，先将输入序列x按不同时刻输入到编码器中得到其编码,然后再使用另外一个循环神经网络（解码器）进行解码得到输出y1_hat, 再将y1_hat和传递下来的隐状态一起进行f2函数的传递，采用自回归模型，每个时刻的输入都是上一时刻的预测结果循环神经网络总结整理(RNN、LSTM、GRU) 。

循环神经网络总结整理(RNN、LSTM、GRU)

参数学习：

随时间反向传播：误差项为第t时刻的损失对第k时刻隐藏神经层的净输入z(k) = Uh(k-1)+Wx(k)+b 的导数。
实时循环学习算法：通过前向传播的方式来计算梯度。

两种算法的比较：都是基于梯度下降的算法，分别通过前向模式和反向模式应用链式法则进行计算梯度，循环神经网络中一般输出维度会远远低于输入维度，反向传播计算量小一些，但需要保存所有时刻的中间梯度，因此空间复杂度较高一些。而实时循环不需要梯度回传，非常适合需要在线学习或无限序列的任务中。

长程依赖问题：

由于梯度消失或者爆炸问题很难建立长时间间隔的状态之间的依赖关系。

为什么？

因为在误差项求导公式中，将其展开得到，循环神经网络总结整理(RNN、LSTM、GRU)

当>1时 t-k趋于无穷大，梯度也会变得很大循环神经网络总结整理(RNN、LSTM、GRU) 是误差项为第t时刻的损失对第k时刻隐藏神经层的净输入的导数。

造成系统很不稳定所以会有梯度爆炸问题。

而当<1时，梯度会趋向于0，即间隔t-k(序列长时间间隔)较大时。t是第t时刻 k是第k时刻隐藏层神经元。出现梯度消失问题。

参数U的更新主要是靠当前时刻t的几个相邻状态h(k)来更新。

改进方案：

一种最直接的方法是选取合适的参数，同时使用非饱和的**函数。尽量使得循环神经网络总结整理(RNN、LSTM、GRU) ，这样就不出出现<1 ,>1出现梯度爆炸或者消失的问题了。但这种方式需要足够的人工调参经验，同时也限制了模型的广泛应用。

另外一种比较有效的方案是通过改进模型或优化方法来缓解该问题。

梯度爆炸：比较容易解决，使用权重衰减和梯度截断来解决。

权重衰减通过给参数增加L1和L2正则化来限制参数的取值范围。从而使<=1

梯度截断则是，当梯度的模大于一定阈值时，将其截断为一个较小的数。

2. 梯度消失：改变模型，令单位矩阵。

即循环神经网络总结整理(RNN、LSTM、GRU)

其中h(t)和h(t-1)是线性依赖关系其权重系数为1 不存在爆炸或者消失的问题，大丢失了神经元在反馈边上非线性**的性质。

为避免改进了策略如下：循环神经网络总结整理(RNN、LSTM、GRU)

这样h(t)和h(t-1)即有线性关系又有了非线性的关系，可以缓解梯度消失的问题。但仍然存在两个问题。

1.梯度爆炸问题

2.记忆容量问题随着ht的不断累积存储新的输入信息，会发生饱和现象，就是说隐状态ht可存储的信息是有限的，随着时间积累，丢失的信息也越来越多。

为解决这两个问题，引入了门控机制。

基于门控的循环神经网络

为改善循环神经网络的长程依赖问题，引入了门控机制来控制信息的积累速度，包括有选择性的加入新的信息，有选择性的遗忘过去的信息， LSTM和GRU

LSTM

引入了一个新的内部状态ct 专门进行线性的循环信息传递，同时非线性的输出信息给隐藏层的外部状态ht

内部状态ct通过如下公式计算:

循环神经网络总结整理(RNN、LSTM、GRU)

其中是通过非线性函数得到的候选状态。循环神经网络总结整理(RNN、LSTM、GRU) 是上一时刻的记忆单元。

循环神经网络总结整理(RNN、LSTM、GRU)

i输入门 f遗忘门 o输出门

遗忘门f控制上一时刻内部状态c_t-1需要遗忘多少信息，

输入门i控制当前时刻的候选状态c~有多少个信息需要保存

输出门o控制当前时刻的内部状态c_t有多少信息需要输出给外部状态h_t

三个门是软门，取值在（0~1）之间，表示一定的比例允许信息通过，

循环神经网络总结整理(RNN、LSTM、GRU)

其中循环神经网络总结整理(RNN、LSTM、GRU) 是logistic函数，控制值域为0~1。

LSTM的计算过程如下：

1.首先利用当前时刻的输入和上一时刻的外部状态计算出三个门出来，以及候选状态。

2.然后结合遗忘门和输入门来更新记忆单元。

3.结合输出门,将内部状态的信息传递给外部状态。

可简单分为两步一个是最上面线c控制的记忆单元长期内部状态流，另外一个就是外部输出状态h即存储了短期记忆信息，然后通过循环再次遗忘记忆单元，且通过上一时刻的外部输出状态h_t-1来更新三个门。