《深度学习》：循环神经网络II

第8讲循环神经网络II
–长程依赖问题
–长短期记忆网络（LSTM）
–门控循环神经网络（GRU）
–深层循环神经网络
–实验④（循环神经网络实验）布置

文章目录

RNN的长时依赖问题
长短时记忆网络（LSTM）

深入了解LSTM结构
具体原理

GRU结构
更新记忆阶段

LSTM和GRU的联系
RNN的作业布置
参考文献

RNN的长时依赖问题

首先回顾一下上篇文章推导出来的RNN的误差项随时间反向传播的公式。（误差项：误差 $E$ 对神经元j的输出 $net_j$ 的偏导）
《深度学习》：循环神经网络II
我们可以看到，误差项从t时刻传递到k时刻，其值的上界是 $bm{beta_fbeta_w}$ 的指数函数。 $bm{beta_fbeta_w}$ 分别是对角矩阵 $diag[f^{'}(net_j)]$ 和矩阵W模的上界。显然，除非 $bm{beta_fbeta_w}$ 乘积的值位于1附近，否则，当t-k很大时（也就是误差传递很多个时刻时），整个式子的值就会变得极小（当 $bm{beta_fbeta_w}$ 乘积小于1）或者极大（当 $bm{beta_fbeta_w}$ 乘积大于1），前者就是梯度消失，后者就是梯度爆炸。虽然科学家们搞出了很多技巧（比如怎样初始化权重），让 $bm{beta_fbeta_w}$ 的值尽可能贴近于1，终究还是难以抵挡指数函数的威力。
梯度消失或者梯度爆炸会导致梯度为0，没法继续训练更新参数。也就是RNN的长时依赖问题。/

长短时记忆网络（LSTM）

Hochreiter & Schmidhuber (1997)

Long Short Term Memory networks（以下简称LSTMs），一种特殊的RNN网络，该网络设计出来是为了解决长依赖问题。该网络由 Hochreiter & Schmidhuber (1997)引入，并有许多人对其进行了改进和普及。他们的工作被用来解决了各种各样的问题，直到目前还被广泛应用。
下面放一张李宏毅老师的LSTM图：

李宏毅老师，个人认为是机器学习、深度学习国内中文课程讲的最好的。想看视频的可以去b站或者直接百度李宏毅，真的是从根本上讲透彻！！！！

《深度学习》：循环神经网络II
相比RNN只有一个传递状态 $h^t$ ，LSTM有两个传输状态，一个 $c^t$ （cell state），和一个 $h^t$ （hidden state）。（Tips：RNN中的 $h^t$ 对于LSTM中的 $c^t$ ）

其中对于传递下去的 $c^t$ 改变得很慢，通常输出的 [公式] 是上一个状态传过来的 $c^t$ 加上一些数值。
而 $h^t$ 则在不同节点下往往会有很大的区别。

深入了解LSTM结构

《深度学习》：循环神经网络II
LSTM首先将本时刻的输入 $x_t$ 和上时刻的隐状态 $h_{t-1}$ 拼接成一个向量。然后分别和三个不同的W矩阵点乘，再经过 $sigmoid$ 函数作用，得到三个范围在0-1的数 $z^i$ , $z^f$ , $z^o$ 。
有经验的同学可能就能发现这三个数值的作用了，一般用 $sigmoid$ 都是输出一个概率值，所以这三个数值就是一种“门控机制”。而 $z=tanh(W [x_t,h_{t-1}])$ 表示输入，tanh的作用是把数据压缩到【-1，1】。

具体原理

《深度学习》：循环神经网络II
$odot$ 是Hadamard Product，也就是操作矩阵中对应的元素相乘，因此要求两个相乘矩阵是同型的。 $oplus$ 则代表进行矩阵加法。
LSTM内部主要有三个阶段：

忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会 “忘记不重要的，记住重要的”。具体来说是通过计算得到的 $bm{z^f}$ （f表示forget）来作为忘记门控，来控制上一个状态的 $c^{t-1}$ 哪些需要留哪些需要忘。
选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入 $bm{x_t}$ 进行选择记忆。哪些重要则着重记录下来，哪些不重要，则少记一些。当前的输入内容由前面计算得到的 $bm{z}$ 表示。而选择的门控信号则是由 $bm{z^i}$ （i代表information）来进行控制。
将上面两步得到的结果相加，即可得到传输给下一个状态的 $bm{c^t}$ 。也就是上图中的第一个公式。
输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。主要是通过 $bm{z^o}$ (o代表output）来进行控制的。并且还对上一阶段得到的 $bm{c^t}$ 进行了放缩（通过一个tanh**函数进行变化）。
与普通RNN类似，输出 $bm{y^t}$ 往往最终t也是通过 $bm{h^t}$ 变化得到。

GRU

GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。
《深度学习》：循环神经网络II
一句话，效果差不多但是计算简单。

GRU结构

GRU的输入输出结构与普通的RNN是一样的。

下面是内部结构：
《深度学习》：循环神经网络II
同样的方法，加个 $sigmoid$ 函数生成两个“门控”， $r$ 为控制重置的（reset）, $z$ 为控制更新的门控（update）。
得到门控信号之后，首先使用重置门控来得到“重置”之后的数据 $bm{h^{t-1^{'}}=h^{t-1}odot r}$ ，再将 $bm{h^{t-1^{'}}}$ 与输入 $bm{x_t}$ 进行拼接，再通过一个tanh**函数来将数据放缩到-1~1的范围内。
这里的 $bm{h^{'}}$ 主要是包含了当前输入的 $bm{x_t}$ 数据。有针对性地对 $bm{h^{'}}$ 添加到当前的隐藏状态，相当于”记忆了当前时刻的状态“。类似于LSTM的选择记忆阶段.
《深度学习》：循环神经网络II

更新记忆阶段

更新表达式： $h^t =(1-z)odot h^{t-1}+zodot h^{'}$
再次强调一下，门控信号（这里的 z）的范围为0~1。门控信号越接近1，代表”记忆“下来的数据越多；而越接近0则代表”遗忘“的越多。
GRU很聪明的一点就在于，我们使用了同一个门控 $bm{z}$ 就同时可以进行遗忘和选择记忆（LSTM则要使用多个门控）。

$(1-z)odot h^{t-1}$ ：表示对原本隐藏状态的选择性“遗忘”。这里的 $1-z$ 可以想象成遗忘门（forget gate），忘记 $h^t$ 维度中一些不重要的信息。
$zodot h^{'}$ ：表示对包含当前节点信息的 $h^{'}$ 进行选择性”记忆“。与上面类似，这里的 $z$ 同理会忘记 $h^{'}$ 维度中的一些不重要的信息。或者，这里我们更应当看做是对 $h^{'}$ 维度中的某些信息进行选择。
$h^t =(1-z)odot h^{t-1}+zodot h^{'}$ ：结合上述，这一步的操作就是忘记传递下来的 $h^{t-1}$ 中的某些维度信息，并加入当前节点输入的某些维度信息。

LSTM和GRU的联系

GRU是在2014年提出来的，而LSTM是1997年。他们的提出都是为了解决相似的问题，那么GRU难免会参考LSTM的内部结构。
大家看到 $r$ (reset gate)实际上与他的名字有点不符。我们仅仅使用它来获得了 $h^{'}$ 。
那么这里的 $bm{h^{'}}$ 实际上可以看成对应于LSTM中的hidden state；上一个节点传下来的 $bm{h^{t-1}}$ 则对应于LSTM中的cell state。1-z对应的则是LSTM中的 $bm{z^f}$ forget gate，那么 z我们似乎就可以看成是选择门 $bm{z^i}$ 了。