RNN出现背景

传统的神经网络通常无法从先前的信息中进行推理。

循环神经网络

Recurrent Neural Networks，但是受人类记忆启发的RNN可以通过添加一个循环来解决此问题，该循环允许信息从网络的一个步骤传递到下一步骤。

深度学习～循环神经网络RNN, LSTM

如图8所示，RNN的循环过程描述了在时间范围[1，t + 1]中的特定节点A。

在时间t的节点A接收两个输入变量：Xt表示在时间t的输入，回流回路表示在时间[0，t1]的隐藏状态，并且节点A在时间t导出变量ht。

LSTM出现背景

但是，当前的RNN仅查看最新信息以在实践中执行当前任务，因此它无法保留长期依赖关系。

在这种情况下，提出了长期短期记忆（LSTM）网络，这是一种能够学习长期依赖关系的特殊RNN。如图8所示，

  • LSTM单元接收三个输入：当前时间t的输入X，先前时间t -1的输出h和代表先前时间t -1的隐藏状态的输入箭头。
  • LSTM单元输出两个输出：输出h和当前时间t的隐藏状态（表示为向外箭头）。
  • LSTM单元包含四个门，即输入门，输出门，忘记门和输入调制门，以通过操作以及S形和tanh函数控制数据流。