LSTM网络是有LSTM每个单元所串接而成的, 从下面可以看出RNN与LSTM网络的差异,

LSTM主要有控制门单元和输出门单元组成

控制门单元又是由遗忘门单元和记忆门单元的加和组成。

深度学习原理与框架-RNN网络框架-LSTM框架 1.控制门单元 2.遗忘门单元 3.记忆门单元  4.控制门单元更新  5.输出门单元 6.LSTM网络结构

1.控制门单元, 与最后的输出层做相乘操作,决定什么样的信息会被保留

深度学习原理与框架-RNN网络框架-LSTM框架 1.控制门单元 2.遗忘门单元 3.记忆门单元  4.控制门单元更新  5.输出门单元 6.LSTM网络结构

2.遗忘门单元:上一层的控制门单元Ct-1直接与ft进行相乘操作,决定什么样的信息会被遗弃

深度学习原理与框架-RNN网络框架-LSTM框架 1.控制门单元 2.遗忘门单元 3.记忆门单元  4.控制门单元更新  5.输出门单元 6.LSTM网络结构

3.记忆门单元: 将输入的结果it 与 新数据形成的控制参数,进行相乘操作,决定什么样的数据会被保留

深度学习原理与框架-RNN网络框架-LSTM框架 1.控制门单元 2.遗忘门单元 3.记忆门单元  4.控制门单元更新  5.输出门单元 6.LSTM网络结构

4.控制门单元的更新操作Ct, 即将记忆门单元和遗忘门单元进行加和,组成了控制门单元传入到下一个阶段

深度学习原理与框架-RNN网络框架-LSTM框架 1.控制门单元 2.遗忘门单元 3.记忆门单元  4.控制门单元更新  5.输出门单元 6.LSTM网络结构

5.输出门单元: 将输出ot与控制门单元进行结合,获得当前隐藏层的输出结果,也可以用来做当前层的预测结果

深度学习原理与框架-RNN网络框架-LSTM框架 1.控制门单元 2.遗忘门单元 3.记忆门单元  4.控制门单元更新  5.输出门单元 6.LSTM网络结构

 

6.最后LSTM的展示结构,是由多个LSTM单元所组成的

深度学习原理与框架-RNN网络框架-LSTM框架 1.控制门单元 2.遗忘门单元 3.记忆门单元  4.控制门单元更新  5.输出门单元 6.LSTM网络结构