深度学习神经网络算法发展顺序

循环神经网络(Recurrent Neural Network, RNN)与LSTM

RNN处理的是一种时间序列数据，它处理的问题中，前后数据间不是互相独立的，前一次决策会影响后一次决策

RNN可以保持序列的“记忆”信息，通过之前的信息决策当前的问题

循环神经网络(Recurrent Neural Network, RNN)与LSTM

看了上图对RNN根本没什么理解，今天读到了七月一篇RNN文章，解释非常到位，地址如下：

下图为截取上述文章中的若干RNN基本原则作为个人学习笔记

循环神经网络(Recurrent Neural Network, RNN)与LSTM

循环神经网络(Recurrent Neural Network, RNN)与LSTM

循环神经网络(Recurrent Neural Network, RNN)与LSTM

上述描述了基本的RNN N-N网络结构，当然还有1-N，N-1，N-M等变体，这里不再一一叙述。

基本的RNN结构中，会保留过去很远的“记忆”，但距离很远的信息对当前决策影响几乎很小，所以LSTM被有针对性地提出了。

LSTM是长短时记忆神经网络，它是对RNN进行了优化，可以选择性地(按比例)接收、(按比例)关闭输入与输出信息。

循环神经网络(Recurrent Neural Network, RNN)与LSTM

循环神经网络(Recurrent Neural Network, RNN)与LSTM