RNN介绍：https://zhuanlan.zhihu.com/p/30844905

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的：

这时，就用到了RNN

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

RNN结构：

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

举个例子：

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

这时，这次的（2，2）就会代替左边的(0,0)，作为下一次计算时需要考虑的value

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

以此类推。。。

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

RNN的基本概念：

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

 

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

 

LSTM：

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

例如：

当前(x1,x2,x3)=(1 0 1)

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））

 

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（上））