如有缪误欢迎指正

学习记忆循环神经网络心得

 

 

GRU结构向前传播 心得(欢迎指正)

当遗忘门等于0的时候当前信息抛弃 之前记忆前传

当遗忘门等于1 的时候之前记忆抛弃 当前信息前传

当遗忘门的值为01之间的时候 调控前传的记忆与信息的比例

 

QAQ

Q:LSTM与GRU 的区别

A: LSTM 数据量大的时候选用

A: GRU 结构相对简单,但是训练速度会快一些

通常商业应用多选用LSTM

学习记忆循环神经网络心得

R 为重置门

Z 为更新门

门使得我们将传到的参数可控制在0-1之间

学习记忆循环神经网络心得

学习记忆循环神经网络心得

该函数代表的是门

学习记忆循环神经网络心得

模型输入的参数

学习记忆循环神经网络心得为输入  学习记忆循环神经网络心得为上一时刻状态

 

模型学的参数

学习记忆循环神经网络心得

学习记忆循环神经网络心得 权重参数

 学习记忆循环神经网络心得偏移参数

 

候选隐藏状态

学习记忆循环神经网络心得

学习记忆循环神经网络心得按元素相乘

学习记忆循环神经网络心得