GRU模型

GRU的网络结构

RNN:有两个输入,两个输出。
LSTM:有三个输入,三个输出。
GRU:有两个输入,两个输出。
GRU循环神经网络

GRU有两个门,一个重置门r和一个更新门,直观的,重置门决定了如何把新的输入与之前的记忆相结合,更新门决定多少先前的记忆起作用。如果我们把所有reset设置为全1,更新门设置为全0,又达到了普通RNN的形式;

2.GRU两个门

  • 更新门
  • 重置门

(1).更新门

将LSTM里面的遗忘门和输入门合并为更新门

(2).重置门

三、相关公式

1.模块内图

GRU循环神经网络

2. GRU的五个公式

GRU循环神经网络

参考: