深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)

RNN处理时间序列数据的时候,不仅可以正序,也可以正序+逆序(双向)。下面显示的RNN模型,不仅仅是simple RNN,可以是LSTM,或者GRU

1 BiDirectional RNN

机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)

当然,RNN的层数也不仅仅是一层
机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)

2. Highway network

通过传统的Feedforward neural network和 RNN的学习,对于初学者来讲,貌似二者网络结构差异较大,没有交集。 但是实则不然,我们一起来分析一下。

(1)Feedforward与RNN 网络结构对比

  • Feedforward network does not have input at each step
  • Feedforward network has different parameters for each layer

机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)
当我们尝试在前向网络中加入Gate门限,我们会得到什么?

(2)Highway Network
Highway Network 实际上就是竖起来的RNN

Highway Network 与GRU之间的区别

  • No input xt at each step
  • No output yt at each step
  • at-1 is the output of the (t-1)-th layer
  • at is the output of the t-th layer
  • No reset gate

Highway network 的公式:
机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)
机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)

我们熟知的残差神经网络其实就是Highway Network 的一种变种
机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)
Highway network 实际上可以自动决定网络的层数:
机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)
(3) Grid LSTM
传统的LSTM memory在一个维度,Grid LSTM增加了输入和输出的维度,Memory for both time and depth

机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)
整体time和depth的结构图:
机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)
我们拆解一下Grid LSTM
机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)

(4) 3D Grid LSTM
又增加一个memory维度
机器学习与深度学习系列连载: 第二部分 深度学习(十六)循环神经网络 4(BiDirectional RNN, Highway network, Grid-LSTM)