机器学习与深度学习系列连载： 第二部分 深度学习（十六）循环神经网络 4（BiDirectional RNN， Highway network， Grid-LSTM）

深度学习（十六）循环神经网络 4（BiDirectional RNN， Highway network， Grid-LSTM）

RNN处理时间序列数据的时候，不仅可以正序，也可以正序+逆序（双向）。下面显示的RNN模型，不仅仅是simple RNN，可以是LSTM，或者GRU

1 BiDirectional RNN

当然，RNN的层数也不仅仅是一层

2. Highway network

通过传统的Feedforward neural network和 RNN的学习，对于初学者来讲，貌似二者网络结构差异较大，没有交集。 但是实则不然，我们一起来分析一下。

（1）Feedforward与RNN 网络结构对比

• Feedforward network does not have input at each step
• Feedforward network has different parameters for each layer

当我们尝试在前向网络中加入Gate门限，我们会得到什么？

（2）Highway Network
Highway Network 实际上就是竖起来的RNN

Highway Network 与GRU之间的区别

• No input xt at each step
• No output yt at each step
• at-1 is the output of the (t-1)-th layer
• at is the output of the t-th layer
• No reset gate

Highway network 的公式：

我们熟知的残差神经网络其实就是Highway Network 的一种变种

Highway network 实际上可以自动决定网络的层数：

(3) Grid LSTM
传统的LSTM memory在一个维度，Grid LSTM增加了输入和输出的维度，Memory for both time and depth

整体time和depth的结构图：

我们拆解一下Grid LSTM

(4) 3D Grid LSTM
又增加一个memory维度