循环神经网络(RNN)原理 RNN项目

我们之前所学的全连接神经网络(DNN)和卷积神经网络(CNN)，他们的前一个输入和后一个输入是没有关系的。但是当我们处理序列信息的时候，某些前面的输入和后面的输入是有关系的，比如：当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列；这个时候我们就需要使用到循环神经网络(Recurrent Neural Network)。

RNN在自然语言处理领域最先被使用起来，RNN可以为语言模型进行建模：

我没有完成上级布置给我的任务，所以被开除了

让电脑来填写下划线的词最有可能的是『我』，而不太可能是『小明』，甚至是『吃饭』。

语言模型就是这样的东西：给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。

基本循环神经网络

基本循环神经网络结构：一个输入层、一个隐藏层和一个输出层。

循环神经网络(RNN)原理 RNN项目

　　$x$是输入层的值。$s$表示隐藏层的值，$U$是输入层到隐藏层的权重矩阵，$O$是输出层的值。$V$是隐藏层到输出层的权重矩阵。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵$W$就是隐藏层上一次的值作为这一次的输入的权重。

循环神经网络(RNN)原理 RNN项目

　　这个网络在t时刻接收到输入$X_t$之后，隐藏层的值是$S_t$，输出值是$O_t$。关键一点是，$S_t$的值不仅仅取决于$X_t$，还取决于$S_{t-1}$。

$$begin{align}
mathrm{o}_t&=g(Vmathrm{s}_t)qquadquad(式1)\
mathrm{s}_t&=f(Umathrm{x}_t+Wmathrm{s}_{t-1})qquad(式2)\
end{align}$$

　　式1是输出层的计算公式，输出层是一个全连接层，也就是它的每个节点都和隐藏层的每个节点相连。V是输出层的权重矩阵，g是激活函数。

　　式2是隐藏层的计算公式，它是循环层。U是输入x的权重矩阵，W是上一次的值$S_{t-1}$作为这一次的输入的权重矩阵，f是激活函数。

　　隐含层有两个输入，第一是$U$与$X_t$向量的乘积，第二是上一隐含层输出的状态$S(t-1)$和$W$的乘积。等于前一次计算输出的$S(t-1)$需要缓存一下，在本次输入$X_t$一起计算，共同输出最后的$O$。

如果反复把式2带入式1，我们将得到：

$$begin{align} mathrm{o}_t&=g(Vmathrm{s}_t)\ &=Vf(Umathrm{x}_t+Wmathrm{s}_{t-1})\ &=Vf(Umathrm{x}_t+Wf(Umathrm{x}_{t-1}+Wmathrm{s}_{t-2}))\ &=Vf(Umathrm{x}_t+Wf(Umathrm{x}_{t-1}+Wf(Umathrm{x}_{t-2}+Wmathrm{s}_{t-3})))\ &=Vf(Umathrm{x}_t+Wf(Umathrm{x}_{t-1}+Wf(Umathrm{x}_{t-2}+Wf(Umathrm{x}_{t-3}+...)))) end{align}$$

从上面可以看出，循环神经网络的输出值$O_t$，是受前面历次输入值$X_t、X_{t-1}、X_{t-2}、X_{t-3}、...$影响的，这就是为什么循环神经网络可以往前看任意多个输入值的原因。这样其实不好，因为如果太前面的值和后面的值已经没有关系了，循环神经网络还考虑前面的值的话，就会影响后面值的判断。

双向循环神经网络

对于语言模型来说，很多时候光看前面的词是不够的，比如下面这句话：

我的手机坏了，我打算一部新的手机。

我们这个时候就需要双向循环神经网络。

循环神经网络(RNN)原理 RNN项目

从上图可以看出，双向卷积神经网络的隐藏层要保存两个值，一个A参与正向计算，另一个值A'参与反向计算。最终的输出值$y_2$取决于$A_2$和${A}'_2$。其计算方法为：

$$mathrm{y}_2=g(VA_2+V'A_2')$$

$A_2$和${A}'_2$则分别计算：

$$begin{align}
A_2&=f(WA_1+Umathrm{x}_2)\
A_2'&=f(W'A_3'+U'mathrm{x}_2)\
end{align}$$

现在，我们已经可以看出一般的规律：正向计算时，隐藏层的值$S_t$与$S_{t-1}$有关；反向计算时，隐藏层的值${S}'_t$与${S}'_{t+1}$有关；最终的输出取决于正向和反向计算的加和。现在，我们仿照式1和式2，写出双向循环神经网络的计算方法：

$$begin{align}
mathrm{o}_t&=g(Vmathrm{s}_t+V'mathrm{s}_t')\
mathrm{s}_t&=f(Umathrm{x}_t+Wmathrm{s}_{t-1})\
mathrm{s}_t'&=f(U'mathrm{x}_t+W'mathrm{s}_{t+1}')\
end{align}$$

从上面三个公式我们可以看到，正向计算和反向计算不共享权重，也就是说U和U'、W和W'、V和V'都是不同的权重矩阵。

深度循环神经网络

循环神经网络的训练算法：BPTT

BPTT算法是针对循环层的训练算法，它的基本原理和BP算法是一样的，也包含同样的三个步骤：

1、前向计算每个神经元的输出值；

2、反向计算每个神经元的误差项$delta_j$

3、计算每个权重的梯度。

4、最后用随机梯度下降算法更新权重。

循环层如下图所示：

循环神经网络(RNN)原理 RNN项目

前向计算

使用前面的式2对循环层进行前向计算：

$$mathrm{s}_t=f(Umathrm{x}_t+Wmathrm{s}_{t-1})$$

我们假设输入向量x的维度是m，输出向量s的维度是n，则矩阵U的维度是$n$ x $m$，矩阵W的维度是$n$ x $n$。下面是上式展开矩阵的样子，看起来会直观一些：

$$begin{align}begin{bmatrix}
s_1^t\s_2^t\.\.\s_n^t\
end{bmatrix}=f(begin{bmatrix}
u_{11} u_{12} ... u_{1m}\
u_{21} u_{22} ... u_{2m}\
.\.\u_{n1} u_{n2} ... u_{nm}\
end{bmatrix}begin{bmatrix}
x_1\x_2\.\.\x_m\
end{bmatrix}+begin{bmatrix}
w_{11} w_{12} ... w_{1n}\
w_{21} w_{22} ... w_{2n}\
.\.\w_{n1} w_{n2} ... w_{nn}\
end{bmatrix}begin{bmatrix}
s_1^{t-1}\s_2^{t-1}\.\.\s_n^{t-1}\
end{bmatrix})end{align}$$