RNN循环神经网络里的BPTT算法

这两天对RNN循环神经网络进行了学习，由一无所知到现在对什么是RNN以及它的前向传播和反向传播有了认识，尤其是BPTT算法的推导有些繁琐，但是推过一次后，对RNN反向传播求梯度的过程有了更清晰的认识。

下面是朴素的RNN循环神经网络图。（图1）

我在写博客前，自己先手写了一份推导过程。（图2）

为何BPTT更难？

因为多了状态之间的传递（即隐层单元之间的“交流”），根据前向传播算法，我们知道 s∗t=Wst−1+Uxt,$s_t^{\ast }=W{s}_{t-1}+U{x}_t,$ 而 st−1=f(s∗t−1)=f(Wst−2+Uxt−1)$s_{t-1}=f(s_{t-1}^{\ast })=f(W{s}_{t-2}+U{x}_{t-1})$,这说明 st−1$s_{t-1}$也是关于W$W$的式子。

这样层层嵌套下去……就会追溯到s0$s_0$。可以意识到我们对W、U$W、U$的梯度求解是繁琐的，而这正是BPTT的难点所在。对于V$V$的梯度求解，并没有受到状态之间传递的影响，因此和我们BP算法求解方式是一样的。

我们用∗$\ast$表示element-wise, ×$\times$表示矩阵乘法。
我们采用交叉熵损失函数，即Lt=−(ytlog(ot)+(1−yt)log(1−ot))$L_t=-(y_{t}log(o_t)+(1-y_t)log(1-o_t))$
我们定义隐藏层的**函数为sigmoid函数st=f(s∗t)$s_t=f(s_t^{\ast })$,输出层的**函数也为sigmoid函数 ot=g(o∗t)$o_t=g(o_t^{\ast })$。f′=st∗(1−st),g′=ot∗(1−ot)$f^{\prime }=s_t\ast (1-s_t),g^{\prime }=o_t\ast (1-o_t)$ 。具体求导读者自行证明。

由前向传播可知，ot=g(o∗t)=g(Vst)$o_t=g(o_t^{\ast })=g(V{s}_t)$

那么∂Lt∂V=∂Lt∂ot∗∂ot∂o∗t⋅∂o∗t∂V=−(ytot+yt−1∂1−ot)∗ot∗(1−ot)⋅∂o∗t∂V=(ot−yt)×sTt$\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }V}=\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }{o}_t}\ast \frac{\mathrm{\partial }{o}_t}{\mathrm{\partial }{o}_t^{\ast }}·\frac{\mathrm{\partial }{o}_t^{\ast }}{\mathrm{\partial }V}=-(\frac{y_t}{o_t}+\frac{y_t-1}{\mathrm{\partial }1-o_t})\ast o_t\ast (1-o_t)·\frac{\mathrm{\partial }{o}_t^{\ast }}{\mathrm{\partial }V}=(o_t-y_t)\times s_t^{\mathrm{T}}$

不同时刻的∂Lt∂V$\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }V}$要相加，得到最后的∂L∂V$\frac{\mathrm{\partial }L}{\mathrm{\partial }V}$。

由前向传播可知，对于时刻t而言，st−1$s_{t-1}$也是关于W$W$的式子，因此我们在求∂Lt∂W$\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }W}$时，不能简单的将st−1$s_{t-1}$视为常量，因此 ∂Lt∂W=∑tk=0∂Lt∂s∗k×sTk−1$\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }W}=\sum _{k=0}^t\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }{s}_k^{\ast }}\times s_{k-1}^{\mathrm{T}}$(注意，在我这里是把第一个时刻从0开始)。

∂Lt∂s∗t=∂Lt∂o∗t⋅∂o∗t∂s∗t=VT×(ot−yt)∗st∗(1−st)$\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }{s}_t^{\ast }}=\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }{o}_t^{\ast }}·\frac{\mathrm{\partial }{o}_t^{\ast }}{\mathrm{\partial }{s}_t^{\ast }}=V^{\mathrm{T}}\times (o_t-y_t)\ast s_t\ast (1-s_t)$
∂Lt∂s∗k−1=∂Lt∂s∗k⋅∂s∗k∂sk−1∗∂sk−1∂s∗k−1=sk−1∗(1−sk−1)∗WT×∂Lt∂s∗k(k=1,2,3...t)$\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }{s}_{k-1}^{\ast }}=\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }{s}_k^{\ast }}·\frac{\mathrm{\partial }{s}_k^{\ast }}{\mathrm{\partial }{s}_{k-1}}\ast \frac{\mathrm{\partial }{s}_{k-1}}{\mathrm{\partial }{s}_{k-1}^{\ast }}=s_{k-1}\ast (1-s_{k-1})\ast W^{\mathrm{T}}\times \frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }{s}_k^{\ast }}(k=1,2,\mathrm{3...}t)$

同理， ∂Lt∂U=∑tk=0∂Lt∂s∗k×xTk$\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }U}=\sum _{k=0}^t\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }{s}_k^{\ast }}\times x_k^{\mathrm{T}}$。

最后不同时刻的 ∂Lt∂U$\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }U}$要相加，得到最终的 ∂L∂U=∑t=nt=0∂Lt∂U$\frac{\mathrm{\partial }L}{\mathrm{\partial }U}=\sum _{t=0}^{t=n}\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }U}$

最后不同时刻的 ∂Lt∂W$\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }W}$要相加，得到最终的 ∂L∂W=∑t=nt=0∂Lt∂W$\frac{\mathrm{\partial }L}{\mathrm{\partial }W}=\sum _{t=0}^{t=n}\frac{\mathrm{\partial }{L}_t}{\mathrm{\partial }W}$