系列博客是博主学习神经网络中相关的笔记和一些个人理解,仅为作者记录笔记之用,不免有很多细节不对之处。

回顾

前面五小节,我们简单学习了卷积神经网络(CNN)反向传播算法的推导,然后我们自己实现了一个浅层卷积神经网络。卷积神经网络在本系列中先告一段落,我们开始学习循环神经网络的相关知识。本系列的主旨是基础学习,大致了解各个神经网络的基本原理。至于更深的应用,我们留待以后学习。

正向传播

网上关于RNN的介绍非常多,我们这里就不多啰嗦了(主要博主也是似懂非懂),直接进入它的公式部分。为了方便理解,咱们还是以一个直观RNN的展开图开始

神经网络学习(十八)循环神经网络(RNN)的正向和反向传播算法梳理

就上面的网络结构而言,RNN结构的基本单元可以看作是简单的三层神经网络(也可以是多层的,为了简单起见,以三层为例),与常规的神经网络不同的地方在于,它的隐层会将上一个时刻的隐层输出纳入到当前时刻隐层的输入中,这样就携带了过往时刻的相关信息了。下面是公式的对比

BP Net RNN
input layer a=x at=xt
hidden layer zh=Va+bhh=σ(zh) zht=Vat+Uhht1+bhht=σ(zht)[tanh]
output layer zy=Wh+byy=σ(zy) zyt=Wht+byyt=σ(zyt)

结合上图,RNN的正向传播算法就很好理解了。RNN的输入是序列数据,需要训练的模型参数有 VWUbhby。下图为某时刻隐层单元的结构示意图

神经网络学习(十八)循环神经网络(RNN)的正向和反向传播算法梳理

反向传播

C=f(W,U,V,bh,bh)是我们的代价函数,依旧记 δ=C/z 为误差。那么有

(1)δyt=ytCσ(zyt)

,由上式可推导出

(2)δht=Czht=Czytzyththtzht+Czyt+1zyt+1hthtzht=(WTδyt+UTδht+1)σ(zht)

上面表红的地方是因为下一个时刻的 zt+1 也需要当前时刻的 ht。有了 δ的表达式,我们就可以很容易计算出模型参数的梯度,如下:

(3)CW=CzytzytW=(ht)Tδyt

(4)CV=CzhtzhtW=aTδht

(5)CU=CzhtzhtU=(ht1)Tδht

(6)Cbh=δht,Cby=δyt

通过矩阵的写法,反向传播算法的表述十分简洁清晰。利用公式(1)-(6)我们就可以实现误差的反向传播了。

小结

上面简单总结了通用的RNN模型和正向反向传播算法。当然,有些RNN模型会有些不同,自然正向反向传播的公式会有些不一样,但是原理基本类似。

RNN虽然理论上可以很漂亮的解决序列数据的训练,但是它也像DNN一样有梯度消失时的问题,当序列很长的时候问题尤其严重。因此,上面的RNN模型一般不能直接用于应用领域。

参考资料:
1、循环神经网络RNN以及LSTM的推导和实现