循环神经网络（Recurrent Neural Network, RNN）

总结自吴恩达老师的网易深度学习工程师微专业

1. 前向传播

$a^{t}=g^{(a)}(W_{aa}a^{<t-1>}+W_{ax}x^{<t>}+b_a)$
$hat y^{<t>}=g^{(y)}(W_{ya}a^{<t>}+b_y)$
or, 简化版
$a^{t}=g^{(a)}(W_a[a^{<t-1>}, x^{<t>}]+b_a)$
$hat y^{<t>}=g^{(y)}(W_ya^{<t>}+b_y)$

Note

1. 一般而言，初始**向量为：$a^{<0>}=vec0$
2. 通常，$g^{(a)}$选择$tanh$函数（$tanh$函数梯度消失的问题会用其他方式解决），有时也会选用$relu$函数。
3. $hat y^{<t>}=g^{(y)}(W_{ya}a^{<t>}+b_y)$如果是二分类问题，使用$sigmoid$函数，如果是多分类问题，可以使用$softmax$函数。

2. 损失函数

为了进行反向传播计算，使用梯度下降等方法来更新RNN的参数，我们需要定义一个损失函数，如下：
$L(hat y,y)=sum^{T_y}_{t=1}L^{<t>}(hat y^{<t>},y^{<t>})=sum^{T_y}_{t=1}-(y^{<t>}log(hat y^{<t>})+(1-y^{<t>})log(1-hat y^{<t>}))$

3. BPTT

RNN的反向传播将在后续部分有专门的介绍。