循环神经网络 (Recurrent Neural Network)的训练

训练一个神经网络就是训练该网络的各个参数（各个连接的权重）。

 

训练的思想大致为：

1. 用训练样本的真实值和预测值的差异建立目标函数。显然，目标函数值越小越好。当训练样本给定之后，目标函数实为各个参数（各个连接）的函数。

2. 最小化目标函数，得对应于相应训练样本的可使目标函数最小的参数。用这些参数来建模去预测别的样本。

 

最小化目标函数一般采用梯度下降方法。梯度下降方法的一般思想为：

1. 给定初始的参数值。

2. 使参数沿着目标函数梯度下降的方向（目标函数值变小最快的方向）试探着变化，即。是目标函数在x处的梯度。对于一元函数，就是的导数。对于二元目标函数，应该考虑其在处的梯度，为。

3. 直到目标函数值够小或者试探的次数达到。

以下为普通循环网络权重的训练：