[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

 

双向RNN

[李宏毅-机器学习]循环神经网络 RNN

 

LSTM

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

将xt（向量）使用线性变换为z（向量），其中z的维度就是cell的数目，将每个维度（scale）单独输入到每个cell

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

得到每个词的词性

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

clipping 梯度裁剪

当梯度大于阈值的时候，遗弃或缩小该梯度 

[李宏毅-机器学习]循环神经网络 RNN

由于时间的叠加，权重小的变化，会因此梯度剧烈的变动

[李宏毅-机器学习]循环神经网络 RNN

 

[李宏毅-机器学习]循环神经网络 RNN

 

 

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

 

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN

[李宏毅-机器学习]循环神经网络 RNN