李宏毅深度学习笔记05—RNN 循环神经网络02

1.案例引出

 

 

RNN-based network 总是不容易学习。

下图展示了语言模型的损失函数与训练周期的关系。蓝色是理想的损失函数走势图，绿色是实际试验中可能出现的损失值。

损失函数存在突变的现象：

下图中可见Loss 函数的变化情况，左侧的损失函数较大，右侧的损失函数较小，存在剧烈变化的现象。

解决方案：

LSTM可以处理梯度消失。原理分析如下图所示。

2.LSTM的应用

(1)情感分析---Many to one 多对1

输入一个向量序列，输出是一个向量。

 

(2)关键术语抽取 Key  Term  extraction 

(3)Semantic tagging 语义标注

利用模型融合

3.Attention-based Model 注意力模型