这一节讲RNN如何learning:

下面讲如何定义loss，举一个例子：

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

RNN同样可以用gradient descent来train：

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

因为同样的sequent在不同的时间点会被使用：

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

 

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

input(多个)-->output(一个)：

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

多对多：

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

出现叠词时，用CTC区分:

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

一些词的顺序可以被忽略：

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

encoder和decoder一起train：

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

RNN vs Structured Learning:

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））

【李宏毅】机器学习 笔记10（RNN——循环神经网络（Recurrent Neural Network）（下））