学习序列模型rnn实现从X到Y的映射。

最简单的NN模型,将九个输入变量输出9个0或1的结果。

但是这样不好,因为输入输出长度不一定相同。

单纯的神经网络并不能分享从不同位置学到的特征。如识别不同位置的人名。

RNN

读到第二个单词时候不是只通过当前的词x<2>就预测出y<2> 的,

也会输入一些来自时间步(time-step)1的信息。时间步1的**值就会传递到时间步2。

循环神经网络模型RNN

one-hot向量~如上

输入下一个单词x<3>,rnn试图预测y<3>。

rnn传递一个**值到下一个时间步用于计算。

初始化a<0>有很多方法。如赋值为0。

循环神经网络模型RNN

循环神经网络模型RNN(一些文章中这样表示循环神经网络但是没有上面展开的图清晰)

每一步使用相同的参数w_ax,

**值,也就是水平参数,是由参数w_aa决定的,

每一个time-step使用相同的w_aa。

每一个输出由w_ya决定。

rnn的缺点是只用到了当前预测节点之前的输入的信息。位于其之后的输入信息都没有被利用。

循环神经网络模型RNN

某一时刻的预测没有使用序列后部分的信息。可以使用双向循环神经网络(BRNNs)解决这个问题。

整洁版rnn:

循环神经网络模型RNN

首先输入零向量a0。为了计算a1,使用**函数g

rnn使用的**函数经常是tanh,reLU也会用但前者更常用。

使用何种**函数取决与问题种类。

二分类:sigmoid

k类别分类:softmax

命名体识别(输出是0或1):sigmoid

计算a<1>、y<1>标准式

循环神经网络模型RNN

通用计算公式:

循环神经网络模型RNN

简化符号:循环神经网络模型RNN

把waa,wax合并成一个矩阵。

如waa是100x100,wax是100x10000

所以wa是100x10100的矩阵。

循环神经网络模型RNN

a<t-1>与x<t>竖着摞起来。

循环神经网络模型RNN

总体:

循环神经网络模型RNN

正确。

重写输出y<t>的表达式:循环神经网络模型RNN