1.循环核:

人工智能实践:Tensorflow笔记16:循环神经网络

ht在每一时刻被更新,三个矩阵则是只有在反向传播的时候才更新。

循环核按照时间步展开:

人工智能实践:Tensorflow笔记16:循环神经网络

循环计算层:

人工智能实践:Tensorflow笔记16:循环神经网络

tf描述循环计算层:

人工智能实践:Tensorflow笔记16:循环神经网络

人工智能实践:Tensorflow笔记16:循环神经网络

onehot对单词进行编码时,过度浪浪费空间。

embedding:

人工智能实践:Tensorflow笔记16:循环神经网络