TensorFlow2教程完整教程目录(更有python、go、pytorch、tensorflow、爬虫、人工智能教学等着你):https://www.cnblogs.com/nickchen121/p/10840284.html

循环神经网络层

Sentiment Analysis

循环神经网络层

Proposal

循环神经网络层

  • Long sentence

100 + words
too much parameters[(w_N,b_N)]

  • No context information

consistent tensor

S1.Weight sharing

  • 类似于卷积的卷积核,卷积视野,权重分享

循环神经网络层

Naive version

循环神经网络层

Weight share

  • 权重分享

循环神经网络层

S2.Consistent memory

  • 需要一个东西存储语境,也就是每个单词的语境信息

循环神经网络层

  • 不断地对语境信息进行堆叠得到h5,直接使用h5作为判断标准

循环神经网络层

Unfolded model

循环神经网络层

  • 在时间轴上折叠,不断地更新h

循环神经网络层

Formulation

  • 通过激活函数tanh不断地叠加上个时间戳的信息

循环神经网络层

Overall Diagram

  • 全览分解图

循环神经网络层

One more thing

循环神经网络层

How to Train?

循环神经网络层