1)简单介绍

我们知道在机器学习领域中,传统的神经网络模型是从输入层到隐藏层再到输出层,层与层之间是全连接的,而每层之间的节点是无连接的,它的弊端我在这里就不再赘述。我们主要介绍RNN,他为什么称为循环神经网络呢?因为它的每一个输出序列都与前面的输出序列有关。具体表现在该网络会记录前面的信息并应用到当前输出的计算中,也就是说各隐藏层之间是有连接的,它的模型如下:

第一章 循环神经网络简介

第一章 循环神经网络简介

2)RNN能做什么?

RNN在NLP中的应用是非常成功的,如词向量表达、语句合法性检查、词性标注等。

语言模型与文本生成(Language Modeling and Generating Text)

机器翻译(Machine Translation)

语音识别(Speech Recognition)

图像描述生成(Generating Image Descriptions)

3)常见的RNN模型

Simple RNNs(SRNs)
Bidirectional RNNs(双向网络)

Deep(Bidirectional)RNNs

ESNs(回声状态网络)

GRUs

LSTMs

CW-RNNs:是一种使用时钟频率来驱动的RNNs