1）简单介绍

我们知道在机器学习领域中，传统的神经网络模型是从输入层到隐藏层再到输出层，层与层之间是全连接的，而每层之间的节点是无连接的，它的弊端我在这里就不再赘述。我们主要介绍RNN，他为什么称为循环神经网络呢？因为它的每一个输出序列都与前面的输出序列有关。具体表现在该网络会记录前面的信息并应用到当前输出的计算中，也就是说各隐藏层之间是有连接的，它的模型如下：

第一章 循环神经网络简介

第一章 循环神经网络简介

2）RNN能做什么？

RNN在NLP中的应用是非常成功的，如词向量表达、语句合法性检查、词性标注等。

语言模型与文本生成（Language Modeling and Generating Text）

机器翻译（Machine Translation）

语音识别（Speech Recognition）

图像描述生成（Generating Image Descriptions）

3）常见的RNN模型

Simple RNNs(SRNs)
Bidirectional RNNs(双向网络)

Deep(Bidirectional)RNNs

ESNs(回声状态网络)

GRUs

LSTMs

CW-RNNs：是一种使用时钟频率来驱动的RNNs