一. 循环神经网络 

1.场景与多种应用 

模仿论文

模仿linux内核代码“写程序”

模仿郭小四的写作

机器翻译

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

Image to text/看图说话

2.层级结构 

先了解神经网络,为什么有BP神经网络,CNN,还要RNN?

答:传统神经网络(包括CNN),输入和输出都是互相独立的。图像上的识别物体是分隔开的,但有些任务,后续的输出和之前的内容是相关的。
RNN引入了“记忆”的概念:
1)循环2字来源于其每个元素都执行相同的任务。
2)但是输出依赖于 输入 和 “记忆”。

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

3.多种RNN 

双向RNN

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

深层双向RNN:深层+双向

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

4.BPTT算法 

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

5.生成模型与图像描述 

生成模型:image to text

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

图片描述数据集:Microsoft COCO数据集:http://mscoco.org

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

二. LSTM 

1.长时依赖问题 :

1)看电影的时候,某些情节的推断需要依赖很久以前的一些细节。
2)很多其他的任务也一样。
3)很可惜随着时间间隔不断增大时,RNN 会丧失学习到连接如此远的信息的能力。
4)也就是说,记忆容量有限,一本书从头到尾一字不漏的去记,肯定离得越远的东西忘得越多。

2.“记忆细胞”与状态

细胞状态类似于传送带。直接在整个链上运行,只有一些少量的线性交互。信息在上面流传保持不变会很容易。

LTSM如何控制“记忆细胞”?

1)通过“门”让信息选择性通过,来去除或者增加信息到细胞状态
2)包含一个sigmoid神经网络层 和 一个pointwise乘法操作
3)Sigmoid 层输出0到1之间的概率值,描述每个部分有多少量可以通过。0代表“不许任何量通过”,1就指“允许任意量通过”

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

LSTM的几个关键“门”与操作

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

LTSM变体:

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理

3.GRU 

七月算法深度学习 第三期 学习笔记-第七节 循环神经网络与自然语言处理