【深度学习】循环神经网络

【深度学习】循环神经网络

一、前馈式神经网络

其中输出层和输出层是对外部可见的，而隐含层存在于神经网络的黑箱中外部看不见（这也是隐含层的含义。只要隐含层足够的可以趋近现实中任何的一个函数），每一个圆圈代表着一个神经元。

神经元：

我们可以看出来他会把这个神经元的所有输入进行一个加权的求和，求和之后会进行一个非线性的变换进行输出，加权的过程会有一个常数进行偏置，非线性函数我们通常称为**函数。

对于我们的神经网络来说一个神经网络就相当于一个巨大的复核函数神经元的层次越多，那么这个复合函数，复合的次数就越多，最终的表示形式越复杂。（我门只用到这个网络的结构，而不用这个函数的解析式）

二、什么是循环神经网络？

1.神经网络中的循环连接

如图，我们称每个神经网络中的连接为普通连接，当我们在神经元之间建立一个循环连接，让两个神经元构成环时，这就出现了循环这就叫循环网络。

2.循环网络和序列数据

循环网络主要用来处理离散序列数据（离散序列数据的特点：离散线性，长度可变）

循环网络可用于

• 序列数据分析（市场趋势预测）
• 序列数据生成（基于图片的是歌词创作）
• 序列数据的转换（语音识别，机器翻译）

三、循环网络的展示表示

在循环单元中我们可以看到，A 为算法，xt为输入，yt为输出。能看出在某一时刻的结果会反过来作用在神经网络中，形成一个循环，这就是一个简单的循环单元，我们可以理解为输入不只是xt，同时还包含这某一时刻的的输入。我们将其展开可以看出，这种展开后循环网络展开是没有环的，我们可以看出展开后的输出输出并不是连续的，可以明显的看书输入输出是分散在各个时刻上的，并不是x1时刻吧后面所有的输入全都输入，我们先输入x1然后得到了h1之后在进行x2的输入。

**函数，从sigmid变成tanh双曲正切函数（循环网络的输出是可选的）

四、自然语言处理

语言模型（给一个句子判断是生成的还是人话）时序的语音序列转化为读音，在有读音转化为实际的文字。但是读音到文字的过程中会有很多的奇异如图：

这样我们就可以认为这个人的古典文学的语言模型很差，这首诗的原来概率是1，他都没有识别。

将一个句子分成了很多子概率，这样就叫概率分解，但是如果句子很长的化，分解其实没有什么意义。这样就提出了下面的模型。但是二元文法也不太好。

语言模型的评价是通过困惑度来展示的：

的化，分解其实没有什么意义。这样就提出了下面的模型。但是二元文法也不太好。

语言模型的评价是通过困惑度来展示的：