一、总结

一句话总结：

(一)、GAN的主要灵感来源于博弈论中零和博弈的思想，应用到深度学习神经网络上来说，就是
(二)、**通过生成网络G（Generator）和判别网络D（Discriminator）不断博弈，进而使G学习到数据的分布**，
(三)、如果用到图片生成上，则训练完成后，G可以从一段随机数中生成逼真的图像。

 

 

1、对抗神经网络中的生成器和鉴别器分别作用是什么？

G是一个生成式的网络，它接收一个随机的噪声z（随机数），通过这个噪声生成图像
D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片

 

 

2、GAN对抗神经网络 的特点 是什么？

一、相比较传统的模型，他存在两个不同的网络，而不是单一的网络，并且训练方式采用的是对抗训练方式
二、GAN中G的梯度更新信息来自判别器D，而不是来自数据样本

 

 

3、GAN对抗神经网络模式崩溃(model collapse)原因：一般出现在GAN训练不稳定的时候，具体表现为生成出来的结果非常差，但是即使加长训练时间后也无法得到很好的改善？

一)、GAN采用的是对抗训练的方式，G的梯度更新来自D，所以G生成的好不好，得看D怎么说。
二)、具体就是G生成一个样本，交给D去评判，D会输出生成的假样本是真样本的概率（0-1），相当于告诉G生成的样本有多大的真实性，G就会根据这个反馈**不断改善自己，提高D输出的概率值**。
三)、但是如果某一次G生成的样本可能并不是很真实，但是D给出了正确的评价，或者是G生成的结果中一些特征得到了D的认可，这时候G就会认为我输出的正确的，
四)、那么接下来我就这样输出肯定D还会给出比较高的评价，实际上G生成的并不怎么样，但是他们两个就这样自我欺骗下去了，导致最终生成结果缺失一些信息，特征不全。

 

 

4、为什么GAN中的优化器不常用SGD？

I)、SGD容易震荡，容易使GAN训练不稳定，
II)、GAN的目的是在高维非凸的参数空间中找到纳什均衡点，GAN的纳什均衡点是一个鞍点，但是SGD只会找到局部极小值，因为SGD解决的是一个寻找最小值的问题，GAN是一个博弈问题。

 

 

5、为什么GAN不适合处理文本数据？

①)、文本数据相比较图片数据来说是离散的，因为对于文本来说，通常需要将一个词映射为一个高维的向量，最终预测的输出是一个one-hot向量
②)、另外就是GAN的损失函数是JS散度，JS散度不适合衡量不想交分布之间的距离。
③)、WGAN虽然使用wassertein距离代替了JS散度，但是在生成文本上能力还是有限，GAN在生成文本上的应用有seq-GAN,和强化学习结合的产物

 

 

6、训练GAN的一些技巧？

(I)、输入规范化到（-1，1）之间，最后一层的激活函数使用tanh（BEGAN除外）
(II)、使用wassertein GAN的损失函数，
(III)、避免使用RELU和pooling层，减少稀疏梯度的可能性，可以使用leakrelu激活函数
(IV)、优化器尽量选择ADAM，学习率不要设置太大，初始1e-4可以参考，另外可以随着训练进行不断缩小学习率，
输入规范化到（-1，1）之间，最后一层的激活函数使用tanh（BEGAN除外）
使用wassertein GAN的损失函数，
如果有标签数据的话，尽量使用标签，也有人提出使用反转标签效果很好，另外使用标签平滑，单边标签平滑或者双边标签平滑
使用mini-batch norm， 如果不用batch norm 可以使用instance norm 或者weight norm
避免使用RELU和pooling层，减少稀疏梯度的可能性，可以使用leakrelu激活函数
优化器尽量选择ADAM，学习率不要设置太大，初始1e-4可以参考，另外可以随着训练进行不断缩小学习率，
给D的网络层增加高斯噪声，相当于是一种正则

 

 

7、GAN的广泛应用？

*、GAN本身是一种生成式模型，所以在数据生成上用的是最普遍的，最常见的是图片生成，常用的有DCGAN WGAN，BEGAN，个人感觉在BEGAN的效果最好而且最简单。
*、GAN本身也是一种无监督学习的典范，因此它在无监督学习，半监督学习领域都有广泛的应用
*、不仅在生成领域，GAN在分类领域也占有一席之地，简单来说，就是替换判别器为一个分类器，做多分类任务，而生成器仍然做生成任务，辅助分类器训练。
*、目前比较有意思的应用就是GAN用在**图像风格迁移，图像降噪修复，图像超分辨率了，都有比较好的结果**。

 

 

 

二、GAN对抗神经网络（原理解析）

转自或参考：深度学习----GAN（生成对抗神经网络）原理解析
https://blog.csdn.net/Sakura55/article/details/81512600

一、原理部分

首先附上一张流程图
GAN对抗神经网络（原理解析）

 

 

1.1、 GAN的原理：

         GAN的主要灵感来源于博弈论中零和博弈的思想，应用到深度学习神经网络上来说，就是**通过生成网络G（Generator）和判别网络D（Discriminator）不断博弈，进而使G学习到数据的分布**，如果用到图片生成上，则训练完成后，G可以从一段随机数中生成逼真的图像。G， D的主要功能是：

         G是一个生成式的网络，它接收一个随机的噪声z（随机数），通过这个噪声生成图像

         D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可能是真实的图片
GAN对抗神经网络（原理解析）

 

 

        训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量辨别出G生成的假图像和真实的图像。这样，G和D构成了一个动态的“博弈过程”，最终的平衡点即纳什均衡点.

1.2、架构

GAN对抗神经网络（原理解析）

 

 

       通过优化目标，使得我们可以调节概率生成模型的参数$$theta$$，从而使得生成的概率分布和真实数据分布尽量接近。

       那么怎么去定义一个恰当的优化目标或一个损失？传统的生成模型，一般都采用数据的似然性来作为优化的目标，但GAN创新性地使用了另外一种优化目标。首先，它引入了一个判别模型（常用的有支持向量机和多层神经网络）。其次，它的优化过程就是在寻找生成模型和判别模型之间的一个纳什均衡。

       GAN所建立的一个学习框架，实际上就是生成模型和判别模型之间的一个模仿游戏。**生成模型的目的，就是要尽量去模仿、建模和学习真实数据的分布规律；而判别模型则是要判别自己所得到的一个输入数据，究竟是来自于真实的数据分布还是来自于一个生成模型。**通过这两个内部模型之间不断的竞争，从而提高两个模型的生成能力和判别能力。

GAN对抗神经网络（原理解析）

 

 

       ~  当一个判别模型的能力已经非常强的时候，如果生成模型所生成的数据，还是能够使它产生混淆，无法正确判断的话，那我们就认为这个生成模型实际上已经学到了真实数据的分布。

1.3、 GAN 的特点及优缺点：

特点

           相比较传统的模型，他存在两个不同的网络，而不是单一的网络，并且训练方式采用的是对抗训练方式

           GAN中G的梯度更新信息来自判别器D，而不是来自数据样本

优点

（以下部分摘自ian goodfellow 在Quora的问答）

           GAN是一种生成式模型，相比较其他生成模型（玻尔兹曼机和GSNs）只用到了反向传播,而不需要复杂的马尔科夫链

           相比其他所有模型, GAN可以产生更加清晰，真实的样本

           GAN采用的是一种无监督的学习方式训练，可以被广泛用在无监督学习和半监督学习领域

           相比于变分自编码器, GANs没有引入任何决定性偏置( deterministic bias),变分方法引入决定性偏置,因为他们优化对数似然的下界,而不是似然度本身,这看起来导致了VAEs生成的实例比GANs更模糊

           相比VAE, GANs没有变分下界,如果鉴别器训练良好,那么生成器可以完美的学习到训练样本的分布.换句话说,GANs是渐进一致的,但是VAE是有偏差的

           GAN应用到一些场景上，比如图片风格迁移，超分辨率，图像补全，去噪，避免了损失函数设计的困难，不管三七二十一，只要有一个的基准，直接上判别器，剩下的就交给对抗训练了。

缺点

           训练GAN需要达到纳什均衡,有时候可以用梯度下降法做到,有时候做不到.我们还没有找到很好的达到纳什均衡的方法,所以训练GAN相比VAE或者PixelRNN是不稳定的,但我认为在实践中它还是比训练玻尔兹曼机稳定的多

           GAN不适合处理离散形式的数据，比如文本

          GAN存在训练不稳定、梯度消失、模式崩溃的问题（目前已解决）

附：模式崩溃(model collapse)原因

          一般出现在GAN训练不稳定的时候，具体表现为生成出来的结果非常差，但是即使加长训练时间后也无法得到很好的改善。

          具体原因可以解释如下：
          GAN采用的是对抗训练的方式，G的梯度更新来自D，所以G生成的好不好，得看D怎么说。具体就是G生成一个样本，交给D去评判，D会输出生成的假样本是真样本的概率（0-1），相当于告诉G生成的样本有多大的真实性，G就会根据这个反馈**不断改善自己，提高D输出的概率值**。但是如果某一次G生成的样本可能并不是很真实，但是D给出了正确的评价，或者是G生成的结果中一些特征得到了D的认可，这时候G就会认为我输出的正确的，那么接下来我就这样输出肯定D还会给出比较高的评价，实际上G生成的并不怎么样，但是他们两个就这样自我欺骗下去了，导致最终生成结果缺失一些信息，特征不全。
GAN对抗神经网络（原理解析）

 

 

                                         局部极小值点

GAN对抗神经网络（原理解析）

 

 

                     鞍点

二、为什么GAN中的优化器不常用SGD

  1. SGD容易震荡，容易使GAN训练不稳定，

  2. GAN的目的是在高维非凸的参数空间中找到纳什均衡点，GAN的纳什均衡点是一个鞍点，但是SGD只会找到局部极小值，因为SGD解决的是一个寻找最小值的问题，GAN是一个博弈问题。

三、为什么GAN不适合处理文本数据

  1. 文本数据相比较图片数据来说是离散的，因为对于文本来说，通常需要将一个词映射为一个高维的向量，最终预测的输出是一个one-hot向量，假设softmax的输出是（0.2， 0.3， 0.1，0.2，0.15，0.05）那么变为onehot是（0，1，0，0，0，0），如果softmax输出是（0.2， 0.25， 0.2， 0.1，0.15，0.1 ），one-hot仍然是（0， 1， 0， 0， 0， 0），所以对于生成器来说，G输出了不同的结果但是D给出了同样的判别结果，并不能将梯度更新信息很好的传递到G中去，所以D最终输出的判别没有意义。

  2. 另外就是GAN的损失函数是JS散度，JS散度不适合衡量不想交分布之间的距离。

（WGAN虽然使用wassertein距离代替了JS散度，但是在生成文本上能力还是有限，GAN在生成文本上的应用有seq-GAN,和强化学习结合的产物）

四、训练GAN的一些技巧

  1. 输入规范化到（-1，1）之间，最后一层的激活函数使用tanh（BEGAN除外）

  2. 使用wassertein GAN的损失函数，

  3. 如果有标签数据的话，尽量使用标签，也有人提出使用反转标签效果很好，另外使用标签平滑，单边标签平滑或者双边标签平滑

  4. 使用mini-batch norm， 如果不用batch norm 可以使用instance norm 或者weight norm

  5. 避免使用RELU和pooling层，减少稀疏梯度的可能性，可以使用leakrelu激活函数

  6. 优化器尽量选择ADAM，学习率不要设置太大，初始1e-4可以参考，另外可以随着训练进行不断缩小学习率，

  7. 给D的网络层增加高斯噪声，相当于是一种正则

GAN的变种

自从GAN出世后，得到了广泛研究，先后几百篇不同的GANpaper横空出世，国外有大神整理了一个GAN zoo（GAN动物园），链接如下，感兴趣的可以参考一下：

https://github.com/hindupuravinash/the-gan-zoo

GitHub上已经1200+star了，顺便附上一张GAN的成果图，可见GAN的研究火热程度：

五、GAN的广泛应用

  1. GAN本身是一种生成式模型，所以在数据生成上用的是最普遍的，最常见的是图片生成，常用的有DCGAN WGAN，BEGAN，个人感觉在BEGAN的效果最好而且最简单。

  2. GAN本身也是一种无监督学习的典范，因此它在无监督学习，半监督学习领域都有广泛的应用

  3. 不仅在生成领域，GAN在分类领域也占有一席之地，简单来说，就是替换判别器为一个分类器，做多分类任务，而生成器仍然做生成任务，辅助分类器训练。

  4. GAN可以和强化学习结合，目前一个比较好的例子就是seq-GAN

  5. 目前比较有意思的应用就是GAN用在**图像风格迁移，图像降噪修复，图像超分辨率了，都有比较好的结果**。

  6. 目前也有研究者将GAN用在对抗性攻击上，具体就是训练GAN生成对抗文本，有针对或者无针对的欺骗分类器或者检测系统等等，但是目前没有见到很典范的文章。

参考文献：

https://github.com/hindupuravinash/the-gan-zoo
https://blog.csdn.net/qq_25737169/article/details/78857724#t0
https://www.jianshu.com/p/80bd4d4c2992