一、GAN部分应用

1.图像生成 Training Examples -> Model Samples

2.视频应用

3.图片超精度变换

4.图图变换

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

二、GAN的简单理解

1. 从autoencoder讲起的生成模型

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

2. MSE存在一些问题

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

3.简单的设想

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN 

4. 迭代与进化 Generator + Discriminator = GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

三、GAN原理介绍

1、前方高能

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

Attention: 评估训练好坏,并不能通过loss的大小来衡量!

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

2. 各种变种GAN:

1) 基于GAN的最优化修改:fGAN、WGAN、Least-square GAN、 Loss Sensitive GAN、 Energy-based GAN、 Boundary-seeking GAN、 Unroll GAN.....

2) 基于GAN的结构修改: Conditional GAN、 Semi-supervised GAN、 InfoGAN、 BiGAN、Cycle GAN、 Disco GAN、 VAE-GAN......

四、DCGAN实践:

1)Discrinator:就是一个CNN的分类器,输入是28*28*1的手写数字图像,输出是一个0-1的概率。结构如下,**函数用的leaky ReLU,dropout取0.4-0.7之间。

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

2)Generator:从100维的随机向量去生成一张28*28*1的图片,我们会用到 反卷积/转置卷积(transposed convolution),用的ReLU**函数,dropout使用的0.3-0.5之间,同时使用了BN层,使得训练能正常进行。

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

3)Adversarial Model:把上面的生成模型和分类模型合并在一起形成一个对抗模型。

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

4)Training:先训练Discriminator,然后迭代交替训练generator和discriminator。

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN

5)Result

七月算法深度学习 第三期 学习笔记-第五节 生成对抗网络GAN