一、引入

fGAN结论:不只是JS Div,任何的Div(统称为f-Div)都可以被放到GANs架构中,引出WGAN。

生成对抗网络GAN(五)WGAN(Wasserstein GAN)及其改进

二、WGAN

该论文介绍了一种新的算法,它是传统GAN训练的一种替代。在这个新的模型中,证明了可以提高学习的稳定性,摆脱像模式崩溃这样的问题,并且提供了对调试和超参数搜索有用的有意义的学习曲线。供了大量的理论工作,强调了分布之间的深度联系。 

论文阐述了JS散度的缺陷,大多数情况下,P_G与P_Data并不会重叠(overlapped),原因:

生成对抗网络GAN(五)WGAN(Wasserstein GAN)及其改进

1.数据本质,在分布函数中,P_G与P_Data是高维空间的低维流形(manifold),如图P_G与P_Data为两条曲线时,其重叠部分可以忽略不计。

2.抽样数据,由于采样(Sampling)具有局限性,故不能代表数据的真实分布。

生成对抗网络GAN(五)WGAN(Wasserstein GAN)及其改进

JS公式: ????????(????|????=????????????????(????(x)||????????+????????????)+????????????????(????(????)||????????+????????????)得知JS(P||Q)=1/2 KL(P(x)||(P(x)+Q(x))/2)+1/2 KL(Q(x)||(P(x)+Q(x))/2)得知JS散度无法逐步下降,当且仅当G生成的DataReal Data非常接近时,JS散度为0

 论文提出了Wasserstein距离解决以上问题,对于离散的概率分布,Wasserstein距离又称为推土机距离(Earth Mover’s Distance ,EMD)。

 

生成对抗网络GAN(五)WGAN(Wasserstein GAN)及其改进

当下图的左边想要移动为右边一样的分布时,

生成对抗网络GAN(五)WGAN(Wasserstein GAN)及其改进

可以采用这样的策略(moving plan):

生成对抗网络GAN(五)WGAN(Wasserstein GAN)及其改进

甚至这样:

生成对抗网络GAN(五)WGAN(Wasserstein GAN)及其改进

 

穷举所有解,求Best moving plan。将Best moving plan问题转化:P移动到Q的数量可以看作矩阵(Matrix),Best moving plan转化为求最优矩阵的问题。

 

生成对抗网络GAN(五)WGAN(Wasserstein GAN)及其改进

WGAN基于GAN模型,在计算????_????  与 ????_???????????????? 的距离时,用Wasserstein距离代替了JS散度,实现了小步伐迭代更新权重参数。

生成对抗网络GAN(五)WGAN(Wasserstein GAN)及其改进

三、WGAN-GP

WGANclip函数用于限制判别器,使之收敛于1-Lipschitz.

生成对抗网络GAN(五)WGAN(Wasserstein GAN)及其改进

WGAN并没有做到,而是使用标量c控制。 WGAN-GP添加gradient penalty梯度惩罚使之收敛于1-Lipschitz。

四、实验结果

生成对抗网络GAN(五)WGAN(Wasserstein GAN)及其改进