虚构的对抗:GAN with the wind

本文授权转载自:老顾谈几何

作者:顾险峰

编辑:韩蕊


在过去的两三年中,对抗生成网络(Generative Adersarial Network GAN)获得了爆炸式的增长,其应用范围几乎涵盖了图像处理和机器视觉的绝大多数领域。其精妙独到的构思,令人拍案叫绝;其绚烂逼真的效果,令众生颠倒。一时间对抗生成网络引发了澎湃汹涌的技术风潮,纳什均衡的概念风靡了整个人工智能领域。

 Goodfellow于2014年提出了GAN的概念,他的解释如下:GAN的核心思想是构造两个深度神经网络:判别器D和生成器G,用户为GAN提供一些真实货币作为训练样本,生成器G生成假币来欺骗判别器D,判别器D判断一张货币是否来自真实样本还是G生成的伪币;判别器和生成器交替训练,能力在博弈中同步提高,最后达到平衡点的时候判别器无法区分样本的真伪,生成器的伪造功能炉火纯青,生成的货币几可乱真。这种阴阳互补,相克相生的设计理念为GAN的学说增添了魅力。

GAN模型的优点来自于自主生成数据。机器学习的关键在于海量的数据样本,GAN自身可以生成不尽的样本,从而极大地减少了对于训练数据的需求,因此极其适合无监督学习;GAN的另外一个优点是对于所学习的概率分布要求非常宽泛,这一概率分布由训练数据的测度分布来表达,不需要有显式的数学表示。


GAN虽然在工程实践中取得巨大的成功,但是缺乏严格的理论基础。大量的几何假设,都是仰仗似是而非的观念;其运作的内在机理,也是依据肤浅唯像的经验解释。丘成桐先生率领团队在学习算法的基础理论方面进行着不懈的探索。我们用最优传输(Optimal mass Transportation)理论框架来阐释对抗生成模型,同时用凸几何(Convex Geometry)的基础理论来为最优传输理论建立几何图景。通过理论验证,我们发现关于对抗生成模型的一些基本观念有待商榷:理论上,Wasserstein GAN中生成器和识别器的竞争是没有必要的,生成器网络和识别器网络的交替训练是徒劳的,此消彼长的对抗是虚构的。最优的识别器训练出来之后,生成器可以由简单的数学公式所直接得到。详细的数学推导和实验结果可以在图7中找到。

下面,我们就这一观察展开详细论述。我们首先分析WGAN的理论框架;然后简介最优传输理论,解释生成器和判别器的主要任务;我们再介绍凸几何中的基本定理,解释凸几何和最优传输的内在联系,用计算几何的语言来解释最优传输框架下的基本概念;初步试验结果比较了WGAN和几何方法;最后我们进行一些扼要的讨论。

规模宏大的随机数生成器

大家对于随机数的生成原理耳熟能详,GAN本质上可以被视作是一个规模宏大的随机数生成器。我们考察最为简单的线性同余生成算法

虚构的对抗:GAN with the wind

这里虚构的对抗:GAN with the wind是比较大的整数,那么虚构的对抗:GAN with the wind构成了单位区间上的均匀分布(uniform distributed)伪随机数。我们再来生成单位圆盘上的高斯分布的随机采样点:首先生成虚构的对抗:GAN with the wind,然后定义映射

虚构的对抗:GAN with the wind

由此可见,我们可以通过一个变换将均匀分布变换成高斯分布。如果我们将概率分布看成是某种质量密度,映射会带来面积的变化,因此带来密度的变化,这样就从一种概率分布变换成另外一种概率分布。虚构的对抗:GAN with the wind图2. GAN本质上是将一种概率分布(高斯分布)变成另外一种概率分布(人脸图像)。

在图像生成应用中,GAN模型本质上就是将一种固定的概率分布,例如均匀分布或者高斯分布,变换成训练数据所蕴含的概率分布,例如人脸图像的分布。GAN的理想数学模型如下:我们将所有虚构的对抗:GAN with the wind图像构成一个空间,记为图像空间虚构的对抗:GAN with the wind,每一张图像看成是空间中的一个点,虚构的对抗:GAN with the wind。我们用虚构的对抗:GAN with the wind来表示图片虚构的对抗:GAN with the wind是否表达一张人脸的概率,那么虚构的对抗:GAN with the wind就是GAN要学习的目标概率测度。在工程实践中,我们只有一些人脸图像的样本虚构的对抗:GAN with the wind,这些样本构成了经验分布作为虚构的对抗:GAN with the wind的近似。经验分布的公式表达为:

       虚构的对抗:GAN with the wind

绝大多数图片并不是人脸图像,因此虚构的对抗:GAN with the wind的支撑集合

虚构的对抗:GAN with the wind

是图像空间中的一个子流形,虚构的对抗:GAN with the wind的维数远远小于图像空间虚构的对抗:GAN with the wind的维数。支撑集流形的参数空间等价于特征空间,或者隐空间(latent space)虚构的对抗:GAN with the wind。编码映射(encoding
map)就是将虚构的对抗:GAN with the wind映到特征空间,解码映射(decoding map)就是将特征空间映到支撑集流形虚构的对抗:GAN with the wind

虚构的对抗:GAN with the wind 图3. WGAN【3】的理论框架。

假设在隐空间有一个固定的概率分布虚构的对抗:GAN with the wind,例如高斯分布或者均匀分布。我们用一个深度神经网络虚构的对抗:GAN with the wind来逼近解码映射虚构的对抗:GAN with the wind虚构的对抗:GAN with the wind虚构的对抗:GAN with the wind映成了图像空间中的概率分布

虚构的对抗:GAN with the wind

我们称虚构的对抗:GAN with the wind为生成分布。判别器的核心任务是计算训练数据分布虚构的对抗:GAN with the wind和生成分布虚构的对抗:GAN with the wind之间的距离;生成器的目的在于调节虚构的对抗:GAN with the wind使得生成分布虚构的对抗:GAN with the wind尽量接近数据分布虚构的对抗:GAN with the wind。那么,如何计算分布间的距离呢?如何最优化映射呢?这需要用到最优传输理论。

最优传输理论梗概

给定带有概率测度的空间虚构的对抗:GAN with the wind虚构的对抗:GAN with the wind,具有相同的总质量,虚构的对抗:GAN with the wind。一个映射虚构的对抗:GAN with the wind被称为是保持测度,如果对于一切可测集合虚构的对抗:GAN with the wind,我们都有

虚构的对抗:GAN with the wind

记为虚构的对抗:GAN with the wind。给定距离函数虚构的对抗:GAN with the wind,代表两点间的某种距离,传输映射的传输代价函数为:

虚构的对抗:GAN with the wind

蒙日问题 法国数学家蒙日于18世纪提出了最优传输映射问题:如何找到保测度的映射,使得传输代价最小,

虚构的对抗:GAN with the wind

这种映射被称为是最优传输映射(Optimal Mass Transportation Map)。最优传输映射对应的传输代价被称为是概率测度之间的Wasserstein距离:

虚构的对抗:GAN with the wind

Kantorovich 对偶问题 Kantorovich证明了蒙日问题解的存在性唯一性,并且发明了线性规划(Linear Programming),为此于1975年获得了诺贝尔经济奖。由线性规划的对偶性,Kantorovich给出了Wasserstein距离的对偶方法:

虚构的对抗:GAN with the wind

等价的,我们将虚构的对抗:GAN with the wind换成虚构的对抗:GAN with the wind的c-变换,虚构的对抗:GAN with the wind,那么Wasserstein距离为:

虚构的对抗:GAN with the wind

这里虚构的对抗:GAN with the wind被称为是Kantorovich势能

虚构的对抗:GAN with the wind

WGAN模型 在WGAN【3】中,判别器计算测度间的Wasserstein距离就是利用上式:这里距离函数为虚构的对抗:GAN with the wind,可以证明如果Kantorovich势能为1-Lipsitz,那么虚构的对抗:GAN with the wind。这里Kantorovich势能由一个深度神经网络虚构的对抗:GAN with the wind来计算,记为虚构的对抗:GAN with the wind。Wasserstein距离为

虚构的对抗:GAN with the wind

生成器极小化Wasserstein距离,虚构的对抗:GAN with the wind。所以整个WGAN进行极小-极大优化:

虚构的对抗:GAN with the wind

生成器极大化,判别器极小化,各自由一个深度网络交替完成。在优化过程中,解码映射虚构的对抗:GAN with the wind和Kantorovich势能函数虚构的对抗:GAN with the wind彼此独立。

Brenier方法 Brenier理论【4】表明,如果距离函数为 虚构的对抗:GAN with the wind,那么存在凸函数虚构的对抗:GAN with the wind,被称为是Brenier势能,最优传输映射由Brenier势能的梯度映射给出,虚构的对抗:GAN with the wind。由保测度条件虚构的对抗:GAN with the wind,Brenier势能函数满足所谓的蒙日-安培方程:

虚构的对抗:GAN with the wind 

关键在于,Brenier势能和Kantorovich势能满足简单的关系:

虚构的对抗:GAN with the wind

判别器计算Kantorovich势能,生成器计算Brenier势能。在实际优化中,判别器优化后,生成器可以直接推导出来,不必再经过优化过程。

凸几何理论梗概

最优传输的Brenier理论和凸几何理论中的Alexandrov定理彼此等价,它们都由蒙日-安培方程来刻画。

虚构的对抗:GAN with the wind

图4. Minkowski问题和Alexandrov问题

Minkowski 定理 如图4所示,左帧显示了经典的Minkowski定理:给定每个面的法向量和面积虚构的对抗:GAN with the wind,满足条件虚构的对抗:GAN with the wind,那么凸多面体虚构的对抗:GAN with the wind存在,并且彼此相差一个平移。这一定理在任意维欧氏空间都成立。

Alexandrov 定理 右帧显示了Alexandrov定理【2】:假设虚构的对抗:GAN with the wind是平面上的一个凸区域,虚构的对抗:GAN with the wind是开放凸多面体,每个面的法向量虚构的对抗:GAN with the wind给定,每个面在虚构的对抗:GAN with the wind上的投影面积虚构的对抗:GAN with the wind给定,满足虚构的对抗:GAN with the wind,那么凸多面体虚构的对抗:GAN with the wind存在,并且彼此相差一个垂直平移。这一定理在任意维欧氏空间都成立。Alexandrov于1950年代证明了这个定理,他的证明是基于代数拓扑的抽象存在性方法,无法转化成构造性算法。

变分原理 我们在【6】中给出了一个基于变分原理的构造性算法。假设第i个面的梯度虚构的对抗:GAN with the wind给定,高度虚构的对抗:GAN with the wind未知,这个面的方程为虚构的对抗:GAN with the wind。这些面的上包络(upper
envelope)构成了Alexandrov凸多面体虚构的对抗:GAN with the wind,也是凸分片线性函数

虚构的对抗:GAN with the wind

的图(graph),这里向量虚构的对抗:GAN with the wind代表所有支撑平面的高度。上包络虚构的对抗:GAN with the wind向平面投影,得到的一个胞腔分解,

虚构的对抗:GAN with the wind 

胞腔虚构的对抗:GAN with the wind是第i个面在虚构的对抗:GAN with the wind上的投影,其面积记为虚构的对抗:GAN with the wind。那么,我们定义Alexandrov势能为:

虚构的对抗:GAN with the wind

可以证明Alexandrov势能为凹函数,其极大值点给出的高度,就是Alexandrov定理中的解。

Alexandrov定理和最优传输

虚构的对抗:GAN with the wind

图5. Alexandrov定理和最优传输映射。

凸几何中的Alexandrov定理和最优传输理论中的Brenier定理本质是一致的,如图5所示,带测度的源区域为虚构的对抗:GAN with the wind,目标为带狄拉克测度的离散点集

虚构的对抗:GAN with the wind,

我们构造一个Alexandrov凸多面体,每个面的投影面积满足 虚构的对抗:GAN with the wind,那么这个凸多面体对应的分片线性凸函数虚构的对抗:GAN with the wind就是Brenier势能函数,梯度映射虚构的对抗:GAN with the wind

虚构的对抗:GAN with the wind

就是最优传输映射,Alexandrov势能函数就是传输代价,也等价于Wasserstein距离,即虚构的对抗:GAN with the wind

计算几何的语言

虚构的对抗:GAN with the wind

图6. Power Diagram

Brenier定理和Alexandrov定理可以用计算几何中人所周知的Power Diagram语言来描述,这样有利于进一步理解和算法设计。如图6所示,我们为每个目标点虚构的对抗:GAN with the wind配上一个红色的小圆虚构的对抗:GAN with the wind,半径的平方被称为是power
权重。那么power距离定义为

虚构的对抗:GAN with the wind

由此,我们定义Power Diagram  虚构的对抗:GAN with the wind,这里

虚构的对抗:GAN with the wind

通过调节power 权重,我们可以使得每个胞腔的测度虚构的对抗:GAN with the wind等于虚构的对抗:GAN with the wind。综上所述,我们有如下最优传输的几何解释:

  1. 生成器:最优映射等价于Power胞腔分解,将每个胞腔虚构的对抗:GAN with the wind映到虚构的对抗:GAN with the wind,请点击此处输入图片描述
  2. 判别器:Wasserstein距离中虚构的对抗:GAN with the wind中的虚构的对抗:GAN with the wind等于power
    权重,请点击此处输入图片描述
  3. 判别器:Wasserstein距离Kantorovich势能虚构的对抗:GAN with the wind等于power距离,虚构的对抗:GAN with the wind请点击此处输入图片描述
  4. 生成器:Brenier势能等于Power Diagram的上包络。

初步实验设计和结果

WGAN的主要功能有两个:

1. 编码、解码实现从隐空间到图像空间的变换

2. 概率测度的变换

这两个任务都是高度非线性的,关于测度变换数学上已经建立了严格的基础理论,我们可以进行定量研究;关于从隐空间到图像空间的变换,目前的理论基础比较薄弱,我们只能进行定性比较。

为此,我们设计了两个尽可能简单的实验,来分别验证这两个功能:

测度变换实验 给定实验数据分布 虚构的对抗:GAN with the wind,我们的几何算法给出了精确解,我们试图用WGAN来解决同样的问题,进行详细比较。为了排除编码、解码映射的影响,我们设计隐空间和图像空间重合,因此WGAN只计算了测度变换。

我们在这里,进行了两个实验,第一个实验的训练样本只有一个团簇,WGAN的生成分布和数据分布吻合得非常好。

虚构的对抗:GAN with the wind图7. WGAN计算结果

为了可视化计算结果,我们在平面上设计了非常简单的实验,隐空间的概率分布为均匀分布。如图7所示,蓝色点代表数据样本,橙色点代表WGAN生成的样本。数据样本分成两个团簇,符合Gaussain Mixture的分布。我们看到WGAN最后的学习结果并不令人满意,橙色点的分布和蓝色点的分布相距甚远。

虚构的对抗:GAN with the wind

图8.几何方法计算结果

图8显示了几何方法生成的结果:每个胞腔映到一个具有同样颜色数据样本,上包络的面和它的投影胞腔具有同样的颜色。我们可以看到,首先最优传输映射将单位圆盘映射到所有的数据样本;其次,所有的power 胞腔都具有相同的面积,这意味着几何方法完美地生成了经验分布 虚构的对抗:GAN with the wind 。我们注意到,Brenier势能函数(上包络)有一个尖脊,将梯度分成了两个团簇,因此能够处理多个团簇的分布逼近问题。

我们认为基本原因如下:WGAN用深度神经网络来构造测度变换映射,深度神经网络所能表达的函数为线性映射和ReLu的复合,因此必为连续映射。但是,由于数据样本构成为多个团簇,真正的最优传输映射必是非连续的映射,因此问题的解并不包含在深度神经网络构成的泛函空间中。

虚构的对抗:GAN with the wind

图9. 弥勒佛曲面

虚构的对抗:GAN with the wind

图10. 几何方法构造的编码映射:左侧是保角变换,右侧是保面积映射,两者之间相差一个最优传输映射。

解码映射 我们设计的第二个实验更为复杂。我们将三维欧氏空间虚构的对抗:GAN with the wind视为图像空间,弥勒佛曲面作为子流形虚构的对抗:GAN with the wind,二维欧氏平面作为隐空间虚构的对抗:GAN with the wind。我们的目的是做一个生成器,生成在曲面上的均匀分布。这里,子流形的几何比较复杂,我们先用几何中的Ricci流【5】的方法计算编码映射,将曲面映入到特征空间上,
映射将曲面的面元映到隐平面上面, 诱导了平面上的测度由曲面的共形因子来描述,如图10左帧所示。然后,我们计算隐空间到自身的最优传输映射,将均匀分布映射到由曲面共形因子定义的概率测度(即曲面上的面元),这样就得到从曲面到隐平面的保面元映射,得到图10右帧所示。

虚构的对抗:GAN with the wind

虚构的对抗:GAN with the wind

图11. 共形映射诱导的曲面上非均匀分布。

虚构的对抗:GAN with the wind

虚构的对抗:GAN with the wind

图12. 最优传输映射诱导的曲面上均匀分布。

从图11我们看到,隐空间上的均匀分布被共形映射拉回到虚构的对抗:GAN with the wind上,不再是均匀分布;图12显示,复合了最优传输映射之后,隐空间上的均匀分布被保面元映射拉回到虚构的对抗:GAN with the wind上依然是均匀分布。由此,我们用几何方法构造了曲面虚构的对抗:GAN with the wind上均匀分布的生成器。

但是,我们用同样的数据样本来训练WGAN模型,但是很难得到有意义的结果。如果读者有兴趣用其他深度学习模型进行研究探索,我们非常乐于分享这些数据,共同探讨提高。

讨论

在最优传输理论中,如果距离函数是虚构的对抗:GAN with the wind,这里虚构的对抗:GAN with the wind是严格凸的函数,那么判别器的Kantorovich势能函数蕴含着最优传输映射,因此判别器和生成器之间的竞争没有必要。生成模型的最终目的是生成的概率分布,对于同一个目标概率分布,有无穷多个传输映射都可以生成。我们可以选择计算最为简单的一个,即虚构的对抗:GAN with the wind距离所诱导的最优传输映射,因为这个映射具有鲜明的几何意义。

理论上,概率分布之间的变换可以在图像空间中完成,也可以在隐空间中完成。但是在实践中,隐空间的维数远低于图像空间,因此应该在隐空间中施行。因此,生成模型具有两个任务:一个是计算编码解码映射,另一个是概率分布变换。目前的模型,将这两个任务混同,因此难以分析。

  1. 我们的初步实验表明深度神经网络无法表达非连续映射,但是最优传输映射往往是有间断点的,因此目前的GAN模型需要进一步拓展。
  2. 对于降维的编解码映射,目前完备的基础理论尚未建立起来,很多方面比较含混原始,例如GAN的收敛性验证,收敛阶估计,误差分析和控制。

我们计划用更为精细的实验来详尽分析,更期待看到基础理论方面的长足发展。

小结

我们这里给出了最优传输映射观点下GAN模型的几何解释,指出了生成器和判别器之间的对抗竞争和交替训练可以被省略,而用显示的数学关系来取代。GAN模型主要任务分为编解码和概率测度变换,概率测度变换可以用透明的几何算法来解释并改进。初步试验结果显示了GAN模型构造的函数空间具有一定的局限性,无法表示经验数据的分布。

鸣谢

长期以来,丘成桐先生的团队坚持用几何的观点来阐述和改进深度学习模型。早在2017年2月初,笔者就撰文写了“看穿机器学习的黑箱”系列引起了很大的反响。许多学者和科研机构和团队成员联系,邀请我们前去给报告,我们将会在几个大会上详细解释我们的工作:全国计算机数学会议(10月20日,湘潭),2017中国计算机科学大会(10月26日,福州)第二届智能国际会议(10月27日,ICIS2017,上海)。我们和许多专家学者进行过讨论深入交流,特别是得到张首晟先生的鼓励,我们才总结成文,在此一并致以谢意!

最后,我们以张首晟先生的第一性原理来结束此文:“人类看到飞鸟遨游行空,便有了飞翔的梦想.但是早期的仿生却都失败了。理论物理指导我们理解了飞行的第一性原理,就是空气动力学,造出的飞机不像鸟却比鸟飞地更高更远。人工智能也是一样,人类的大脑给了我们智能的梦想,但不能简单地停留在神经元的仿生,而要理解智慧的第一性原理,才能有真正的大突破!”

References                                                 1. Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). "Generative Adversarial Networks". arXiv:1406.2661 2.
 A. D. Alexandrov. “Convex polyhedra” Translated from the 1950 Russian edition by N. S. Dairbekov, S. S. Kutateladze and A. B. Sossinsky. Springer Monographs in Mathematics. Springer-Verlag, Berlin, 2005.3.  Martin Arjovsky, Soumith Chintala, and Léon Bottou.
Wasserstein generative adversarial networks. In International Conference on Machine Learning, pages 214–223, 2017.4.   Yann Brenier. Polar factorization and monotone rearrangement of vector-valued functions. Comm. Pure Appl. Math., 44(4):375–417, 1991.5.  Xianfeng
Gu, Feng Luo, Jian Sun, and Tianqi Wu. A discrete uniformization theorem for polyhedral surfaces. Journal of Differential Geometry (JDG), 2017.6.  Xianfeng Gu, Feng Luo, Jian Sun, and Shing-Tung Yau. Variational principles for minkowski type problems, discrete
optimal transport, and discrete monge-ampere equations. Asian Journal of Mathematics (AJM), 20(2):383 C 398, 2016.7.  Na Lei,Kehua Su,Li Cui,Shing-Tung Yau,David Xianfeng Gu, A Geometric View of Optimal Transportation and Generative Model, arXiv:1710.05488.