生成对抗网络(六)———-Image Denoising Using a Generative Adversarial Network(用GAN对图像去噪)

前言

这是一篇关于使用GAN对图像降噪的论文，我翻译了论文，也看了代码，以下是github链接：GAN去噪。我看懂了论文，这确实是一篇很好的论文。使用当下最火的GAN对图像进行去噪。也是一个开创性的想法。文中的损失函数与以往的不同。但是其他思想与传统GAN都是类似的。读完论文之后，我下载了相关代码，但是在代码中我遇到了问题。想要训练模型，却没有跑起来。如果你将代码跑起来了。可以在下面留言。我们一起交流一下。下面我介绍一下我学到的一些知识总结。

一、介绍

计算机生成图像成为了一个热门的研究领域。为了渲染3D场景，有很多算法被提出，Pathtracing技术涉及随机拍摄1000个光线。然后拍摄场景中的物体，并且根据物体的反射特性，光线将被反射或折射或被吸收。将这些光线产生的颜色平均以获得像素的颜色，并且对所有像素重复该过程。但是这个方法代价是非常大的，计算复杂度非常高。渲染单帧都要花费8-16小时。因此要想实时渲染不可行。基于这个问题，我们要解决的就是提高渲染图像的速度。有一种方法是使用少量样本渲染，但是产生的结果带有噪声，因此还需要去降噪。最近提出的可靠的方法就是使用人工神经网咯。使用卷积神经网络去噪，为了提高性能，可以加深网络层数，比如利用残差网络。而本文提出一个神经网络，是利用了GAN的思想，基于残差网络。每个像素使用少量的样本。然后输入到GAN中带噪声的图像，最后得到高质量的图像，这个方法，可以将原来的8-16个小时，缩短到几分钟。

传统的神经网络广泛的应用在回归问题上，输入一个向量，靠优化一个损失函数得到另一个向量。使用噪声和干净的图像用来评估网络。神经网络的大概流程相信大家都有一定的了解。论文中提出了集中相关的降噪方法。第一个是BM3D降噪：将图像分割开作为输入，然后对每一Patch进行降噪，然后平均重叠的Patch，产生最后的降噪图像。第二个是使用MLP过滤掉蒙特卡洛噪声。使用蒙特卡洛方法渲染图像可以产生高质量的图像但是需要花费很多时间，使用少量样本又会产生噪声，使用MLP过滤噪声。第三种是使用CNN去噪。第四个是使用CNN提高图像的分辨率。第五个是使用SRGAN提高图像的分辨率。这个方法与我们使用的方法是相似的，都使用了GAN。下面看一下本篇论文的网络结构。

二、模型与参数设置

训练了一个基于残差网络的GAN网络。网络的目标是通过生成器生成干净的无噪声的图像，判别器通过真实的图像来提高生成器生成图像的质量。我们在网络的结构上使用了残差块。可以提高网络的性能。如果时间允许，我们可以使用更多的残差块，提高网络的性能。接下来先看一下生成器的结构；

生成器的目标是生成一个高质量的逼真的图像，通过在没有损失很多信息的情况下，用临近的像素填充噪声。我们采用了一个对称的结构。从图中可以看出，一共分为三部分，卷积层，残差层，解卷积层。在卷积层包含卷积、BN和LReLU。在残差块中，与卷积层使用了相同的结构。不同的是使用了捷径连接实现残差结构，最后是解卷积，先重设图像大小在经过相同的结构。最后添加一个tanh。得到输出。

判别器的目标是判断输入的图片是真是假。通过对抗的方式，让生成器质量提高。在这个网络中最重要的是损失函数，损失函数的公式如下：

其中，相对应的La为adversaial loss，Lp为piex loss, Lf为Feature loss，Ls是Smooth损失，关于他们的权重在论文中都有设置，可以查看论文的内容。我觉得这个损失函数是一个创新。虽然我还不能理解的很透彻。会继续深入研究。

三、总结

通过训练，得到了如下的结果：

最后，我感觉自己对论文的理解以及实现上还不是很深入。因此，希望有同样研究此方法的人我们可以互相交流一下。