Deeply-Recursive Convolutional Network for Image Super-Resolution

Author: Jiwon Kim, Jung Kwon Lee and Kyoung Mu Lee
Department of ECE, ASRI, Seoul National University, Korea

1.介绍

本文使用 深度循环卷积神经网络deeply-recursive convolutional network (DRCN),该网络可以重复使用一个卷积层,多次循环也不会增加参数,尽管DRCN具有较好的性质,但也存在一个问题,由于梯度消失或者爆炸,使用随机梯度下降优化时很难收敛,使用单个权重层来学习像素之间的长期依赖关系是非常困难的。
为了解决难训练的问题,提出了两种方法:
①所有递归都是受监督的。每次循环后的特征矩阵用来重建高分辨率的图像( high-resolution ,HR),并且所有循环的重建方法都是一样的,每次循环会得到一个不同的HR预测,将所有预测结合返回一个精确的最后预测结果。
②使用跃层连接(skip-connection),在许多向前传递过程中,输入的精确拷贝可能会被减弱,所以我们将输入连接到各个层以进行输出重构。
本文中提出的方法展现了非常好的效果。

2.网络结构

2.1基本模型

基于深度循环卷积神经网络的图像超分辨率重建 学习笔记
图1:基本的模型结构,包含了三个部分,嵌入式网络(Embedding network),将输入图像表示为一系列的特征映射,使用3*3的filter;推理网络(Inference network)为主要部分,用于完成超分辨率任务,使用3*3的卷积;重建网络(Reconstruction network)将高分辨率图像(多通道)转变成原始状态(1或3通道)。Inference network是一个循环结构,展开如图2。
基于深度循环卷积神经网络的图像超分辨率重建 学习笔记
图2:未折叠的inference network,左边是一个循环层,右边是未折叠的结构。特征映射循环使用相同的filter W,我们的模型可以在非常大的context中不引入新的权重参数。

2.2改进的模型

基于深度循环卷积神经网络的图像超分辨率重建 学习笔记
图3:(a): 我们最终的模型,采用了recursive-supervision 和kip-connection。重建网络共享用于递归预测,使用中间循环的所有的预测结果得到最后的输出。(b):采用深度监督(deep-supervision),与(a)不同,(b)中使用不同地重建网络用于循环,参数也更多;(c):(a)的扩展,没有参数共享(没有循环),权重参数的数量与深度的平方成正比。
循环监督
在改进的模型中,我们监督所有的循环过程来减小梯度消失或者爆炸的影响。循环监督结构降低了循环网络训练的结构,如果监督信号在之前的循环损失层中经过,那么反向传播只会穿过少量的层,这样不同的预测损失求得的梯度反向传播反馈影响就会比较小,这样就可以减缓梯度消失或爆炸问题。此外,监督还能利用所有中间层的预测结果使最优循环次数的重要性下降,如果循环次数越多,我们就希望后预测的权重比较小,先预测的权重比较大。
跃层连接
优点:①在循环过程中存储输入信号的网络容量被保存;②在目标预测时可以使用输入信号的精确拷贝,这种 skip-connection 简单却很有用。

3.实验结果

基于深度循环卷积神经网络的图像超分辨率重建 学习笔记
基于深度循环卷积神经网络的图像超分辨率重建 学习笔记