基于生成式对抗网络的文物图像超分辨率重建及色彩修复

朱欣娟，雷 倩,吴晓军

(1.西安工程大学 计算机科学学院，陕西 西安 710048；2.陕西师范大学 计算机科学学院，陕西 西安 710062)

0 引 言

文物是人类社会发展过程中存留下来的遗物，具有十分重要的文化和历史价值。然而由于时间古老和环境变迁的影响，存留的文物出现了严重的质变[1]，博物馆的灯光会让书画老化、彩俑褪色，空气污染物使得影像发黄甚至完全损坏[2]。变黄、褪色、斑驳、暗旧的文物影响着游客的视觉效果。数字图像修复技术的出现，可以对图像缺失(裂缝、划痕、污点、破损)的部分进行补全，也可以对图像进行虚拟的颜色修复，使受损的图像在虚拟的情况下恢复原样。这种虚拟修复不仅绿色环保，而且可以长期保存，因此数字图像修复技术的研究逐渐得到重视。目前大多数的文物修复都是基于内容的图像处理技术[3-4]，文献[5-6]采用矩阵填充和内容自适应算法进行文物图像修复，其在内容的还原上基本能够和原图相似。该文在寻找一个文物修复更好的数字化处理方案，比如将图像超分辨重建技术[7-9]引入文物领域，将低分辨率的暗旧文物图像转化为颜色修复的高分辨率图像显示在高清显示屏上，虚拟修复颜色的同时保留了更多纹理细节信息，产生更好的数字化展示效果。

超分辨率图像重建技术目前主要分为3种：基于插值的方法[10-11]、基于重建的方法[12]和基于深度学习的方法[13-14]。基于深度学习的方法可以自动学习低分辨图像与高分辨图像之间关系来重建图像，使得重建后图像恢复更多的高频信息，目前已成为超分辨率图像重建的主流方法。

文献[15]首次将深度学习引入图像超分辨领域，用简单的3层卷积神经网络构建生成网络模型,自动学习高低分辨图像之间的关系，重建效果改善了许多，但由于只使用卷积神经网络，结构比较单一会导致局部感受视野受限。文献[16]提出加深网路结构的层数会提高重建图像的性能，但会带来梯度消失或梯度爆炸问题。而残差网络可以解决网络层数深时收敛难的问题[17]，文献[18-19]将残差网络的思想引入图像超分辨领域。但上述方法都以均方误差作为目标函数，生成的图像缺乏感知信息。随着生成对抗网络的出现[20-21]，LEDIG等提出了基于生成对抗网络的超分辨重建模型SRGAN[22]，该模型由生成器和判别器2部分组成，生成器部分采用残差网络重建图像，判别器进行判别，2个子网络通过不断博弈训练来减少生成图像和原始高分辨率图像之间的差距，并将对抗损失和感知损失加入损失函数中，实验结果表明生成的图像较以前有很好的视觉感知效果[23]。

但是上述方法在重建自然图像、医学图像[24]、人脸图像[25]时都得到很好的结果。而对于时间古老、颜色暗旧的文物图像而言,原始的超分辨方法只是丰富了图像的纹理细节，色彩方面基本没发生任何改变和修复。本文采用生成对抗网络的设计思想,设计了CR-SRGAN模型。该模型有别于传统通过高分辨率图像进行插值以及下采样而获得训练模型的低分辨率数据集，根据文物图像褪色、暗旧的特点来处理退化，对原始数据集在插值的基础上进行暗旧和加噪处理而获得对应的低分辨图像，最后通过训练网络模型，获得色彩修复的超分辨文物图像。

1 文物图像超分辨模型设计

CR-SRGAN模型对暗旧文物图像的颜色和纹理修复流程主要分为4个步骤：

1) 针对文物图像的特点，预处理数据集，获得高低分辨率一一对应的数据集；

2) 构建生成网络和判别网络，用只采用普通下采样方法得到的高低分辨率数据集训练图像超分辨率模型；

3) 用步骤2)构建的生成网络和判别网络，用步骤1)经过加噪和暗旧处理得到的高低分辨率数据集训练文物图像超分辨率模型CR-SRGAN；

4) 利用步骤3)训练好的生成模型重建高分辨率文物图像。

CR-SRGAN模型流程框架如图1所示。

图 1 CR-SRGAN模型流程Fig.1 Flow framework of CR-SRGAN model

图1中，网络训练是基于生成对抗网络[20]极大极小博弈的思想，训练的最终目标不仅是希望判别器D能正确判断，而且生成器G生成的数据能混淆D的判断,目标函数可表示为

(1)

式中：Rh为真实高分辨率图像；Rl为真实低分辨率图像；D(Rh)为判别网络判断真实高分辨率图像是否真实的概率；G(Rl)为输入一张低分辨图像给生成器，生成器生成的虚假高分辨率图像；D(G(Rl))为判别网络判别生成器生成的虚假高分辨率图像是否真实的概率;E为数学期望;p1为真实高分辨率图像的概率分布；p2为低分辨率图像的概率分布。

判别器部分目标函数可表示为

(2)

式中：对于真实高分辨率图像，希望得到的结果D(Rh)越接近于1；对于生成器生成的虚假高分辨率图像，希望得到的结果D(G(Rl))越接近于0。

生成器部分目标函数可表示为

(3)

式中：生成器没有真实高分辨率图像，对于生成器生成的虚假高分辨率图像，希望得到的结果D(G(Rl))越接近于1。

1.1 数据预处理

图像超分辨的数据集需要匹配高低分辨率图像对来进行训练，现有的数据集通常只有高分辨数据集，需要对Rh图像进行降采样操作得到对应的Rl图像，高分辨率到低分辨率的过程称为退化过程，令y表示观测得到的低分辨率图像，x表示对应的高分辨率图像，则退化过程可表示为

y=θ(x)+n

(4)

式中：θ为退化函数；n为噪声。

原始处理退化的方法大都是插值下采样的方法，对于一幅图像尺寸为M×N，对其进行s倍下采样，即得到(M/s)×(N/s)尺寸的低分辨率图像，这种降质方法得到的低分辨率图像只是变得模糊，不能满足暗旧文物图像的场景。为了满足文物图像的场景，决定对原始高分辨数据集在插值下采样的基础上，进一步做一些暗旧和加入椒盐噪声处理获得对应的斑驳颜色暗旧的低分辨图像。

暗旧图像一般具有发黄变暗的特征,针对这一特征通过调整RGB的值使生成的低分辨图像在褪色的基础上保存原色。经过不断的测试实验，最终确定效果最佳的算法,可表示为

(5)

(6)

式中：r、g、b为原始高分辨率图像对应的值;R、G、B为经过算法得到低分辨率图像对应的值。

1.2 文物图像超分辨率生成网络模型的构建

文物图像超分辨率生成网络模型的主要任务是输入一张低分辨率图像生成一张虚假的高频细节多颜色变亮的高分辨率图像。本文参考SRGAN[22]的网络结构来设计，生成模型的网络结构为先通过一层卷积神经网络进行浅层特征提取，卷积层参数是64个3×3的卷积核，步长为1，采用Relu激活函数提升非线性映射性能，然后对提取到的特征经过16个残差块进行深层特征提取，残差网络能解决网络层数较深时梯度消失或梯度爆炸问题，对提取到的特征采用后端反卷积进行上采样，这种上采样方式和先将低分辨率图像插值再送入网络相比较，减少了复杂度，最终得到4倍上采样的超分辨率图像。

1.3 文物图像超分辨率判别网络模型的构建

文物图像超分辨率判别网络模型的主要任务为判别真伪，将生成网络生成的超分辨率图像和原始高分辨率图像输入判别网络中，判别网络判别真伪，相当于一个二分类问题。判别网络的网络结构由8组卷积层组成，卷积核用来进行图像特征的提取，卷积核大小对于判别能力有很大影响，每组卷积核大小均为3×3，卷积核个数依次为64、64、128、128、256、256、512、512，最后经过全连接层和Sigmoid激活函数输出判别结果。通过对判别网络进行训练，不断提高判别网络的判别能力，直到判别网络无法区分原始高分辨率图像和生成模型重建的高分辨率图像，训练完成。

1.4 损失函数

损失函数通过衡量生成的虚假的高分辨率图像和原始的高分辨率图像之间的差距来判断网络的性能，在反向传播中损失函数通过修改参数来不断优化网络。

为了降低图像在网络重建过程中的像素损失，定义了生成网络的损失函数，来判断生成的虚假超分辨率图像和原始的高分辨率图像之间的差距，通过不断优化网路权重参数来减少差距，使生成的超分辨率图像产生更多的纹理和高频细节。生成器的损失函数由对抗损失和感知损失2部分组成，对抗损失表示为向生成模型中输入一张低分辨率图像，生成的虚假高分辨率图像再送入判别模型中，判别结果和真实值的交叉熵；感知损失表示为将真实的高分辨率图像和虚假的高分辨率图像传入VGG网络，获得2个图像的特征向量，计算这2个图像的特征映射之间的欧式距离而获得损失值。生成器的损失函数[22]lG可表示为

lG=ld+lp

(7)

ld=-lgD(G(Rl))

(8)

φi,j(G(Rl))x,y)2

(9)

式中：lG为生成器的损失函数;ld为对抗损失;lp为感知损失;φi,j为VGG19网络中第i个最大池化层前的第j个卷积层生成的特征映射；Wi,j和Hi,j为VGG网络中各个特征映射的大小；φi,j(Rh)为从真实图像中提取的特征映射；φi,j(G(Rl))为从生成的虚假的高分辨率图像中提取的特征映射。

判别器的主要作用是判别真伪，判断真实高分辨率图像为1的概率和生成虚假超分辨率图像为0的概率。判别器的损失函数可表示为

(10)

2 结果及分析

本文采用Tensorflow和Keras深度学习框架来搭建生成对抗网络，由于文物数据集的稀缺，本文选用的训练数据集来源于DIV2K的高分辨率图像，该数据集的图像大多为蓝天、白云、花等自然图像，用本文的下采样方法得到退化的低分辨率数据集。生成网络和判别网络不断地博弈训练，来降低生成图像和原始高分辨图像的误差，最终得到CR-SRGAN模型。

2.1 评估指标

采用主观评价和客观评价2种方式来验证CR-SRGAN模型。主观评价通过观察生成图像的纹理信息和颜色信息，客观方法采用PSNR和SSIM[26]评价各算法的优劣。

PSNR主要估计的是重建图像的噪声失信度，数值越大，表示重建图像越好。SSIM由亮度、对比度和结构3个因素组合，均值作为亮度的估计，标准差作为对比度估计，协方差作为结构相似度的估计，取值范围在[0,1]之间，结果越接近1，表明重建图像质量越好。

2.2 结果与分析

本文的测试数据集来源于网络，分别用双三次插值(Bicubic模型)、生成对抗网络(SRGAN模型)和本文CR-SRGAN模型进行处理得到的颜色修复与超分辨重建对比图，如图2所示。

(a) 暗旧的壁画 (b) Bicubic模型

(c) SRGAN模型 (d) CR-SRGAN模型

(e) 生锈褪色的青铜器 (f) Bicubic模型

(g) SRGAN模型 (h) CR-SRGAN模型图 2 实验对比结果Fig.2 Comparison of experimental results

图2(a)像素为871×711的暗旧壁画低分辨图，图2(b)、(c)、(d)为图2(a)使用不同方法的颜色修复与超分辨重建图，3幅图像像素均为2 844×3 484。图2(e)像素为600×609的生锈褪色的青铜器低分辨图，图2(f)、(g)、(h)为图2(e)使用不同方法的颜色修复与超分辨重建图，3幅图像像素均为2 400×3 604。由于训练数据集使用的DIV2K，导致本文模型生成的图像整体泛蓝，采用背景差分方法使得生成图像背景和原低分辨率图像背景一致，便于更好地观察图像生成效果。通过主观评价方法来比较放大相同倍数时图像重建效果，主要观察生成图像的纹理信息和颜色亮度。可以看出Bicubic模型放大的超分辨图像有点模糊，SRGAN模型较Bicubic模型更加清晰，但是这2种模型得到的结果在原本颜色的基础上基本没发生任何改变，看起来仍然暗旧，而本文方法在实现纹理变清晰的同时，实现了颜色的艳丽，使暗旧的文物图像恢复往日的光彩。图2(d)中人物的发冠、眉毛、衣服处效果明显，图2(h)中青铜器的顶部和中间处效果明显。CR-SRGAN模型是根据原始残留的底色信息来重建图像，这与文物修复师根据残留底色进行文物修复保持一致。

为了验证本文颜色修复的合理性，选取另一幅暗旧壁画图像和褪色青铜器图像进行测试，分别用Bicubic模型、SRGAN模型、CR-SRGAN模型和人工修复的高分辨率图像比对，结果及PSNR、SSIM数据如图3所示。

(a) Bicubic模型 (b) SRGAN模型 (PSNR=11.48 dB (PSNR=11.64 dB SSIM=0.53) SSIM=0.56)

(c) CR-SRGAN模型 (d) 手工复原图 (PSNR=11.71 dB SSIM=0.58)

(e) Bicubic模型 (f) SRGAN模型 (PSNR=15.91 dB (PSNR=17.20 dB SSIM=0.81) SSIM=0.84)

(g) CR-SRGAN模型 (h) 手工复原图 (PSNR=17.40 dB SSIM=0.84)图 3 颜色修复验证图Fig.3 Color repair verification diagram

图3 (a)、(b)、(c)为使用不同方法的颜色修复与超分辨重建图,图3(d)为手工复原的高分辨率图像，4幅图像像素均为2 560×1 840。图3(e)、(f)、(g)为使用不同方法的颜色修复与超分辨重建图，图3(h)为手工复原的高分辨率图像，4幅图像像素均为2 400×3 600。图3(a)、(b)在超分辨时颜色基本没发生任何改变，图3(c)修复图整体变亮，4位公主的衣服处颜色变化明显，与图3(d)手工复原图的衣服颜色保持一致。图3(g)相比图3(e)、(f)颜色都有所提亮。图3中PSNR和SSIM值为2幅图像不同方法进行处理得到的客观数据，数据说明本文CR-SRGAN模型得到的褪色颜色修复与超分辨重建图的PSNR和SSIM值相对于比较方法都有所提高。相比SRGAN模型，本文模型的PSNR平均提高了0.135 dB，SSIM平均提高了0.01。相比Bicubic模型，本文模型的PSNR平均提高了0.86 dB，SSIM提高了0.04，测试结果说明本文模型优于对比模型。

3 结 语

本文在生成对抗网络的超分辨的基础上实现了暗旧文物图像的超分辨，在原始高分辨数据集上做了针对文物图像特征的降采样，生成器和判别器通过不断博弈的交替式训练，得到文物图像超分辨生成模型。从实验结果看，输入一张有残留颜色的褪色文物图像，生成模型可生成一张色彩艳丽、纹理清晰的高分辨图像。通过这种修复方法，节约了成本也解决了人工进行颜色修复时费时费力问题。

本文只实现了暗旧文物的颜色修复、纹理丰富问题，目前有许多文物都出现了裂缝、剥落或肢体残损，它们的表面信息都不完整，针对这种情况还需要大量的文物图像数据集和修复算法的大量实验，来实现文物图像表面的修复，这是后续需要进一步研究的问题。