基于主动位移成像的图像超分辨率重建

张文雪，罗一涵*，刘雅卿，夏诗烨，赵开元

1 中国科学院光场调控科学技术全国重点实验室，四川 成都 610209；

2 中国科学院光束控制重点实验室，四川 成都 610209；

3 中国科学院光电技术研究所，四川 成都 610209；

4 中国科学院大学，北京 100049

1 引 言

高分辨率图像具有清晰度高、噪声低、细节分辨能力强等优点，随着遥感技术、安全监控、医学图像分析等对图像清晰度及细节具有高要求的领域不断发展，探寻获得高分辨率图像的最优方式成为这些领域重点关注的问题。获得高分辨率图像的方式有提升相机的硬件质量和超分辨率图像重建，但提升硬件质量如采用大口径的透镜或减小像元尺寸需要巨大的经济成本，而超分辨率图像重建技术则不需要在现有成像条件下提升相机的性能，它通过软件的方式将低分辨率图像恢复为高分辨率图像以达到提升图像分辨率的目的，成本极为低廉。因此，图像超分辨率重建技术近年来成为了计算机视觉领域研究热点之一。

图像超分辨率重建指的是将一帧或者多帧低分辨率图像恢复成一张高分辨率图像的技术。根据使用低分辨率图像的数量可以分为单帧图像超分辨重建算法和多帧图像超分辨重建算法。按照算法种类又可以分为基于插值的算法、基于重构的算法和基于深度学习的算法。

其中基于插值的重建算法理论简单，易于实现，可以达到放大图像的目的，但原始场景在采样过程中丢失的高频细节并没有被恢复，重建后的图像存在块效应。卷积神经网络被提出后，CNN 网络在多个领域表现出了优良的特性，通过建立单幅LR 图像和HR 图像对，先后提出了基于CNN[1-6]和基于ResNet的网络[7]和基于GAN 的网络[8]，当数据集充分，网络足够深时，通过网络训练映射关系，可以获得细节分辨力高[9]、放大倍数高的高分辨率图像，因此，基于深度学习的方法常用于单帧图像超分辨率重建，适用于不易获得多帧图像的场景。但深度学习方法依赖数据集的建立，当面对难以预先建立数据集的场景时，单一的深度学习方法很难针对性地加入先验知识。随着超分辨重建技术的发展和广泛应用，人们发现单帧低分辨率图像包含的图像信息少，仅对单张图片进行超分辨重建难以充分利用场景中的信息，所以图像超分辨率研究热点渐渐转移到多帧图像超分辨率重建中来，多帧图像超分辨重建最先由Tsai 和Huang[10]提出，利用多帧低分辨率图像之间的互补信息来降低噪声和提升图像的空间分辨率。其中，图像间的空域互补信息更容易获得，于是多帧图像超分辨重建算法多是基于空域约束的算法。基于空域约束的算法是建立低分辨率图像与高分辨率图像间的退化过程，结合数学计算，通过对约束模型的选择来逆求解得到高分辨率图像，代表算法有IBP[11]、MAP[12]和POCS[13]算法。相比深度学习算法，基于空域约束的重建算法可以很方便的针对具体场景加入序列图像的先验知识，获得丰富的图片信息，因而很适合用于多帧图像超分辨率重建。

基于以上对于现存算法的分析，在多帧图像超分辨重建任务中，基于空域约束的图像超分辨重建算法是表现较为优秀的一种算法，因为它可以很方便地加入先验知识，利用多帧低分辨率图像中的互补信息重建恢复出超分辨率图像。其中，凸集投影法是多帧图像超分辨重建算法中效果最好的算法之一。凸集投影本质上是一种凸集约束思想，即多个凸约束中总能找到最优的解空间，应用到多帧图像超分辨重建中，具有方便引入先验知识的优势[14-15]，被频繁用于多帧图像的超分辨重建中[14-18]。POCS 算法的关键点在于对退化模型的构建，近年来已经有研究分别对模糊核估计[19]和低分辨率图像信息保持[20]方向做出改进，但是POCS 算法存在一个固有缺点，即过于依赖初始帧的估计，初始参考帧的估计很大程度决定了最后的重建结果，若初始帧构造不稳定，则重建结果也会发生变化，所以构造真实有效、稳定的初始帧是本文的重点之一。

主动获得多帧图像间互补信息的成像方式之一是亚像素位移成像技术。亚像素位移技术是指主动使获得的图像间相差亚像素位移，这种技术被广泛用于多帧图像超分辨重建任务中。亚像素位移技术分为亚像元[21]成像技术和微扫描技术。其中，微扫描在1996年被系统性地提出[22]，其主要是采用棱镜分光和控制压电陶瓷偏转实现图像亚像素位移，可以显著提升分辨率。在国外被广泛应用于热像探测等领域。近年来，随着我国科学技术的发展，微扫描技术被应用在X射线显微镜中[23]，随后针对无人机对图像实时性的要求，设计了高速微扫描核心器件[17]，通过四帧连续低分辨率图像在短时间内获得一帧高分辨率图像。微扫描技术被应用于单像素相机超分辨成像[24]、红外图像超分辨重建[25]等任务中，实验证明，微扫描技术可以通过获得多帧具有亚像素位移的低分辨率图像来重建获得高分辨率图像[18]。近年来，人们尝试用不同的方法获取亚像素位移的多帧低分辨率图像，比如：采用Risley 棱镜偏转[25]；基于DMD 的亚细胞模式移位(sub-cell pattern shifting,SCPS)[26]、提出反射式红外扫描模型[27]；基于圆形编码孔径，在采样过程中更改孔径大小实现图像的亚像素位移[28]，重建后的图像分辨力提高，图像细节变得清晰。但是这些微扫描方法在获得图像的过程中，需要按照固定的扫描方式[14]，在曝光时间内固定相机相面以减少像移[17]，对器件到位精度要求较高或者需要额外新型精密的设备[28]，存在扫描模式固定、对器件实时到位精度要求高和器件制造精度要求高的问题。因此，探索一种对到位精度、扫描模式、器件制造精密程度限制较小的亚像素位移成像技术也是本文关注的问题。

总而言之，POCS 算法因易于加入先验知识常被用于图像超分辨率重建，微扫描技术则可以为图像重建提供有效的先验知识，但是POCS 算法过于依赖初始参考帧的选择，而微扫描成像技术又存在扫描模式固定、对器件实时到位精度和制造精度要求高的问题。基于这个结论启发，本文设计了一种基于主动位移成像的图像超分辨重建算法，利用控制相机主动位移获取图像序列并记录精确的位置信息，通过解算、选图、匹配以及结合POCS 算法迭代修正，最后得到重建图像。该方法结合了微扫描技术和POCS 算法的优点，构造了稳定真实的初始参考帧，并修正了微扫描技术受扫描模式限制以及对器件到位精度要求高的缺点。本文所提出的方法无需固定的扫描模式，无需额外添加到位精度高的精密设备，可以针对当下场景加入先验知识，无需针对一类场景单独构建数据集，具有良好的可泛化性。

2 理论推导

2.1 图像退化模型

典型的可见光图像成像过程如图1 所示，真实场景，即高分辨率图像(high resolution image,IHR)经过模糊、形变、下采样和加性噪声退化为一个低分辨率图像(low resolution image,ILR)，成像过程可以由式(1)表征，

图1 图像退化过程示意图Fig.1 The image degradation process

其中：D为下采样矩阵，代表相机的下采样尺度。B为模糊矩阵，包括光学模糊、运动模糊等，M则为物体运动产生的变换，n代表成像过程中的噪声，j为图像帧的序号。为了使得图像由低分辨率图像ILR恢复重建为高分辨率图像IHR，需要反解式(1)所表示的退化过程，使得低分辨率图像恢复为高分辨率图像。实际上，反解式(1)是一个病态求解问题。因为真实场景退化为低分辨率图像的过程不唯一，如果采用单一算法，会使得求解得到的高分辨率图像不唯一或者求解过程不稳定。所以图像超分辨率重建的关键是引入先验知识使得反解式(1)的过程变得良态。

2.2 微扫描成像

微扫描成像技术是指在采集图像期间使相机按照设定的路径移动，多次采样获得同一场景下的多幅图像，使得多幅图像间具有亚像素位移的技术。实质上，微扫描技术的多次采样即为一种过采样过程，可以恢复因下采样而失去的信息，也就是说微扫描成像这种技术可以为反解式(1)中D提供先验知识。

微扫描实现过采样原理如图2 所示，原相机所成的像在p1点，相机移动后，所成的像在p2点，因相机移动 ∆D而发生的移动映射为 ∆d。只要保证 ∆d小于一个像素，即可实现图像上采样。利用两帧之间的亚像素信息，即可重建恢复出下采样而丢失的图像信息。

图2 上采样实现原理图Fig.2 Schematic diagram of up-sampling based on micro-scanning

图3 给出了常用的微扫描的扫描方式，以2×2扫描为例，四次扫描获得四帧亚像素差别的低分辨率图像，如图4 左图所示，若每帧低分辨率图像由1st中所示1、2、3、4 四个像素组成，而1st、2nd、3rd、4th这四帧低分辨率图像之间相差0.5 个像素，那么利用图像与图像之间的亚像素差别，即可合成图4 右图所示的2 倍像素超分辨率的高分辨率图。

图3 微扫描的三种方式Fig.3 Three ways of micro-scanning

图4 2×2 微扫描成像重建原理示意Fig.4 Schematic diagram of reconstruction based on microscanning imaging

基于微扫描成像重建的原理简单，关键的点在于使探测器按照设定的方式移动亚像素位移，控制器件的到位精度和实时性是难点，这在实际应用中就会带来限制。

2.3 凸集投影法

凸集投影方法(POCS)是一种基于集合的理论方法，认为对LR 图像建立约束，每一个约束都代表了包含多个可能高分辨率图像的凸集，当加入多个约束时，多个凸集的交集即为高分辨率图像重建的结果。凸集投影理论可由式(2)表征，

应用于超分辨重建任务的凸集投影算法理论推导如式(3)：

首先建立LR 图像与HR 图像的映射关系式(式(3))，g代表低分辨率图像，f代表原始图像，n为噪声，h为点扩散函数。

计算实际的低分辨率图像L与通过式(3)获得的图像之间的残差r：

接下来对图像空域每一个像素点都可以建立式(5)所示的约束式：

其中：T为阈值，(u,v)指图像的单个像素的点坐标，此处的u和v分别表示像素的横坐标和纵坐标，当图像与参考帧的残差r大于阈值时，对得到的fc对应的像素点进行修正，若残差在可接受范围内，则不修正。

实际应用流程总共分为三个部分：构造初始估计图像、估计LR 间的运动参数、对估计图像进行迭代后更新以获取最终的SR 图像。

凸集投影法较为依赖初始估计，初始估计不同，则最后迭代重建得出的图像效果可能差别很大。构造参考帧是指对LR 图像进行插值放大到超分辨率图像的目标尺寸，以获得初始估计图像。常用的插值方法有最近邻插值、双线性插值和双三次插值方法。

随后对多帧图像序列进行配准，估计两幅图像间的运动参数，运动参数的估计是否准确也将影响最终的重建结果。

综上分析，在重建图像时采用POCS 方法可以根据图像的特点设立不同的约束集，例如对图像的能量有界性、数据一致性、部分点阈值约束和参考帧约束，为反解式(1)中的矩阵B提供信息，因而可以很方便的加入先验知识，非常适合用于多帧图像超分辨率重建任务，但POCS 方法存在一个缺点，即太过于依赖初始参考帧的建立，很大程度上，参考帧的建立决定了最终的重建效果。

3 本文方法

基于2.2 节和2.3 节对微扫描成像和凸集投影法的理论分析，针对微扫描和凸集投影法存在的固有问题，本文提出基于主动位移成像技术的POCS 算法，该算法通过控制相机主动位移获取图像序列，同时记录采样图片对应的位置信息，利用解算、选图、匹配以及结合POCS 算法迭代修正最后得到重建图像，算法流程概览如下：

Step1：主动位移成像。

利用主动位移技术采集获取具有亚像素位移的图像,获得所有图片以及图片的位置信息，图片位置信息存放在矩阵Darr中。

Step2：选取潜在信息最完备的图像作为参考图像。

选取一帧图像为参考图像f0，利用提出的基于主动位移的方法上采样将f0放大到指定尺度scale 作为初始估计图像H0。

Step3：计算相对位移矢量，获取亚像素图像信息，得到初始估计图像。

计算所有图片与参考帧的相对移动矢量，按序号存放到矩阵∆Darr中。在∆Darr中选取符合重建尺度scale 位移信息的图片，将有对应亚像素信息的图片存入网格候选图片图像矩阵Clr。

Step5：计算估计图像与原始低分辨率图像之间的残差，迭代更新估计帧的值。

对于单个网格(i,j)，输入Clr中第(i,j)个元素所包含的所有待选图片矩阵，将待选图片矩阵直接复制到初始估计图像中，当所有的元网格被填满，则停止循环，形成新的估计图像Hk。

Step6：获得最终SR 图像。

当所有图片遍历结束，同时边缘信息残差值小于阈值，则迭代结束，得到最终的HR 图像

所有的算法过程可以由图5 表示，在之后的小节中，我们将展开叙述每一个步骤的具体过程。

图5 算法流程图Fig.5 Flow chart of our algorithm

3.1 主动位移成像

主动位移成像装置如图6 所示，其中，蓝色部分是相机，黑色部分是主动位移平台，其中下方部分实现x方向的位移，上方有白色边框的黑色部分则可以升降实现y方向的位移。主动位移平台(黑色部分)的随机位移的同时控制相机采样，获取得到n帧低分辨率图像。

图6 实验平台搭建示意图Fig.6 Schematic diagram of the experimental setup

多帧低分辨率成像过程中，帧与帧之间存在运动变换。提出的主动位移成像技术，则是通过预先获取相机位移信息来解出图像间的位移信息，进而解出M。要获得相机位置与成像图像位置之间的矢量关系，在装置设备时，需要确立这种仿射关系。建立仿射式，将主动位移平台坐标(ζ,η)与图像像素坐标(µ,ν)一一精确对应。

需要求解使得下式最优的三个系数κζ、κη、θ：

其中：G代表建立的约束式，当约束式G的值最小时，主动位移平台坐标与图像像素坐标对应误差越小，矩阵R代表的是相机与场景间的相对旋转，矩阵S代表的是相机与真实像素之间矢量的尺度关系，矩阵T则代表相机像面位置中心与图像中心的偏移量。P=[ζ,η,1]T代表相机像面所处的位置，p=[µ,v,1]T是图像所处的位置。虽然式(7)的自由度为3，但对R矩阵求导非常复杂，所以先用泰勒展开式预处理参数θ。通常来说 θ的值较小，对sinθ 和cosθ采用泰勒展开式展开后，重写式(6):

改写R矩阵

同时，为了消除位移矩阵T带来的影响，这里将式(7)改写为式(9):

为了得到最优的κx、κy、θ，采用牛顿迭代法对式(9)求最优解，获得主动位移与图像像素坐标之间的对应移动矢量关系：

主动位移成像技术是受微扫描技术启发使相机随机位移对同一场景成像的技术。具体来说，在以往的微扫描成像超分辨重建算法中，需要对同一场景做连续间隔亚像素步长的扫描，对器件的控制精度和到位精度要求非常高。而主动位移成像技术针对减小器件的精度要求做改进，无需按照固定的扫描模式，相邻帧成像时也无需亚像素步长的移位，只需要移动相机使得第j帧图像与初始参考帧图像之间存在亚像素位移即可，不需要相邻的帧之间相差亚像素。成像原理可由式(10)表示，其中gj代表第j帧图像，g0代表选取的参考图像，Dgj代表采样第j帧图像时主动位移平台(相机像面)的位置，F代表式(8)所给出的位置投影映射式。主动位移成像技术不需要j帧图像与参考图像只相差亚像素位移，而是容许两帧图像之间相差整像素位移，即仅需要成像两帧图像位移差对像素1 取余后的 δd<1 即可。因此，主动位移成像可以不严格按照图3 所示的扫描模式来成像，对器件的实时控制到位精度也没有要求，仅需记录成像时刻的相机位置。

3.2 选取参考帧

获得了M帧低分辨率图像后，需要根据超分尺度S在M帧图像中选取拥有亚像素信息最多的图像作为参考帧。选图流程如图6 中蓝色框所示。

如图5 所示，根据像素与像素之间存在亚像素的理论，若超分尺度为S，则其他图像相对参考帧的位移为Vi：

其中：i为整数，且0 ≤i

图7 选图过程示意。左：多帧图像序列，右：完备亚像素信息网格Fig.7 Schematic diagram of selection module.Left: Image sequence;Right: An image grid with complete sub-pixel information

3.3 获得初始估计图像

不同于传统方法给出的直接线性上采样，本文提出一种新的上采样方法。根据3.2 节，我们获得了具有完备亚像素信息的参考帧以及对应的LR 图像。接下来需要结合图像信息获得初始估计图像。如图8(a)所示，(i～iv)图中的橙色、黄色、蓝色和绿色代表感兴趣区域，而紫色部分代表参考帧的感兴趣区域位置，一共给出4 种相对位移模式。其他有色区域代表感兴趣区域位移后所在的位置，两个有色区域重合部分则是我们需要提取的信息。

图8 四种位移情况。(a)四种可能的位移情况；(b) 四种整像素位移模式Fig.8 Four cases of displacement.(a) Four possible cases of pixel shift;(b) Four modes of integer pixel shift

图9 四种位移模式下提取信息Fig.9 Schematic diagrams of information extraction in four integer pixel shift cases

在式(11)中，除了亚像素位移i/S外，还有整像素位移K,在匹配复制信息的时候，当K取值不同时(图8(b))，需要采用不同的策略。对于四种整像素位移模式，设采样的低分辨率图像尺度为M×N，获取信息的方式可以由式(12)描述，其中括号内的内容代表对图像的像素访问范围。例如f(M:Ky,N:Kx)代表从图像左上角开始从上往下第M行到第Ky行从左到右第N列到第Kx列所包含的像素；当行数的值为负数时，则代表从下往上数；列数的值为负数时，代表从右往左数，提取到的信息如图 9 所示。经历图5 绿色框所示的以式(12)为理论支持的匹配插值后，参考帧f0形成初始估计图像H0。易得，3.2 和3.3 节的过程后，图像序列已完成亚像素级精确配准，无需再加入其他的配准算法，省去了运动配准所需的时间。

3.4 迭代获取超分辨重建结果

如图5 中橘色框所示，获得了初始图像H0后，需要对H0迭代更新，以获得最终的高分辨率图像。针对低分辨率图像通常噪声较大的特点，我们采用空域去噪算法对图像建立约束，图像迭代更新方式可以由式(13)表征。

如图10 所示，同一像素点精确配准后(图10(a))，抽取多幅图像中的同一位置像素，并对单一像素空域去噪，若同一位置点的像素出现异常(图10(b)红圈)，表征为增量异常，对于增量∆Hiter(i,j)采用可接受的阈值来更新，如式(13)所示，循环更新迭代，最后获得重建的高分辨率图像。

图10 单点去噪更新模块示意。(a) 匹配多张图像的同一像素点；(b) 同点的像素值及噪点(红圈)Fig.10 Schematic diagram of denoise module.(a) Schematic of matching same pixel of multiple images;(b) Pixel value and noise points (red circle) of same pixels

4 实验结果

4.1 实验平台装置

本文提出的基于主动位移成像的图像超分辨重建算法实验装置如图11 所示。实验装置主要由一个控制平台、一个主动位移平台和一个相机组成，其中主动位移平台可以实现x,y轴方向的移动，带动相机向x,y轴方向移动，同时记录位移，记录精度为0.1 µm。本次实验采用SCMOS 相机PCO.edge4.2，像元大小为6.5 µm，相机与目标距离为0.7 m 整体实验装置非常简单，为了验证确实获取了最优的相机像面与图像像素间的仿射关系，证明实验具有可行性。设计像面-像素采样验证实验，分别在25 个点位获取同一场景的点图(图12)，将相机位置P带入式(8)中，获得像素位置理论解,与实际的点位置p相比较。

图11 主动位移成像的实验装置实景搭建Fig.11 Experiment sets of the active displacement imaging method

图12 实验采样相机位置图Fig.12 Camera position (red point)

对比结果如图13 所示，其中红色‘+’字标注的为实际的位置p，蓝色‘x’字为相机位置P通过式(8)求出的位置，可以看到25 个相机运动点位都精确对应到了实际成像图像的每一个点上。其中，差别均小于0.01 个像素，最大差别为0.009 个像素(图13(b)红色圆圈标出)，代表即使当超分尺度为5 时，精度仍然符合要求,可以达到亚像素精度条件。实验结果证明，实验装置和式(8)理论上具有实现基于主动位移成像的图像超分辨重建的基础条件。

图13 验证对比结果。(a) 25 点对比结果；(b) 25 点对比误差Fig.13 Comparison result between ground truth and calculation.(a) Comparison result at 25 points;(b) Comparison of error at 25 points

4.2 评价指标

图像的评价指标按照有无参考图像分为无参考评价指标和全参考评价指标。

当没有原始高分辨率图像时，超分辨重建算法常用图像的梯度来评价重建后的图像是否具有更多的细节信息。常用的梯度评价指标是图像平均梯度(Grad)，

其中：g(u,v)代表图像(u,v)位置的像素值，Gradx代表图像在x方向上的梯度，Grady代表图像在y方向上的梯度，G越大，代表图像边缘细节特征越多。

当有参考图像时，则常用PSNR 和SSIM[29]来评价重建结果与原图的相似程度。其中PSNR 是由均方误差(mean-square error,MSE)来获得的，MSE 则是评价SR 图与真实图像H之间像素值的差异，由式(15)给出：

其中：M、N代表图像的行列数，H(u,v)(u,v) 分别代表真实的HR 图像和重建获得的SR 图像在(u,v)处的像素值，MSE 越小则代表重建的图像与真实图像灰度值相差越小，与真实图像越接近。PSNR 的定义式表明，PSNR 越大，重建图像与真实图像在灰度上越相似。

SSIM 代表与原图的结构相似程度，由式(16)表征，

其中：H,分别代表真实的HR 图像和重建获得的SR 图像，µ代表图像的均值，σ代表图像的标准差，HR 和SR 图像的协方差由表示，C1和C2为常数，是为了避免SSIM 分母为零。SSIM 从图像的亮度、对比度、结构三个方面来评价两幅图之间的相似性，范围为(0,1)，值越高代表重建得到的图像与原图越相似。

4.3 实验结果

首先，我们对标准分辨率靶成像，来验证我们的方法能够提升图像分辨率，通常来说直接用肉眼读取分辨率靶的方法非常简单且直观，但是这种方法容易受主观因素的影响，因此，我们使用调制传递函数(MTF，Modulation transfer function)这个指标来考量图像的分辨率。如图14 所示，图14(a)为成像得到的低分辨率图。图14(b-d)三图分别是使用基于POCS的方法MFPOCS[20]、基于CNN 的方法ACNet[6]以及本文方法重建图像得到的结果。

图14 不同方法对分辨率靶进行x4 重建得到的结果。(a) MFPOCS[20]；(b) ACNet[6]；(c) OursFig.14 Super-resolution reconstruct results of different algorithms at scale of 4.(a) MFPOCS[20];(b) ACNet[6];(c) Ours

我们抽取红框所示的区域，使用MTF 指标对图像的空间分辨率进行评价，评价结果如图15 所示，其中纵坐标所示数值单位是l p/mm，数值越高，代表空间分辨率越高。可以看到，使用本文方法重建得到图像的空间分辨率高于用传统线性方法、MFPOCS[20]、ACNet[6]重建得到的图像，证明本文方法对图像空间分辨率提升具有一定的提升力。

图15 不同方法重建不同尺度下的MTF 折线图Fig.15 MTF curves of different algorithms at different scales

然后，为了验证本文提出算法对重建图像质量确有提升，本文分别使用文献[20]提出的MFPOCS 方法、最近提出的基于CNN 网络的超分辨率重建深度学习方法以及本文方法对自制的简单图(图16(a))、复杂图(图16(b))和熊猫图(图16(c))进行了重建实验，其中复杂图拥有较多的弯曲曲线以及横向和竖向的纹理，可以用于检验算法对图像细节的重建能力。

图16 原图及相应的感兴趣区域(红框)。(a) 简单图；(b) 复杂图；(c)熊猫图Fig.16 Original pictures and their ROI (red rectangle).(a) Simple image;(b) Complex image;(c) Panda image

4.3.1 基于主动位移成像的图像初始帧估计

注意到通常的POCS 算法都是将低分辨率图像简单插值，这样会导致初始估计不准确，像素间的信息不充足，导致上采样得到的图像模糊。图17 可以看到最近邻插值算法有很严重的块效应，双三次线性插值算法重建得到的结果中图像边缘存在锯齿效应，本算法得到的结果在精度上的改进清晰可见。相比传统插值方法，本文提出的亚像素插值方法拥有更好的边缘细节信息，有利于后续的凸集投影计算。

图17 基于主动位移插值与传统插值方法对比(4×倍)。(a) Ground truth；(b) Ours；(c) Linear；(d) BicubicFig.17 Comparison of the traditional interpolation and our interpolation at 4 times.(a) Ground truth;(b) Ours;(c) Linear;(d) Bicubic

4.3.2 超分辨重建结果

图18 黄框是改进的 POCS 算法 MFPOCS[20]对图16(a)的重建结果，图19 黄框则是对应的感兴趣区域的重建结果，从左到右依次是 2 至 5 倍超分辨率。可以看到当超分尺度为2 时，MFPOCS 算法重建效果非常好,但随着超分尺度的增加，MFPOCS 算法出现了边缘震荡效应。这是因为POCS 算法依赖初始估计，若保证初始估计帧的优良选取，重建效果将会变得更好。如图17 所示，本文保证了初始参考帧的的优良选取，为了验证重建效果是否会因初始帧的优良选取而变好。根据图5 所示的算法流程，对简单图进行基于主动位移成像的超分辨重建。如图19 红框所示，可以看到超分尺度为5 时，依然可以维持较好的边缘细节。与MFPOCS[20]方法(黄框)和ACNet[6]方法(绿框)对比，当超分尺度为5 时，本文提出的方法边缘毛刺现象明显改善，重建效果有明显提升。

图18 对简单图进行不同尺度超分辨率重建得到的结果：MFPOCS[20]方法(黄框)；ACNet[6]方法(绿框)；本文方法(红框)Fig.18 Super-resolution reconstruction results of simple image at different scales using the algorithms of MFPOCS[20](yellow rectangle),ACNet[6] (green rectangle) and ours (red rectangle)

图19 对简单图感兴趣区域的超分辨重建结果：MFPOCS[20]方法(黄框)；ACNet[6]方法(绿框)；本文方法(红框)Fig.19 Super-resolution reconstruction results of ROI of simple image at different scales using the algorithm of MFPOCS[20] (yellow rectangle),ACNet[6] (green rectangle) and ours (red rectangle)

为了使得效果更加明显，我们采用自制复杂图这类细节和边缘较多的图像作为目标图像，分别用最近的基于POCS 的方法MFPOCS[20]、最近的基于CNN网络的方法ACNet[6]及本文方法进行超分辨率重建。

图18、图20 和图21 分别是应用MFPOCS[20](黄框)、ACNet[6]方法(绿框)以及本文方法(红框)对图16(a-c)的重建结果，从左到右依次是2 至5 倍超分辨率。抽取出感兴趣区域后(图19、图22 和图23)可以看到，在超分尺度为2 时，MFPOCS[20]、ACNet[6]方法与本文方法相比，人眼看不出重建结果的区别，但是随着超分辨倍数的增加，ACNet[6]方法重建结果变得越来越平滑，至4 倍超分辨率时，ACNet的图像边缘细节模糊(图22(b)从上往下第二幅图)，本文方法相比于ACNet 方法重建结果边缘保持效果较好。人眼视觉感知下，对图像质量的评价受到主观因素的影响，各算法重建结果存在不确定性。因此，我们需要对图像采用客观评价指标来评价。

图20 对自制复杂图进行不同尺度超分辨率重建得到的结果：MFPOCS[20]方法(黄框)；ACNet[6]方法(绿框)；本文方法(红框)Fig.20 Super-resolution results of the complex image using the algorithms of MFPOCS[20] (yellow rectangle),ACNet[6] (green rectangle) and ours (red rectangle)

图21 熊猫图重建结果：MFPOCS[20]方法(黄框)；ACNet[6]方法(绿框)；本文方法(红框)Fig.21 Super-resolution reconstruction results of panda image at different scales using the algorithms of MFPOCS[20](yellow rectangle),ACNet[6](green rectangle) and ours (red rectangle)

图22 复杂图感兴趣区域重建结果：MFPOCS[20]方法(黄框)；ACNet[6]方法(绿框)；本文方法(红框)Fig.22 Super-resolution reconstruction results of the complex image at different scales using the algorithms of MFPOCS[20] (yellow rectangle),ACNet[6] (green rectangle) and ours (red rectangle)

4.3.3 结果图像客观质量评价

为了更客观地评价图像重建后的质量，利用PSNR、SSIM 和平均梯度三个指标对得到的重建结果图像做客观质量评价。

对比不同尺度下的结构相似性(表1)，结构相似性从图片的亮度、结构和对比度三个方面来评价两张图片的相似性。可以看到，本文方法在重建简单图和复杂图这两类图时，得到的超分辨图像结构相似性值都高于最近提出的MFPOCS 方法[20]和基于CNN 的深度学习算法ACNet[6]，证明本文方法重建得到的图像在亮度、对比度和结构三个方面都更接近原图。对比PSNR，由表2 可知，本文方法重建结果的PSNR优于最近提出的基于POCS 的重建方法MFPOCS[20]，与最近的基于CNN 的深度学习算法ACNet[6]方法相比呈现有竞争力的结果，代表本文方法重建得到的超分辨图像失真程度小于最近提出的MFPOCS 方法并与基于CNN 的深度学习算法ACNet[6]保持图像的能力相当，并且，即使超分尺度为5，图像的失真程度仍然可以接受，本文算法的图像降质不与尺度的增大呈相关关系，这是因为本文算法中的选图模块会根据尺度的不同选择不同的重建图像，即对于不同尺度的重建图像，提供亚像素互补信息的低分辨率图像不同，低分辨率图像的数量也不同，因此，图像的重建质量不会随着尺度的增加而变差。除此之外，多帧图像超分辨重建本质上是将多帧图像包含的信息结合起来，采用平均梯度来评价图像是否具有更多的信息和更丰富的细节。结合表3 所示的平均梯度对比结果和图22 可知，随着图像的超分尺度增高，图像的平均梯度所代表的图像细节变得越来越平滑，最近提出的MFPOCS 方法[20]相对于线性插值和双三次插值超分而言较好地保持了图像细节信息，但本文提出的改进方法相比MFPOCS，保持细节的能力更强，梯度细节保持能力提升18%。基于CNN 的方法较好地保持了图像细节，但是在人眼视觉感知评价下，本文方法能保持更微小的图像细节。

表1 三种算法重建结果的SSIM 对比Table 1 SSIM of three algorithms

表2 三种算法重建结果的PSNR 对比Table 2 PSNR of three algorithms

表3 三种算法重建结果的平均梯度对比Table 3 Mean gradient of three algorithms

结果表明，本文提出的基于主动位移技术的超分辨重建方法：

1) 在PSNR、SSIM、图像平均梯度指标上，优于最近提出的基于POCS 的算法MFPOCS；与最近提出的基于CNN 的深度学习方法ACNet 相比具有竞争力；

2) 提供了更准确的初始参考帧，提升重建结果质量；

3) 在重建超分辨图像的同时，本文方法也可以提升图像质量，并有人眼可见的效果。

5 结 论

本文提出了一种基于主动位移的超分辨重建技术，该技术通过相机主动位移获取多帧具有亚像素信息的图像，使用这些亚像素信息重建得到2 至5 倍的超分辨率图像。另外，提出的主动位移技术无需特定的扫描方式和极高的实时到位精度，解决了微扫描成像技术的一大难点，并且能够通过选图和解算构造稳定高质量的初始估计帧，规避了POCS 方法的固有缺点。在人类主观视觉感知系统上，对比经典插值超分辨重建算法有明显的分辨力提升。在PSNR、SSIM 和平均梯度等客观评价指标上，优于最近提出的MFPOCS 算法，具有良好的梯度细节保持能力。本文算法无需预先建立数据集来训练网络，只需要装置设备时获取参数，具有应用于多种真实场景的潜力。但本文所提的方法并未验证当目标图像光照不均匀或噪声剧烈时的算法重建效果。未来的工作将聚焦于提升对光照不均匀图像重建的鲁棒性、低照度图像空域去噪[30]，弱离焦修正[31]以及与现有的深度学习方法耦合等方面。