集成超分辨率重建的图像压缩编码新型框架及其实现

何小海 吴 笛 滕奇志 卿粼波 黄建秋

（四川大学电子信息学院，成都，610064）

引 言

把超分辨率重建技术和传统图像编码方法结合起来以得到更好的压缩效果是近年来研究的前沿方向［1-2］。在此类编码算法中，核心之一在于解码图像客观质量，因为只有在相同的解码图像峰值信噪比（Peak signal to noise ratio，PSNR）前提下比较比特率的降低，其编解码算法才具有说服力。而影响解码图像客观质量重要因素之一是超分辨率重建图像质量。对于视频，由于相邻帧图像相关性较高，可以利用其各种相关性如选择关键帧［3-5］、选择性下采样［6-7］等算法来提升超分辨率重建图像质量。文献［8］提出一种基于区域分割的超分辨率重建的视频压缩编码算法，该算法在编码端对原始视频序列图像进行选择性区域分割并下采样，接着对下采样视频采用MPEG-2标准编码。在解码端对相关参数和下采样图像序列进行解压并对下采样图像序列采用不同超分辨率算法进行重建，得到最终解码重建图像。该算法虽然尝试性地把超分辨率融合到了视频编码标准中，和MPEG-2相比，比特率有一定程度降低，但比特率的降低不是在相同的PSNR下进行比较，算法的实用性还需进一步研究。另外，由于算法中使用了基于配准的超分辨率重建技术，而目前尚未有较为成熟的配准算法能够针对所有类型视频进行精确配准，所以该算法普适性还有待提升。文献［9］提出一种把超分辨率融合到 H.264/AVC［10］标准框架中的编码算法。该算法在编码端原始视频进行下采样并编码，在解码端分别用运动估计信息和双三次插值重建B帧和P帧，并计算率失真代价决定宏块使用哪种重建方式为佳。该算法在低比特率情况下较H.264/AVC比特率有一定程度降低，但对于包含复杂纹理和剧烈运动的视频，由于下采样后低分辨率视频冗余较大，导致在高比特率情况下比特率未能有效降低。

相比视频，静止图像由于只有单幅图像，本身缺少足够的额外先验知识，这更加限制了重建图像的质量提升。文献［11］提出一种基于采样-重建的静止图像压缩编码算法。该算法在编码端对原始图像进行下采样后进行JPEG2000编码，在解码端采用基于特征字典学习重建算法，即用学习过程中得到的基元信息来恢复在下采样过程中丢弃的高频信息，在一定程度提高了重建图像质量。但该算法只从超分辨率单一环节进行了改进，超分辨率重建图像质量提升程度有限。从实验结果看，和JPEG2000相比，该算法只是提升了解码图像的主观质量，而实际编码比特率未能有效降低。在此基础上，文献［11，12］又提出一种基于特征字典学习和卡尔曼滤波运动估计的视频压缩编码算法。该算法是针对视频在上述算法基础上，为了进一步提高解码重建图像质量，在超分辨率重建后加入了卡尔曼滤波运动估计。但该算法仍未在相同的PSNR下比较比特率的减少，算法把字典学习过程放在解码框架内，这使得解码时间大幅度增加。另外，算法实验结果只显示了低比特率下的情况，其算法的实用性和普适性有待提高。

本文提出了一种新的集成超分辨率重建的图像压缩编码算法框架。该框架的目标在于，提升最终解码图像质量的同时，有效降低编码比特率。在编码端超分辨率重建环节使用事先训练好的字典，并结合基于信号稀疏表示理论的图像超分辨率算法对下采样图像进行超分辨率重建，提高了超分辨率重建图像客观质量。同时，在算法框架中还设计了反馈环节，以确保在大幅提高最终解码重建图像客观质量的同时，有效地降低编码比特率。

1 集成超分辨率重建的图像压缩编码新型框架

图1为本文所提框架编码端和解码端。

（1）编码端处理过程，图像编码主要包括以下步骤：

（a）将输入图像采用Bicubic方法以因子2下采样，得到下采样后的图像；

（b）对下采样后的图像用JPEG标准进行编码，得到压缩的下采样数据，再用JPEG标准对压缩的下采样数据进行解码，得到解码后的下采样图像；

（c）对解码后的下采样图像采用基于信号稀疏表示理论的图像超分辨率算法进行超分辨率重建，得到与原输入图像大小一致的超分辨率重建图像；

（d）用输入图像减去超分辨率重建图像，得到残差辅助图像；

（e）将步骤（d）获得的残差辅助图像用JPEG标准进行编码，得到压缩的残差辅助图像数据；

（f）将步骤（b）的压缩后的下采样数据和步骤（c）的压缩的残差数据合并，得到原始输入图像总的压缩后的数据。

（2）解码端处理过程，图像解码主要包括以下步骤：

（a）对接收到的原始输入图像总的压缩数据，对其中的残差数据用JPEG标准进行解码，得到重建后的残差辅助图像；

（b）对接收到的原始输入图像总的压缩数据，对其中的下采样数据用JPEG标准进行解码，得到重建后的下采样图像，对其采用与编码端相同的算法进行超分辨率重建，得到下采样图像的超分辨率重建图像，其图像大小与原始输入图像一致；

（c）把步骤（a）得到的重建残差辅助图像和步骤（b）得到的下采样图像超分辨率重建图像相加，得到输入图像的解码重建图像。

在本文所提编解码框架中，超分辨率重建算法以及残差辅助图像压缩编码效率，是影响最终解码重建图像质量和比特率的两个重要环节。此外，从图1可以看出，本文总编码比特率为下采样后图像编码比特率与残差辅助图像编码比特率之和，且这两部分都是采用JPEG标准编码，而这两部分编码的量化参数（Quantization Parameter，QP）如何优化，以实现框架编码质量控制参数的单一化也是本文研究的内容之一。

图1 本文所提编解码框架Fig.1 The proposed video compression framework via underlying super-resolution reconstruction

1.1 单幅图像超分辨率算法

目前，单幅图像超分辨率重建方法主要有基于插值［13］、基 于 建 模［14-17］和 基 于 学 习［18-23］的 算 法。在本文所提框架中，为了尽量减少额外的比特率开销并减少编解码时间，本文构建了一种组合的算法。首先，使用文献［18］算法事先训练得到字典，这样字典就不需要进行传输，而后结合文献［22］中的重建算法对下采样图像进行超分辨率重建，其过程如下：

通过字典学习得到的先验知识（Dl，Dh）后，接下来利用得到的先验知识重建出对应的高分辨图像块ph。设pl为低分辨率图像块，ph为对应需要重建的高分辨率图像块。首先，低分辨率图像块pl在低分辨率字典Dl上进行稀疏表示

具体来说，稀疏表示系数β通过求解下列一个基于错误容差约束的优化问题（OMP贪婪算法）得到

然后对应高分辨率图像块ph由同样的稀疏表示系数β在高分辨率字典上得到重建

最终得到一系列有像素重叠的高分辨率图像块（例如5×5，3×3），把这一系列图像块连接起来即得到重建的高分辨率图像。采用这种组合的方法与文献［18］相比，不仅保证了超分辨率重建图像质量，还减少了重建所消耗的时间。像素所在边缘的方向和强度，对强边界上的HR像素，直接沿估计出的边缘方向采用一维双三次方法内插，对于弱边界像素，融合其邻域具有最大梯度两方向的垂直方向上的一维双三次内插结果进行内插。

1.2 反馈环节分析

为了提高最终解码重建图像质量，反馈是本文所提框架一个重要环节，即在编码端用原始输入图像减去超分辨率重建图像，得到残差辅助图像，进而利用该残差辅助图像弥补在超分辨率图像重建环节中损失的高频细节信息。在反馈环节中，残差辅助图像需要进行编码，本文利用残差辅助图像与一般图像的差异，在保持较高解码重建图像质量的同时，保证了较低的残差辅助图像编码比特率。

图2为本文算法超分辨率重建图像与最终解码图像。其中图2（b）的残差辅助图像为图2（a）原始图像减去图2（c）超分辨率图像所得，图2（d）是在残差辅助图像用JPEG标准在编码QP＝90时本文算法的最终解码重建图像，图像左上角为局部放放大区域。可以看出，本文算法最终解码重建图像与超分辨率重建图像相比，图像质量有大幅度提高，这说明残差辅助图像弥补了超分辨率重建图像中缺失的图像信息。

为了验证残差辅助图像在不同QP下对于最终解码图像质量的影响，实验中进一步用不同的QP对图2（b）残差辅助图像进行编码，以观察最终解码图像的PSNR和SSIM值的变化情况，实验结果如表1所示。超分辨率重建图像PNSR＝34.17，SSIM＝0.899 3。

从表1可以看出，在使用本文所提超分辨率算法得到的超分辨重建图像PNSR＝34.17情况下，通过反馈环节后，最终解码图像质量在残差辅助图像各编码QP下都有大幅度提高，其中最多提高3.9dB。另外，为了证明与客观PSNR的一致性，本文计算了与主观质量评价关联性较强的图像的结构相似性（Structural similarity index Measurement，SSIM）值，发现与客观PSNR呈现相同的规律。这说明本文设计的反馈环节在主、客观上都能够有效地提高最终解码图像质量。本文对大量测试图像进行上述验证，均得到了一致的结论。

图2 本文算法超分辨率重建图像与最终解码图像Fig.2 Comparison between final reconstructed image and SR image

表1 的残差辅助图像在各QP下对应的最终解码重建图像PSNR和SSIM值Tabel 1 Performance evaluation of different QP

在得到较高解码重建图像质量的情况下，由于残差辅助图像也要进行编码传输，故本文进一步分析如何可以得到较低的残差辅助图像编码比特率。图3为本框架中Lena图像残差辅助图像编码比特率和最终解码重建图像PSNR之间的关系。

可以看出，关系曲线从增长趋势看，图3分为两段。第一段当残差辅助图像编码比特率在0.3～0.8时，最终解码重建图像PSNR提升趋势较为明显，大约1.5dB，这说明最终解码重建图像PSNR在残差辅助图像引入初期会有一个明显提升，也进一步说明残差辅助图像能够有效地提高最终重建解码图像质量。第二段当比特率从0.9增加到2.2，而最终解码重建图像PSNR却只上升了1dB左右，最终解码重建图像PSNR提升趋势明显减缓，这说明在一定最终解码重建图像质量情况下，不需要继续增加残差辅助图像编码比特率，就可以得到较高的最终解码重建图像质量。同时可以看出，在残差比特率大于1以后，最终图像的质量已经比较好。综上表明，可以只用较低的残差辅助图像编码比特率就能得到较高的最终解码重建图像质量。而残差辅助图像编码比特率的降低即意味着框架总编码比特率的降低。

图3 残差辅助图像编码比特率和最终解码重建图像PSNR关系Fig.3 The relationship between bitrate of residual image and PSNR of final reconstructed image

1.3 框架量化参数单一化分析与优化

在本文所提编解码框架中，由于最终编码比特率为下采样后图像编码比特率和残差辅助图像编码比特率之和，因此定义最终编码比特率为

其中，假设Bitrate1为原始图像直接采用JPEG编码的比特率，由于本文采样为以因子2下采样，下采样图像点阵数为原图像1/4，故下采样图像编码比特率大致为Bitrate1/4；Bitrate2为步骤（5）中残差辅助图像编码比特率。由于下采样图像和残差辅助图像各自编码QP对最终比特率有明显影响。所以Bitrateproposed的取值大小，相当于是根据在步骤（2）和步骤（5）中分别多次设置不同量化参数，以在相同解码重建图像PSNR下，总的比特率最小化问题。

此外，在本文框架中通过对大量不同内容、分辨率图像进行实验发现，当下采样图像编码比特率大致达到原始图像单独编码比特率50%以上时，总的编码比特率与JPEG标准相比降低幅度较小甚至有可能升高。这是因为在本框架中下采样图像和残差辅助图像都要编码传输，当下采样图像编码比特率过大时，即使残差辅助图像达到较小的编码比特率，其两者和值仍然较大。相反地，当下采样图像编码比特率过小时，由于其自身图像质量较低，造成超分辨率重建图像质量降低，这使得残差辅助图像比特率增大，也会导致总编码比特率上升。

本文进一步通过大量实验总结出，当下采样图像编码QP在50左右时，其最终编码比特率在保证最终解码图像有较为满意的PSNR的情况下，达到相对稳定。故本文所提框架算法中设置下采样图像编码QP的默认参考值为50。

由1.2节分析可知，一方面，残差辅助图像可以大幅度提高最终解码图像质量。另一方面，有可能在保持自身较低的编码比特率情况下，同时得到较高的最终解码重建图像质量。故本文仅把残差辅助图像编码QP作为单一编解码量化控制参数。这里，残差辅助图像编码QP类似于JPEG标准中的质量控制因子。

2 实验结果及分析

本文算法实验中采用的编解码标准为JPEG标准。从目前查阅的国内外针对静止图像的结合超分辨率重建的图像编码算法来看，其研究还处于起步阶段，大多数算法都只是在主观编码图像质量上和现有标准进行了比较。而从压缩编码研究的实用意义出发，本文研究目的是在相同客观编码图像质量（相同PSNR）下，和现有编码标准比较，大幅度降低编码码率。由于现有的针对基于超分辨率的静止图像压缩编码算法大多均未有效降低编码比特率，和本文算法的可比较性不强。另外，本文所提框架中的编码环节可以采用任意编码方法（如JPEG2000等），在相同条件下与对应标准（如JPEG2000）比较，理论上是相同的，其实验结果也应呈现相似的趋势。所以这里只和JPEG标准做比较。其目的是能够清晰地得到，在相同解码图像PSNR情况下，编码比特率的降低程度。

表2为本文算法和JPEG标准在相同解码图像PSNR情况下，编码比特率和压缩倍数的比较。为了证明本文算法的有效性，下采样图像编码QP为默认参考值50，同时保证其最终解码重建图像质量均保持在人眼没有明显感觉失真。在此条件下，残差辅助图像QP从90～30，间隔为10，分别进行多次编解码取得的平均值。

可以看出，本文算法无论在高比特率或者低比特率情况下，编码比特率都远低于JPEG标准，其中比特率最多降低58.20%，平均降低37.48%。相应地，本文算法压缩比在同等条件下也明显高于JPEG标准。

表2 本文算法与JPEG编码比特率及压缩倍数比较Table 2 BD-rate and compression ratio comparison

为了更清晰地说明本文框架算法的优势，图4为图像Lena在相同参数条件下，本文算法和JPEG率失真曲线图。可以看出，本文算法较JPEG标准在相同PSNR下，比特率有较大幅度降低。

图4 Lena率失真曲线图Fig.4 Rate-distortion performance of Lena

3 结束语

本文提出了集成超分辨率重建的图像压缩编码新型框架，并实现了其完整的编解码算法。在保证解码重建图像质量一致的前提下，本文算法大幅度降低了编码比特率。另外，本文通过大量实验总结实现了整体框架编码控制量化参数的单一化，为框架的实用化创造了条件。实验表明，与JPEG标准相比，在解码重建图像具有相同的PSNR情况下，比特率最多降低58.20%，平均降低37.48%，相应地压缩倍数也大大提高。

以JPEG，JPEG2000为主的静止图像压缩编码方法其核心部分是变换，即根据信号处理的时频分析理论，将信号中的能量集中在少数几个变换系数中，从而实现减少比特率的压缩目的。然而，经过多年的发展，变换编码方法逐渐趋于成熟，现阶段在没有更好的信号分析手段的前提下，要在标准框架内对其继续改进并且较大幅度地提升编码效率已经十分困难。本文所提出的集成超分辨率重建的图像压缩编码新型框架为有效地提升静止图像编码效率提供了新的思路和实现途径。另外，本文所提框架中的编解码标准原则上可以任意选择，目前把本框架中的JPEG部分以JPEG2000代替的实验已在进行，初步实验表明有较好的效果，这也是下一步的研究方向之一。

［1］Barreto D，Alvarez L D，Molina R.Region-based super-resolution for compression［J］.Multidimensional Systems and Signal Processing，2007，18（2）：59-81.

［2］Yang Shuyuan，Wang Min，Chen Yiguang，et al.Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding［J］.IEEE Transactions on Image Processing，2012，9（21）：4016-4028.

［3］Toshie M，Yasutaka M，Shunsuke I.Reconstructive video coding system［C］∥ The 1st IEEE global conference on consumer electronics.Tokyo：Consumer E-lectronics Press，2012，553-555.

［4］Jeffrey G，Calvin C，Michael F.Hybrid video compression using selective keyframe identiffcation and patch-based super-resolution［C］∥IEEE International Symposium on Multimedia.Dana Point CA：IEEE Computer Society Press，2011，105：111.

［5］Zhiming P，Hongkai X.Sparse spatio-temporal representation with adaptive regularized dictionaries for super-resolution based video coding［C］∥ Data Compression Conference.Snowbird：IEEE Computer Society Press，2012，139：149.

［6］Zeng H，Houqiang L，Weiping L.An adaptive downsampling based video coding with hybrid super-resolution method［C］∥ Circuits and Systems.Seoul：IEEE Circuits and Systems Press，2012，504：508.

［7］Minmin S，Ping X，Ci W.Down-sampling based video coding using super-resolution technique［J］.IEEE Transactions on Circuits and Systems for Video Technology，2011，6（21）：755-766.

［8］杨永玲.基于超分辨率重建的视频图像压缩方法的研究［D］.大连：大连海事大学，2008.

Yang Yonglin.Research of video compression based on super-Resolution ［D］.Dalian，China：Dalian Maritime University，2008.

［9］Hasan F.Decoder-side super-resolution and frame interpolation for improved H.264video coding［C］∥Data Compression Conference.Snowbird：IEEE Data Compression Press，2013，83：93.

［10］Zhong Guoyun，Qing Linbo，Wu Di，et al.An adaptive horizontal and vertical transform skip scheme for H.264/AVC［J］.Optical Engineering，2012，51（9）：097402-1-097402-11.

［11］陈静涛.基于超分辨率重建方法的图像视频压缩编码技术研究［D］.上海：上海交通大学，2012.

Chen Jingtao.Image and video compression techniques based on super-resolution reconstruction algorithm［D］.Shanghai，China：Shanghai Jiaotong University，2012.

［12］Yang Jianchao，John Wright，Thomas Huang，et al.Image super-resolution via sparse representation［J］.IEEE Trans on Image Processing，2010，19（11）：2861-2973.

［13］Zhou Fei，Yang Wenming，Liao Qingmin.Interpolation-based image super-resolution using multisurface fitting［J］.IEEE Trans on Image Processing，2012，7（21）：3312-3318.

［14］Dong W，Zhang L，Shi G，et al.Nonlocal back-projection for adaptive image enlargement［C］∥ IEEE International Conference on Image Processing.Cairo：IEEE Image Processing Press，2009：349-352.

［15］Wu Wei，Liu Zheng，Gueaieb W，et al.Single-image super-resolution based on Markov random field and contourlet transform ［J］.Journal of Electronic Imaging，2011，2（20）：223-241

［16］谢伟，陈皓，秦前清.基于多帧视频序列的盲超分辨率影像重建［J］.数据采集与处理，2011，26（1）：1-7.

Xie Wei，Chen Hao，Qin Qianqing.Blind super-resolution image reconstruction based on multiframe video sequence［J］.Journal of Data Acquisition and Processing，2011，26（1）：1-7.

［17］韩玉兵，陈如山，吴乐南.基于小波域隐马尔可夫模型的信号超分辨率重建［J］.数据采集与处理，2011，26（3）：292-299.

Han Yubing，Chen Rushan，Wu Lenan.Signal super-resolution reconstruction based on wavelet-domain HMM ［J］.Journal of Data Acquisition and Processing，2011，26（3）：292-299.

［18］Yang Jianchao，John Wright，Thomas Huang，et al.Image super-resolution via sparse representation［J］.IEEE Trans on Image Processing，2010，19（11）：2861-2973.

［19］吴巧玲，倪林，何德龙，等.基于非下采样Contourlet变换的指纹图像超分辨率重建 ［J］.数据采集与处理，2012，27（2）：173-132.

Wu Qiaoling，Ni Lin，He Delong，et al.Fingerprint image super-resolution reconstruction based on nonsubsampled contourlet transform ［J］.Journal of Data Acquisition and Processing，2012，27（2）：173-132.

［20］Wu Wei，Liu Zheng，He Xiaohai.Learning-based super resolution using kernel partial least squares［J］.Image and Vision Computing，2011，29（6）：394-406.

［21］曹杨，李晓光，王素玉，等.基于预分类学习的超分辨率复原算法［J］.数据采集与处理，2009，24（4）：514-518.

Cao Yang，Li Xiaoguang，Wang Suyu，et al.Preclassified learning based image super-resolution algo-rithm ［J］.Journal of Data Acquisition and Processing，2009，24（4）：514-518.

［22］Lei Xiang，Wu Wei，Zifei Liang，et al.Single remote sensing image supper-resolution based on sparse representation theory with self-trained dictionary learning［J］.Journal of Computational Information Systems，2012，8（8）：3269-3283.

［23］Zhengping Ji，Wentao Huang.Learning sparse representation via a nonlinear shrinkage encoder and a linear sparse decoder［C］// Neural Networks （IJCNN）.Brisbane：IEEE Neural Networks Press，2012，1：8.