一种战场红外与可见光灰度侦察图像融合方法∗

张 靓

1 引言

随着空间技术的快速发展以及新型传感器的不断出现，人们能够获取大量的不同空间分辨率、不同时间分辨率、不同光谱分辨率的图像。在当前复杂的军事战场环境中可见光成像、红外成像等是获取场景图像并进行目标探测的常用手段，成像方式成像机理相差较大，各有特点。

可见光图像传感器主要根据物体的光谱反射特性成像，它只与目标场景的反射有关与其他无关，所以可见光图像包含了丰富的地物光谱信息，能够很好地描述场景中的环境信息，反映真实目标情况。但是在战场实际环境中，出现烟雾等遮挡时，就无法观察出遮挡的目标［1］。红外传感器主要根据物体的热辐射特性成像，它可以提供温度梯度较大或与背景有较大热对比的低可视目标的红外图像，红外图像很好地给出了目标存在特性和位置特性，具有识别目标高温伪装的能力，不易受战场上风沙烟雾等复杂条件的影响。但是目标边缘模糊，并且对场景的亮度变化不敏感［2］。从二者的特点可以看出，红外与可见光图像具有很好的信息互补性，将二者进行图像融合，能够提高系统的探测能力，在战场侦察中具有重要的应用价值。

目前，红外图像与可见光图像融合的方法主要可以分为两大类：空域法与频域法［3］。空域算法主要包括加权平均、逻辑滤波器法、数学形态学法［4］等，频域法主要包括基于IHS变换法［5］、基于小波变换的方法［6］、基于轮廓波变换的方法［7］等。

同时，红外与可见光图像融合算法的优劣还取决于融合规则的选取。常见的融合规则主要有像素取最大值法、像素取最小值法、像素平均值法、像素加权平均法、梯度准则、局部能量法等，由于基于像素点的图像融合规则具有方便快捷等优点，本算法的融合规则采用基于像素点的融合规则［8］。

红外图像与可见光图像是战场中常用的两种目标场景图像，本文针对战场中这两种图像的融合进行了研究，首先通过双三次插值对红外图像进行超分辨率恢复得到与可见光图像分辨率相同的图像，进而利用基于互相关的图像配准算法对源图像进行配准，最后用基于伪彩色的图像融合方法对两种灰度图像进行融合，得到一幅伪彩色融合图像，提高了视觉效果，同时保留了二者的有效信息。

2 基于伪彩色的图像融合过程

本文提出的红外图像与可见光灰度图像融合过程总体流程图如图1所示，主要包括红外图像的超分辨率重建，得到一幅与可见光图像分辨率相同的图像。进而选取与可见光图像中相同的目标区域，进行图像配准，进而对配准好的图像利用基于伪彩色的图像融合方法进行融合，得到最终的融合结果。

2.1 超分辨率重建

红外图像往往具有成像质量不高、分辨率低的问题，因此首先需要对红外图像进行超分辨率重建。当前，基于插值的方法是超分辨率研究中最为直观的方法。通过对图像的多帧进行比较估计，得到它们之间的相对关系信息，以此获得高分辨率图像在非均匀间距采样点上的像素值，然后通过双三次插值，就可以得到一幅高分辨率的图像。

双三次插值又称立方卷积插值，是一种比双线性插值更为复杂的插值方式，它能创造出比双线性插值更平滑的图像边缘［11］。利用采样点周围4×4邻域内的16个点的灰度值作三次插值，不仅考虑到4个直接相邻点的灰度影响，而且考虑到各邻点灰度值变化率的影响。三次运算可以得到更接近高分辨率图像的放大效果，但也导致了运算量的急剧增大，此算法需要选取插值基函数来拟合数据。

如图2所示为原始红外图像，图像分辨率为278×179，经过双三次插值处理得到与可见光图像分辨率相同的图像如图3所示，插值后分辨率为472×351。由处理后的图像可见，经过双三次插值后的图像很好地保留了图像细节部分。

2.2 图像配准

从本质上看，红外和可见光图像的配准属于多源图像配准的范畴［12］，是指依据一些相似性度量决定图像间的变换参数，使从不同传感器、不同视角、不同时间获取的同一场景的两幅或多幅图像，变换到同一坐标系下，在像素层上得到最佳匹配的过程。待配准图像相对于参考图像的配准可定义为两个二维数组，分别用I1(x ，y )和 I2(x ，y )表示。配准即要将图像I1中某一点映射到I2中的新位置I2(x ′，y′)，用表达式描述为

其中 f为二维空间变换，将变换后的像素点插值重采样。

目前图像配准主要可以分为三类：灰度信息分析配准、变换域分析配准、特征分析配准方法。灰度信息分析配准方法主要是通过直接对灰度信息进行处理来求取待配准图像和参考图像之间的坐标变换关系。

在异质图像配准中，考虑到成像原理的截然不同，比如红外图像与可见光图像中图像的统计特性往往描述不同，导致相似性度量准则的误匹配率很高，近年来，信息论的快速发展给基于灰度的图像配准在异质图像中的应用带来了新思路，基于互信息分析方法在异质图像配准中取得了较好的效果［13］。本算法针对红外图像与可见光灰度图像也采用基于互信息分析的配准方法。

互信息是用于衡量两个随机变量的统计相关度［14］，表示随机变量之间相互包含的信息量，如果待配准图与参考图之间完美配准，那么其对应像素点的互信息应该达到峰值，互信息MI( )I1，I2为

式中，H(I1)和H(I2)分别表示I1和I2完全独立时的边缘概率分布，pI1，I2(a，b)表示两者的联合概率分布。

基于互信息分析的方法是将灰度强度作为随机变量，当完全对准时，可以根据待配准图像的某一坐标上的灰度强度来较好地估计出另外一幅图上对应坐标的强度值。图像的配准位置即互信息最大时的位置，计算配准参数的过程就是寻找这个最大值的过程。通过配准后的图像如图5所示，图5中可看到配准后地面更接近水平位置，与可见光图像视角一致。

2.3 基于Toet的图像融合

Toet等［9］提出的可见光和红外伪彩色图像融合方法，是一种模仿生物学中颜色对抗机制的方法，它是较早的进行颜色融合输出的报道之一，其原理如图6所示。

该算法分为三个步骤，首先找出两个输入图像，即可见光和红外图像的相同部分；然后将两幅输入图像分别减去相同部分构成的图像，得到红外图像和可见光图像的特有成分图像；最后，用红外图像减去可见光图像的特有部分，馈入R通道，用可见光图像减去红外图像的特有部分，馈入G通道，用可见光图像的特有成分减去红外图像的特有成分，馈入B通道，这样就得到了融合图像的RGB图像［10］。

由于在战场复杂环境中使用较多的是灰度可见光与红外图像，因此本文提出基于Toet伪彩色理论的图像融合方法，利用人眼对彩色的分辨率要高于对灰度的分辨率，在融合中用不同的彩色表现细节上的差异。

3 试验验证及融合效果分析

本文的试验平台是一台CPU主频为3.60GHz、8G内存，英特尔I7-4790处理器的PC，使用的是Visual Studio 2010与QT 5.2的编译环境。本节选取一组同一场景的红外与可见光图像进行融合仿真实验。图7为经过插值并且经过配准后的红外图像，图8为可见光图像，对源图像进行融合算法处理后得到的结果如图9所示。

从主观视觉效果来看，本文方法得到的融合图像比源图像边缘更清晰，细节和纹理保留较为完整，同时彩色图像比灰度可见光图像具有更好的视觉效果，有利于辨识图中敌情。

为了客观，定量评价融合图像的质量，判断融合后的图像继承源可见光灰度图像和红外图像的信息量的大小，采用条件交互信息量的方法衡量源图像融合图像转移的信息量。融合图像F和源图像A、B的条件交互信息量计算公式为［15］

式中，H(A ，B)表示源可见光图像和红外图像的联合熵，定义为

CMI的值越大，表示融合图像从源图像中获取的信息越丰富，融合效果越好，1表示源图像的全部信息都转移到了融合图像，这是理想情况。计算试验中的源图像和融合图像的CMI值为0.86658，根据经验，这表明了融合图像从源图像继承的分辨率、对比度等信息量很大，融合图像满足战场分析的需要。

4 结语

在实际战场侦察中，可见光图像与红外图像应用居多，本文为了解决战场上红外图像分辨率低、灰度范围狭窄，可见光受烟雾等遮挡的问题，提出了一种利用伪彩色融合对二者进行融合的方法。融合后的结果图像不仅保留了红外图像中检测到的隐藏目标，还保留了可见光图像的高分辨率及纹理信息，融合后的彩色图像更有益于战场上指挥员对战场图像的判读，能够更加有效地发现和识别目标，获取更加丰富和直观的战场态势感知。

［1］敬忠良，肖刚.图像融合：理论与应用［M］.北京：高等教育出版社，2007.

［2］李慧.遥感图像融合算法的研究［D］.哈尔滨：哈尔滨理工大学，2009.

［3］杨帆.数字图像处理与分析.第2版［M］.北京：北京航空航天大学出版社，2010.

［4］金益如.多源遥感图像融合算法及其效果评价研究［D］.合肥：合肥工业大学，2016

［5］杨斌.基于IHS变换和稀疏表示的遥感图像融合［C］//2010年全国模式识别学术会议，重庆，2010.

［6］Adu J，Gan J，Wang Y，et al.Image fusion based on nonsubsampled contourlet transform for infrared and visible light image［J］.Infrared Physics&Technology，2013，61（5）：94-100.

［7］基于轮廓波变换的图像融合算法研究［D］.哈尔滨：哈尔滨工业大学，2013.

［8］Chen Y，Xue Z，Blum R S.Theoretical analysis of an information-based quality measure for image fusion［M］.Elsevier Science Publishers B.V.2008.

［9］Toet A，Walraven J.New false color mapping for image fusion［J］.Optical Engineering，1996，35（3）：650-658.

［10］黄光华，倪国强，张彬.基于Land实验的可见红外伪彩色图像融合方法［J］. 光学技术，2007，33（1）：98-101.

［11］高成敏，陈良，林永和.双三次卷积模板算法［J］.计算机工程与应用，2009，45（17）：151-154.

［12］陈煜，田裕鹏，图像融合中的图像配准方法研究［J］.激光与红外.2004，34（1）：34-36

［13］叶传奇.基于多尺度分解的多传感器图像融合算法研究［D］.西安：西安电子科技大学，2009.

［14］Zhao J，Zhou Q，Chen Y，et al.Fusion of visible and infrared images using saliency analysis and detail preserving based image decomposition［J］.Infrared Physics&Technology，2013，56（2）：93-99.

［15］War S A P，Malwadkar S.A Review：Image Fusion Techniques for Multisensor Images［J］.2015，04（1）：406-410.