基于双边滤波的可见光与红外图像自适应融合

唐伟， 贾方秀， 王晓鸣

(南京理工大学 智能弹药技术国防重点学科实验室， 江苏 南京 210094)

0 引言

可见光图像拥有丰富的细节纹理等信息，但当目标出现遮挡或者光线不足、雨雾等恶劣天气时，难以捕获其关键信息；而红外图像能在恶劣条件下清晰地探测到物体目标，缺点是图像分辨率相对较低[1]。可见光与红外图像融合技术能够充分融合二者的互补信息，融合之后的图像能够更加全面地描述场景特征[2]。可见光与红外图像融合技术在目标识别[3]、目标跟踪[4]、航空航天、国防安全等领域有着重要的作用。

基于多尺度变换的融合方法能够很好地提取图像的细节信息进行融合，更符合人类视觉系统，因此这类方法能够有良好的性能[5-6]。可见光图像有丰富的细节特征信息，如点、线、边缘等特征，红外图像缺少可见光图像特有的细节信息，而传统的多尺度分解方法对二者图像采用相同的多尺度分解方式来获得源图像低频和高频部分，并没有根据红外图像与可见光图像各自的特点设计不同的多尺度分解方式，因此本文根据二者独有的特性，设计了一种基于双边滤波的分解方式，在能够提取可见光细节特征的同时，又能够提取红外图像特有的信息。

通过多尺度变换能够得到图像的低频部分和高频部分，低频部分包含了源图像大部分信息，而高频部分则包含了图像细节等信息，因此往往需要根据高频与低频部分的特点设计不同的融合规则。高频部分的融合，通常采用绝对值最大的融合方法，这样的融合规则容易使得图像之间各自的信息失衡[7]。文献[8]采用区域标准差的方法来融合高频部分，通过计算3×3窗口大小的标准差来确定融合的权值，而标准差反映了数据的离散程度，由于图像高频信息往往包含点、线、边缘细节等信息，离散程度相对较高，标准差对图像高频部分不能进行有效的度量。低频部分的融合规则一般采用简单的求和平均的方法，但这种融合方法会导致低频部分某些信息的丢失，如红外图像特有的信息在平均之后会变得平滑模糊。文献[7]提出了一种基于红外图像改进拉普拉斯能量和的正则化参数来确定低频部分的融合权重，但是也需要根据具体图像场景人为设定正则化参数的值。文献[9]提出了一种利用红外信息来确定融合权重的方法，该方法虽然能更方便地选择正则化参数值，但当使用该方法融合可见光与红外图像反差较大的区域时难以调整其融合参数，不易达到理想的效果。针对以上问题，对低频部分的融合，本文提出了一种自适应正则化参数的融合方法，能够根据图像场景的不同自适应确定融合的权值。高频部分的融合，本文算法提取了源图像特有细节和局部细节，为了最大程度上保留可见光与红外图像特有的信息，特有细节部分采用绝对值最大的融合方法，而局部细节部分包括源图像大量的边缘、线等细节信息，因此本文提出了一种基于边缘能量的融合方法，通过计算其边缘能量值来确定融合的权值。

1 基于融合的双边滤波

经典的双边滤波算法能够很好地保留图像的边缘细节信息，当使用双边滤波提取图像某个尺度信息时，不能很好地提取红外图像中的人物信息，如 图1(a) 和图1(c)的人物目标，双边滤波之后红外图像特有的人物目标没有明显的变化，不易于提取人物目标。因此本节针对可见光与红外图像融合的特性，设计了一种适用于可见光与红外图像融合的双边滤波算法。

图1 两种滤波算法滤波后的图像对比

1.1 经典的双边滤波方法

双边滤波是一种能够保留图像边缘细节的非线性滤波[10]，对于明显的边缘细节信息能够较好地保留，对于局部弱小的纹理细节有一定的平滑作用。传统的高斯滤波只考虑图像像素点在空间上的位置关系，容易丢失图像的强边缘信息，双边滤波不光考虑了图像像素点之间的空间位置关系，还考虑了图像像素点与其邻域像素点的像素大小之间的关系。图像I在像素点I(x,y)的双边滤波Ib(x,y)可表示为

(1)

(2)

(3)

(4)

式中：Gσs、Gσr分别表示空间位置的滤波核、像素大小的滤波核，s、r分别为区分空间位置和像素部分的高斯标准差；σs、σr分别表示空间位置和像素大小的高斯标准差；I(i,j)表示像素点I(x,y)的邻域像素；Ω表示图像I的滤波窗口。

在原始图像像素变化较小的区域，I(x,y)与I(i,j)基本一致，即Gσr近似为1，双边滤波的效果与高斯滤波的结果基本一致，因此该滤波方法不能有效地保留局部弱小纹理细节部分。当原始图像像素大小变化明显时Gσr不能近似为1，双边滤波算法考虑到了该像素点邻域内像素值的差异，能够很好地保留图像的边缘信息。因此取原图像与滤波后的图像的差值表示为图像的局部细节信息，该信息是源图像被经典双边滤波平滑掉的噪声、弱小纹理细节信息，但如果对可见光和红外图像采用相同的双边滤波算法，滤波后的图像保留了原始图像的边缘轮廓等信息，不能通过计算原图像与滤波后图像差值的方式来获取图像特有细节信息。该信息包括红外图像相对于可见光图像特有的边缘轮廓等信息或可见光图像相对于红外图像特有的边缘轮廓等信息，如红外图像的人物显著边缘轮廓信息。

1.2 可见光与红外图像融合的双边滤波算法

基于传统双边滤波的融合算法对源图像采用相同的分解方式，虽然该方法能够提取源图像大部分局部弱小细节信息，但是不能提取红外图像和可见光图像特有的细节信息。后续的融合过程会丢失红外图像和可见光图像特有的细节信息部分，所以本文提出了一种改进的双边滤波算法来提取可见光或红外图像特有的细节信息，经典双边滤波算法中像素域原本只有单一图像的像素值，改进的算法同时引入了可见光图像和红外图像的像素值，该方法能充分提取图像的局部细节信息和特有细节信息，具体的表示方法如(5)式、(6)式所示。

改进后的双边滤波可以表示为

(5)

(6)

式中：Ie表示与I相对应的另一种源图像。通过设定合适的σr值，由(5)式可以得到滤波后的图像Ib,e，其中图像I与图像Ie相同的细节信息将会被模糊平滑，不同于图像Ie的独特信息会被保留下来，因此通过这种滤波算法可以得到图像I独特的细节信息。对比图1(c)和图1(d)可以看出：红外图像的局部弱小纹理细节均被平滑模糊，图1(c)中的红外特有人物目标信息与有原图像中的人物基本一致，不便于提取目标信息；图1(d)中的红外特有人物目标信息被过滤掉绝大部分，因此后续的方法能够轻松地提取红外图像特有的人物目标信息。

2 基于双边滤波的可见光与红外图像融合

本节针对传统的分解方法不能充分提取图像特有细节信息的问题，提出了一种基于双边滤波多尺度分解算法来提取可见光或红外图像特有的细节信息。同时在图像融合阶段，针对目前基于正则化参数的融合方法需要人为调整参数的问题，提出了一种完全自适应控制融合权值的方法，该方法不需要人为调整参数，同时融合后的图像细节更加丰富、图像整体更加自然。

本节所提出的图像融合方法主要由图像分解，分解之后的融合以及图像重建三个部分组成。图像分解部分主要是通过双边滤波和改进的双边滤波将源图像分解为高频细节和低频近似两个部分，高频细节部分包括图像局部细节部分和特有细节部分，低频近似部分包括图像的基础部分；然后采用不同的融合规则对这三部分进行融合；最后通过融合之后的基础、局部细节、特有细节三个部分重建融合后的图像。

本节提出的可见光与红外图像的融合框架如 图2 所示，假设在进行可见光与红外图像融合之前，所使用的红外与可见光图像均进行了配准，图像融合的具体步骤如下。

图2 融合算法流程图

2.1 基于双边滤波的多尺度分解

源图像经过经典的双边滤波可以得到滤波后的图像Ib，Ib保留了源图像明显的边缘轮廓等信息，图像的噪声、弱小的纹理细节被平滑模糊，因此可以取原图像与滤波后的图像的差值表示图像的局部细节信息E；而源图像通过改进的双边滤波可以得到滤波后的图像Ib,e，Ib,e中所包含的局部细节信息同样被平滑模糊，同时平滑模糊掉了源图像独特的特有细节信息，因此可以得到源图像所包含的特有细节信息D；Ib,e表示源图像的基础部分B。根据双边滤波算法可以将图像分解为B、D和E三部分，具体的计算方法可以表示为

B=Ib,e
D=Ib-Ib,e
E=I-Ib

(7)

图3 本文提出的多尺度分解算法流程

Ij=Bj+Dj+Ej

(8)

(9)

(10)

2.2 低频部分融合规则

为了充分保留可见光图像和红外图像各自独特的信息，本文针对图像分解后的不同信息设计了不同的像素级融合算法。根据低频部分的特点，引入了自适应的正则化参数来控制两种图像特征信息之间的权重值，既能保留可见光图像的细节信息，又能保留红外图像特有的信息；对于高频部分的融合，局部细节部分本文提出了一种基于边缘能量的融合算法，特有细节部分采用绝对值最大的融合规则。

图像的基础部分包含了源图像大量的低频能量，代表了源图像平滑的区域，传统的融合方法是基于像素平均的方法，这种融合方式会丢失源图像的能量信息。文献[11]和文献[12]提出了通过正则化参数调整图像融合的权重值，但是需要手工根据源图像的不同来调整参数值，本文提出了一种基于正则化参数的自适应融合方法，通过像素点邻域内的局部能量值来间接确定融合的权重值，该方法不用人为调整参数，融合效率更高。首先，求得红外图像低频部分的局部能量值REVis和可见光图像低频部分的局部能量值REIR：

(11)

(12)

式中：wr(·)表示(x,y)邻域窗口ψ的权值；(m，n)表示邻域窗口内的坐标位置，本文中ψ选用5×5大小的窗口；BVis、BIR分别表示由多尺度分解所得的可见光图像和红外图像的基础部分。

基于非线性函数的权重C可以表示为

(13)

Bf=CBIR+(1-C)BVis

(14)

式中：C表示红外图像基础部分的权重值，通过(13)式求得；BIR和BVis分别表示为由本文分解算法得到红外基础部分和可见光基础部分，通过(7)式求得。

2.3 高频部分融合规则

2.3.1 局部细节部分融合规则

高频部分包含了源图像大量的边缘细节信息，如果采用传统的绝对值最大的方法对高频部分进行融合，则会丢失源图像所包含的细节信息，不能最大化地保留源图像的信息，也会在一定程度上降低图像的对比度。因此本节提出了一种基于边缘能量(EOE)[13]的改进融合方法。改进的边缘能量定义为

(15)

式中：we(·)表示像素点(i,j)邻域窗口φ的权值，本文中φ选用3×3大小的窗口；EE(i,j)的计算公式如下：

EE(i,j)=|E1*D(i,j)|+|E2*D(i,j)|+
|E3*D(i,j)|+|E4*D(i,j)|

(16)

式中：|*|表示卷积运算；E1、E2、E3、E4分别表示0°、45°、90°、135°方向上的方向滤波算子。

(17)

通过这4个滤波算子可以得到图像4个方向上的边缘细节信息，从而通过边缘能量的方法来确定红外图像与可见光图像局部细节部分融合的权重值；然后对两种图像的权重值进行归一化处理，使权重值分布在0～1之间，从而可以确定红外图像局部细节部分的权重值wIR为

(18)

式中：gσe表示高斯函数，能够减少图像的噪声，同时起着平滑权重值的作用；EOEIR和EOEVis可以通过(15)式求得；|*|表示卷积运算；k是一个可以调整融合权重值的参数，能够根据红外图像的强弱进行相应的调整，本文中k=1。融合后的局部细节部分Df可以表示为

Df=(1-wIR)DVis+wIRDIR

(19)

2.3.2 特有细节部分融合规则

对于特有细节部分的融合，为了最大程度上保留可见光图像与红外图像各自特有的信息，本文采用绝对值最大的融合规则，融合后的特有细节部分Ef可以表示为

Ef=βVisEVis+βIREIR

(20)

(21)

βIR=1-βVis

最终融合后的图像F可以表示为

(22)

式中：n=2。

3 实验结果分析与讨论

为了验证所提出算法的有效性，本文从主观上和客观上来评价提出算法的融合效果。对比分析了其他5种经典的融合算法，分别是拉普拉斯金字塔的方法(LP)[14]、低通比率金字塔(RP)[15]、曲波变换(CVT)[16]、多分辨率奇异值分解(MSVD)[17]、梯度转移的融合方法(GTF)[18]。这5种经典的融合算法都是基于公开的代码实现的，其中参数的设置与原文一致。本文实验用的红外与可见光图像均进行了配准，实验平台为MATLAB 2020b，Intel core 3.6 GHz，16 GB内存。所使用的图像数据均来源于文献[19]。

为了从客观上评价本文的可见光红外图像算法的融合效果，本文通过均值(Mean)[20]、标准偏差(SD)[20]、互信息(MI)[21]、边缘保持度(QAB/F)[22]、特征互信息(FMI)[23]、信息熵(EN)[24]等6种定量指标来对融合结果进行客观的评价。图像的均值反映图像的明亮程度，其值越大，图像视觉效果越好；标准偏差能够描述图像的对比度特征，其值越大，图像的对比度越大；互信息代表了图像之间的相关程度，MI值越大，融合后的图像与源图像之间相关程度越大，融合效果越好。边缘保持度代表了融合后的图像边缘信息量的多少，能够反映融合后的图像质量。特征互信息代表了融合后的图像特征保留的完整度；信息熵反映了融合图像的信息丰富程度，其值越大，图像所包含的信息越丰富。在本文仿真实验中，一些参数的初始值如下：σs=3，σr=4；为方便计算，wr用窗口大小为5×5的归一化高斯模板代替，同时we用窗口大小为3×3的归一化高斯模板代替。

图4对比分析了本文算法与其他5种算法的融合效果，源图像为Trees4917。从图4中可以看出，除了本文算法外，其他5种算法融合的图像对比度相对较差，在可见光图像中原本明亮的区域相对较暗，而基于MSVD方法融合结果的图像中人物不够突出；通过图4中的红色矩形部分可以看出，本文的算法能够清晰地看见树的边缘，轮廓细节更加的明显，接近可见光图像的视觉效果，其他5种方法保留了太多红外图像得特性，导致图像的细节信息存在一定程度的丢失。

图4 不同融合方法融合结果细节对比

本文选取5组不同场景下的图像，更加直观地展现了本文算法与其他融合算法的融合效果。本文算法与其他5种融合算法融合结果如表1所示。通过综合对比不同场景下的其他融合算法可以看出，本文算法能够最大程度地保留红外图像信息和可见光图像信息，融合图像看起来更加自然，细节信息保留更好；本文算法能够更好地融合可见光与红外图像各自的特性，能够最大程度地保留红外图像特有的人物目标，也能够保留可见光图像的细节信息，融合后的图像更加自然；通过RP算法融合后的图像存在伪吉布斯现象，轮廓细节的表现没有本文算法自然。CVT方法丢失了较多可见光图像的细节信息；MSVD方法对比度相对较弱，人物目标突出不够充分；LP方法不能够充分的表现图像的细节信息，如表1中的营地图像；GTF方法对于图像细节的表现不足，如表1中的坦克图像中，树叶没有完全表现出来。而本文的方法能够很好地展现人物轮廓、细节等信息，融合后图像的对比度也较强，视觉效果更加自然。

表1 不同融合方法对不同图像的融合结果

为定量分析本文融合算法与其他融合算法的融合效果，实验对比了两组图像序列的融合效果，图像序列分别是Trees和Duines，实验结果如表2所示。由表2可见：本文算法的SD、FMI、EN、MI、Mean值最大，相比于对比算法的融合效果，通过本文算法融合后的图像与源图像相关程度最高，图像对比度越好，视觉特征越明显，细节特征更丰富；QAB/F评价指标仅次于RP算法，但是RP算法融合的图像存在伪吉布斯现象，对于细节部分的融合不够自然。综上所述，本文提出的融合算法融合效果更好，源图像的细节表现能力更强，融合后的图像更加的自然。

表2 不同融合算法下Trees和Duine图像序列融合结果的6种评价指标对比

表3和表4分别为图像序列Trees和Duine通过6种方法融合后的6种客观评价指标。通过表3和表4能够看出：本文所提方法的MI、EN、FMI、SD指标都最大，表明融合效果相对较好；与其他5种方法效果最好的相比，表3和表4中的MI、EN、FMI、SD4种指标分别提高了13.6%、1.1%、0.7%、4.4%和22.6%、5.7%、0.1%、30.4%。QAB/F指标相对于其他5种方法的平均值提升了14.2%和9.7%，仅次于基于RP方法融合的结果，但从主观视觉效果分析，RP的方法存在伪吉布斯现象。Mean评价指标在Duine图像序列中值相对较小，在Trees图像序列中比最好的方法提升了18.4%。本文提出的融合方法对图像进行多尺度分解，但与传统非下采样金字塔滤波器组多尺度分解算法相比，双边滤波器结构单一，使得多尺度分解更加高效。以Road图像为例，从表5中可以看出，本文融合方法所运行的时间比LP、RP和MSVD方法高，比CVT和GTF方法运行时间少。

表3 Trees图像序列在不同融合方法下融合结果的客观评价指标

表4 Duine图像序列在不同融合方法下融合结果的客观评价指标

表5 不同融合方法的运行时间比较

4 结论

本文提出了一种基于双边滤波的红外与可见光自适应融合的算法，针对传统融合方法会导致融合后图像细节信息缺失、不能充分保留源图像特有细节信息等问题，通过改进的双边滤波算法进行图像分解，得到了红外与可见光图像特有的信息以及局部的细节信息。在融合过程中，引入了局部能量值和边缘能量值来计算融合的权重值，同时引入了正则化参数来控制红外与可见光的权重值。实验结果表明，通过该方法融合的图像在具备良好的视觉效果外，还充分保留了源图像的细节特征；相对于本文对比的其他方法，通过本文提出的方法融合的图像能够包含丰富的特征信息。对比客观数据可知，本文融合方法的MI、EN、FMI、SD、QAB/F、Mean4种指标相对于其他方法综合提升了22.6%、5.7%、0.7%、30.4%、14.2%、18.4%。在主观视觉上和客观评价指标中，本文所提的算法均具备更优的融合效果。

本文的融合算法综合性能相对较好，但目前还难以在小型的机载平台中对图像进行实时处理，因此后续的研究需要关注如何提升算法的实时性，特别是对大尺寸图像的实时融合处理的研究。