基于全局稀疏梯度滤波器分解的图像融合方法

常莉红,冯福存,罗 徽,杨 媛，陆万顺

(1.宁夏师范学院 数学与计算机科学学院，宁夏 固原 756099;2.宁夏师范学院 物理与电气工程学院，宁夏 固原 756099)

可见光图像和红外线图像的融合是多传感器图像融合领域中的一个热点[1]，已被广泛地应用于增强人类视觉感知、物体检测和目标识别等领域[2].

基于小波变换[3]、曲线波变换[4]和非下采样轮廓波变换(nonsubsampled contourlet transform，NSCT)[5]等传统的融合方法由于操作简单备受大家青睐.然而，以上融合方法常常引起图像的对比度下降、模糊边缘等问题的困扰.Toet等[6]提出的方向滤波的图像融合方法，Zhang等[7]提出的基于特征提取和视觉保护的融合方法(feature etraction and vsual iformation peservation，FTVP)，Bavirisetti等[8-9]利用差分迭代的形式基于微分方程给出了四阶微分方程的(the fourth order partial differential equations，FPDE)融合方法和各向异性扩散方程(anisotropic diffusion and principal component analysis based fusion，ADPCA)的融合方法.用差分迭代的方式对图像进行特征分解提出的图像融合方法均从不同的程度对图像的边缘起到了很好的保护作用，但是在融合结果中红外线图像的高亮目标的对比度仍有所减弱.近年来，随着深度学习的兴起，通过网络训练的融合方法也成为研究的热点.典型的方法有基于脉冲神经网络的方法[10]和卷积神经网络的方法(convolutional neural network，CNN)[11]等,尤其是基于CNN的融合方法可以从整体上处理活动水平测量和权重分配的两个问题，但是这种方法容易受到训练集的影响，并且算法也比多尺度算法复杂.

为了保留红外线图像中的高亮目标，Ma等[12]提出了一种基于梯度阈值滤波器分解和全局优化(gradient threshold function and global optimization，GTG)的融合方法，利用梯度滤波器作为分解工具，对两种图像采用不同的表示，基于梯度和纹理结构信息将图像分解成近似层和剩余层，克服了传统滤波器分解不可避免地由于亮度的分散而导致的边缘模糊.但在融合的过程中对剩余层设计融合规则时其梯度算子采用的是传统的Sobel局部算子，会影响到全局优化的结果，本文利用全局稀疏的梯度算子(global sparse gradient，GSG)[13]代替Sobel算子改进分解的结果.

在图像融合的过程中，可见光图像中常见的一种是低照度图像，由于获取时受到光照的影响，图像的很多细节被“隐藏”在黑暗中，无法显示出场景的真实的细节，若将其与红外线图像融合，会造成场景信息的丢失，因此为了显现细节，有必要先要对低照度的可见光图像进行增强处理，以达到提高场景信息，增强融合效果.因此，本文基于光照估计的图像增强和全局稀疏梯度滤波器提出一种红外线与低照度图像的融合方法.首先，对低照度图像利用增强方法提高细节信息.其次，利用全局稀疏梯度滤波器对增强的低照度图像与红外线图像进行分解，得到近似层和剩余层.为了保持红外线图像在融合结果中的高亮和显著性特征,在近似层选取了基于能量保护的融合规则，为了保护可见光图像的纹理细节信息，在小梯度变化的剩余层采用基于GSG信息的融合规则.最后，通过叠加得到融合的图像，实验结果验证所提算法是有效的.

1 相关理论

1.1 基于光照估计的低照度图像增强方法

常见的图像增强方法是通过对比度的拉伸起到增强场景细节的效果，往往没有明显的物理意义.基于光照估计的增强方法(low-light image enhancement via iumination map estimation，LIME)[14]是对传统的Retinex增强方法的一种改进，具有明显物理意义.这里只给出LIME方法的主要数学公式,详细过程参照文献[14].

(i)令L是低照度图像,其三个通道分别用R、G、B表示，每一点像素用P(x,y)表示，x和y分别表示水平和垂直方向的坐标，用三个通道中像素点P对应的最大值(max)来估计初始照明图.

(1)

(2)

(ii) 最后增强的低照度图像R可以表示为

(3)

其中ε是一个很小的正数，目的是为了防止分母为零.

图1(b)和(d)是一组LIME增强方法的实验结果图，从增强的结果可以清晰地看到被“埋藏”在低照度图像中的细节信息均被显示出来.

图1 基于LIME的增强结果

1.2 基于全局稀疏梯度的滤波器

文献[12]所提的梯度滤波器(gradientlet filter,GF)所表示的数学模型如下

(4)

(5)

(6)

参数s是控制权函数的宽度,取s=1.则公式(4)就变为

(7)

公式(7)中前一项是为了保持输出图像的亮度分布，将输入图像的亮度分布传输给滤波图像,利用L2范数最小来优化.后面一项是为了抑制小的图像梯度,让滤波输出的总梯度最小.在第二项中为了保持边缘的同时能去除小梯度纹理和噪声,设置了一个阈值罚函数TP,在边缘梯度大于梯度阈值,并且应该尽可能地用小的惩罚因子来保留.噪声或纹理梯度小于阈值,应使用较大的惩罚因子尽可能消除,其中TP设计为

(8)

d∈{x,y}表示x和y方向,λ是惩罚系数的最大值,α是梯度阈值,n是阈值函数的斜率.α随着梯度的增大而逐渐减小,下降速率由n来控制;n越大,斜率越大,罚值函数越接近阶跃函数.当n趋近于正无穷时,阈值函数变成阶跃函数,这里利用向前-向后分裂算法对公式(7)进行求解得到最后的输出的滤波图像,为了描述方便记全局稀疏梯度的滤波器(global sparse gradient filter，GSGF)为GSGF(I,m,α,λ,n),m是求解过程中的迭代次数,本文中通过实验测试,取α=0.2,m=1,λ=10,n=3.

利用GSGF(I,m,α,λ,n)对图像进行分解,可以得到近似层IA和细节层ID

IA=GSGF(I,m,α,λ,n) ，

(9)

ID=I-IA.

(10)

图2给出了用GSGF(I,m,α,λ,n)对红外线图像进行分解的示例图,从图中可以明显地看出,基于亮度分布的信息全部留在了图像的近似层,而纹理和噪声的信息分解到了细节层.

图2 GSGF(I,m,α,λ,n)方法的分解结果

2 可见光图像增强后的GSGF融合方法

假设所有的红外线图像I1和可见光I2源图像均已配准,算法以两张图像的融合为例,可以推广到n幅图像,所提算法主要分为如下几步.

(i) 可见光图像I2通过LIME方法先进行增强，增强后的结果为I2E.

(11)

(12)

(13)

(14)

(15)

(16)

为了提高显著性权重对融合结果的影响,利用高斯函数对GSG(·)算子得到的显著性图进行扩散,得到高斯梯度显著性图，

ζ1(x,y)=Gaussian(S1,δ,r)，

(17)

ζ2(x,y)=Gaussian(S2,δ,r)，

(18)

其中(x,y)表示像素位置,Gaussian(·)是高斯滤波函数,δ,r是参数,取δ=r=5.

图像的细节图的权重表示为

(19)

(20)

图3 细节图、显著性图和权重图

最后的剩余层为

(21)

(iii) 将融合的近似部分和剩余部分进行叠加得到融合的图像,即

(22)

3 实验

3.1 测试图集

为了验证所提方法的融合效果,实验选取图像融合公测数据集中的24对红外线与可见光图像(如图4所示,来自http://www.imagefusion.org/)进行测试,第一、第三行给的是可见光图像,第二、第四行给的是同一场景中的红外线图像.

图4 测试集

3.2 评价指标

选取熵(Entropy，EN)[16]、标准偏差(Standard deviation，SD)[16]、互信息(Mutual information，MI)[16]、基于结构相似度的梯度QG评价指标[17]和相位一致性的度量指标QP[17]五个客观指标值对所提算法和比较算法进行客观评价.一般来说，实验结果中这几个数据值越大说明融合效果越好，但是对于熵而言，因为融合过程中带来了噪声，使得值也会提高，因此评价融合效果的好坏，要综合这五个指标来评价.

3.3 实验结果与分析

为了说明所提算法是有效的，基于不同理论选取了CNN[11]、NSCT[5]、 FTVP[7]、ADPCA[9]、FPDE[8]和GTG[12]六个先进的融合方法与所提算法比较.为了能更好地说明对低照度图像的增强可以提高融合的效果，对没有增强的可见光图像与红外线图像直接用全局稀疏梯度的滤波器作为分解工具和能量保护的融合规则及改进的梯度显性融合规则进行融合，其结果记作GSGF，将增强后融合的结果记作GSGFE.

图5给出所提算法和比较算法的一组实验结果图.实验结果表明各种算法均能改善场景的细节信息,提高视觉质量.但是NSCT、FTVP和ADPCA的融合方法在融合结果中明显地降低了图像的对比度,比如红外线图像中亮度比较高的人物信息,在NSCT、ADPCA和FTVP的融合结果中明显地变暗.CNN和FPDE的融合结果,尽管保留了高亮度的目标但对图像的细节信息过于平滑,比如路面砖的纹理看不到.GTG的融合结果能保留红外线图像的高亮目标,但也丢失了可见光图像中的场景细节.相比较本文所提算法GSGF和GSGFE的融合效果都较好地保持了图像的高亮目标和细节内容.图5(g)与图5(a)～图5(f)比较没有明显优势，但观看图5(h)GSGFE的融合结果,图像整体的亮度和清晰度有较大提高,能清楚地看到路面和灌木丛的交界处的道路牙石,图像右侧高楼墙面砖的纹理清晰可见.

图6给出了一组基于“Tree”图的融合结果.图像主要包含人、树等以静为主的目标特征,可见光图像的信息较模糊,对比度较高,红外线图像的信息和对比度均较模糊,通过本组融合图像的对比,八种方法均实现了红外线图和可见光图的融合,但视觉效果上有一定的差异.以8组图片中用矩阵框所标注的区域为例，从图中结果可以看出NSCT、ADPCA和FPDE方法也是减低了图像的对比度,如在红外线图像中树冠和地面杂草的纹理在融合结果中明显地变暗.FTVP的融合结果中减弱了红外线图像中的高亮目标人物,CNN的融合结果中图像场景的细节变得模糊,GTG算法虽能保留高亮目标,但纹理细节也被模糊了.ADPCA和FPDE算法效果很相似,纹理细节的保留要比NSCT的好,但图像对比度也减弱了.相比较所提算法GSGF和GSGFE的视觉效果更好,较好地保留了源图像的目标信息,还给出了丰富的图像信息,均较好的保持了图像的高亮目标和细节内容.特别是图6(h)GSGFE的融合结果,图像的立体感更强,树冠的边界纹理更清晰,人的高亮特征更突出.

表1给出了文中八种不同的方法对测试集中24对图像融合得到的五个客观指标值的平均值,每个指标值在不同方法中均为值越大表明该方法越好.从五个指标值来看,所给GSGFE算法四个指标值均取得了最好,GSGF在三个指标上取得了次好，进一步证明了所提算法在改善对比度、纹理信息、边和角等方面都比文中所提出其他算法更有效.

4 结论

本文利用全局稀疏梯度算子代替传统的梯度算子改进梯度滤波器分解工具,采用能量保护和基于全局稀疏梯度显著性的融合规则对可见光图像和红外线图像提出了一种融合方法,为了进一步提高融合图像中的场景细节,还对可见光图像利用LIME方法增强后进行了融合,从融合的视觉效果和实验的客观指标值两方面都表明了所提方法是有效的,取得了较好的视觉效果.