基于交替梯度滤波器和改进PCNN 的红外与可见光图像融合

杨艳春，裴佩佩，党建武，王阳萍

（兰州交通大学电子与信息工程学院，甘肃 兰州 730070）

1 引言

随着传感器技术的快速发展，红外与可见光图像融合逐渐成为学者们的研究重点。红外传感器捕捉物体的温度特性，可以不受天气或光线条件的影响连续工作，获取的红外图像具有较高的对比度和突出的目标，但是其空间分辨率较低，容易受到噪声和纹理的影响。可见光传感器根据物体的反射特性进行成像，获得的图像分辨率较高，能够较好地体现纹理和细节信息，然而，图像的质量容易受到光照条件、天气及遮挡等环境因素的制约。因此，结合红外图像的目标识别能力以及可见光图像丰富的场景信息，实现红外与可见光图像的有效融合，可以获得目标更加显著，场景更加丰富的融合图像，目前已广泛应用于目标检测、遥感、医学及军事等领域［1-4］。

红外与可见光图像融合方法通常可以分为两类，即传统方法和深度学习方法［5-9］。多尺度变换方法是传统方法中常用的方法，随着保边滤波技术的不断发展，保边滤波具有空间一致性，能够有效减少图像边缘伪影，并成功地应用在红外与可见光图像融合中。Li 等结合引导滤波器在平滑的同时起到保边作用的特性进行图像融合，克服了传统多尺度融合方法对融合尺度要求的限制［10］。为了在分解过程中有效提高细节和边缘捕获能力，Liu 等采用冗余提升不可分离小波在NSST 域实现多尺度分解，同时采用引导滤波器生成高效显著图和加权图，不仅提高了计算速度，而且具有良好的性能［11］。多数保边滤波器皆在考虑图像的边缘以及细节信息，没有考虑尺度感知问题，Zhang 等提出滚动引导滤波器（Rolling Guide Filter，RGF），该滤波器具有尺度感知和边缘保持的特性，应用在图像融合中有效提高了融合效果［12］。Ren 等引入加权方差导引滤波器（MVGF），通过两尺度分解代替多尺度分解，有效地保持基层边缘，消除图像轮廓周围的伪影，使图像分解的效果更优，消除了图像边界附近产生的伪影［13］。近年来，基于深度学习的图像融合方法成为研究热点，Liu 等利用孪生卷积网络对两幅源图像的像素级活动信息进行融合，得到权重图，该方法能够从整体上解决图像融合中的活动水平测量和权重分配两个关键问题［14］。为了更好地进行特征提取，An 等提出了一种由编码层、融合层、解码层和输出层组成的基于监督卷积神经网络图像融合方法［15］。目前，学者们利用多尺度变换方法以及滤波器方法在红外与可见光图像融合上取得了较好的融合效果。然而，基于多尺度变换方法通常将图像中的信息分为结构信息和细节信息，融合算法通常集中于保留不同尺度的细节信息，而不是目标的亮度信息，所以最终的融合图像呈现低对比度，目标不够显著和边缘模糊的问题，亮度的扩散会导致边缘模糊从而产生虚影。因此，Ma 等［16］从亮度和梯度分离的角度提出一种基于模糊梯度阈值函数和全局优化的梯度滤波器，它可以消除小梯度纹理和噪声，同时保持图像整体亮度和边缘梯度。将源图像分解为近似层和残差层，近似层反映了源图像的整体亮度分布，消除了边缘模糊和噪声，可节省图像的对比度和空间结构信息；残差层则反映了源图像的小梯度变化，能够保留源图像的细节纹理信息。

梯度滤波器（Gradient Filter，GF）作为一种新颖的分解工具，在图像融合中具有一定的优势。为进一步提高它的性能，本文根据全局优化梯度滤波器的框架，通过有效结合RGF 和平滑迭代滤波器（Smooth Iterative Recovery Filter，SIRmed），提出一种交替梯度滤波器（Alternating Gradient Filter，AGF）来分解图像，在有效保留图像整体亮度和防止边缘模糊的同时，有效地去除了小尺度梯度的纹理和噪声。同时，提出了一种基于交替梯度滤波和改进脉冲耦合神经网络（Pulse Coupled Neural Network，PCNN）的红外与可见光图像融合方法。首先，利用AGF 对源图像进行分解；然后，近似层主要利用多尺度形态梯度（Multi-scale Morphological Gradient，MSMG）算子和最大区域能量进行融合；残差层采用改进的PCNN 进行融合，能够更好地保留图像细节纹理信息；最后，通过AGF 重构得到融合图像。该方法能够避免在目标物体的边缘处产生虚影，较好地保留源图像的亮度、边缘、细节及纹理等信息。

2 交替梯度滤波器

2.1 梯度滤波器

针对基于局部加权平均的传统滤波器分解图像不可避免地会由于亮度的扩散而导致边缘模糊的不足，本文从亮度和梯度分离的角度出发，设计了一种基于模糊梯度阈值函数和全局优化方法的保边梯度滤波器，在消除小梯度纹理和噪声的同时可保持图像的整体亮度和边缘梯度［16］。

令GF 为GletF（I，ƒ，α，λ，n），其中I是输入的源图像，ƒ是迭代次数，α是梯度阈值，λ是最大惩罚系数，n是阈值函数斜率。采用参数设定好的梯度滤波器对源图像的亮度分布和小梯度变化进行分解。源图像经过梯度滤波器过滤得到近似层：

用源图像减去近似层可以得到残差层，即：

其中m表示第m幅图像。近似层保持了源图像的亮度和能量分布，包含了源图像的对比度和结构信息，没有噪声和边缘模糊，体现了源图像的整体外观。与近似层相比，残差层几乎没有亮度和能量分布，主要反映了小的梯度变化，包括源图像的细节纹理信息。

2.2 交替梯度滤波器

AGF 结合了GF，RGF 和SIRmed3 种滤波器的优势。GF 是具有全局优化特性的保边滤波器，可以在分解图像过程中克服因亮度扩散而导致的边缘模糊问题。RGF 具有大尺度边缘和局部强度保持特性。SIRmed 使图像边缘能够较好地表示曲率特性［17］。3 种滤波器的结合可有效保留图像的整体亮度和边缘，同时去除小尺度的噪声信息。

AGF 结合GF 全局优化的特性、RGF 大尺度边缘局部强度保持特性和SIRmed 的边缘恢复特性，消除了RGF 的边缘曲率平滑和SIRmed 的局部强度降低以及大尺度边缘附近小尺度细节的引入。该算法实现简单、效率高，能够自动保持大尺度结构和局部强度，并能产生高质量的融合结果。AGF 的流程如图1 所示，包括以下4 个步骤：

图1 交替梯度滤波流程Fig.1 Flow chart of AGF

步骤1，用一个联合双边滤波器去除输入图像的小结构［18］。第t次迭代滤波的结果Ot+1是通过使用前一次迭代步骤对输入图像应用联合滤波器得到的，其公式如下：

其中：I为输入图 像，O为输出 图像，i和j表示图像中像素坐标的索引，K代表一个标准化因子，f和g分别表示空间滤波核范围和强度滤波核，Ω表示内核的空间支持。

步骤2，对步骤1 得到的结果应用联合双边滤波器，使用源图像作为引导图像，详细过程描述如下：

步骤3，对第二步的结果进行中值滤波。滤波结果保证了图像灰度和大尺度边缘曲率的保持。中值滤波器的使用可以防止在大尺度边缘附近重新引入过滤后的小尺度细节。

步骤4，对第三步中值滤波后的结果利用GF进行滤波。GF 具有全局优化的特性，可避免图像因亮度的扩散而导致边缘模糊，保证了图像边缘信息，详细过程如下：

AGF 模型中的每次迭代包含4 个连续的步骤：（1）RGF 操作过程，对输入图像I进行联合双边滤波，利用上一次迭代的结果Ot作为引导图像；（2）SIRmed 操作过程，对第一步得到的结果再次进行联合双边滤波，以原始图像I作为引导图像；（3）对第二步的结果应用一个小核（如3×3）的中值滤波器；（4）对第三步的滤波结果使用GF。交替使用原始图像和滤波结果作为输入或引导图像，保证了整体图像强度，保留了大尺度边缘曲率。因此，AGF 结合RGF 亮度保持，SIRmed 边缘曲率保持和GF 边缘信息保持的特点，同时消除RGF 边缘曲率平滑和SIRmed 对比度降低及在较大边缘附近重新引入小细节的影响。

利用AGF 对源图像进行分解类似于GF，通过AGF 过滤得到近似层：

源图像减去近似层，得到残差层：

为了进一步分析AGF 分解源图像的优势，对比GF 和AGF 分解源图像产生的近似层和残差层的显著区域的三维图的差异，如图2 所示。由图2 可知，GF 分解得到的近似层含有较多的亮度信息，同时含有较多的细节信息，而AGF 分解的近似层同样有较多的亮度信息，包含对比度信息。残差层反映源图像的小梯度变化，包括纹理信息和噪声，GF 的残差层包含的细节纹理信息较少，而AGF 的残差层含有较多的细节纹理信息。

图2 源图像近似层和残差层的三维图Fig.2 Three-dimensional shapess of approximate layer and residual layer of source image

3 多尺度形态梯度算子

梯度表示图像锐度信息，MSMG 算子是一种有效的梯度算子，可以在不同尺度上提取图像的梯度信息，用来表示图像中像素邻近区域的对比度强度［19］。因此，MSMG 是一种高效的方法，常用于边缘检测和图像分割。多尺度结构元定义为：

其中：SE1表示基本结构元素，M表示尺度数。在数学形态学中，结构元素是图像特征提取的重要工具。不同类型的图像特征可以由不同形状的结构元素提取。因此，需要将结构元素扩展到多尺度，利用这些多尺度结构元素可以提取图像的综合梯度特征。梯度特征Gt可以用图像I的梯度算子表示，即：

其中：⊕和⊙分别表示形态膨胀算子和侵蚀算子，x，y均表示像素坐标。从多尺度结构元素和梯度特征出发，计算各尺度上的梯度加权和得到最小二乘梯度图，公式如下：

其中wt代表第t个尺度中梯度的权重，它可以表示为：

图3 为利用MSMG 的图像处理结果，图像边缘信息得到了较好地提取，证明了边界测量的有效性。用MSMG 处理红外与可见光图像可以分离出场景信息，突出目标的边缘信息。

图3 MSMG 操作示例Fig.3 Example for MSMG operation

4 PCNN 模型

4.1 简化PCNN 模型

PCNN 不需要任何的训练直接可以使用，是一种基于迭代的运算。标准PCNN 模型是一种反馈型网络，接收域、耦合调制域和脉冲发生器3部分是每个神经元的组成部分［20-21］。它的神经元和输入图像的像素点之间是一对一的关系。在PCNN 的基本模型中，由于参数过多，在实际应用中难以控制。本文采用一种PCNN 的简化模型，如图4 所示，第（i，j）个简化神经元的数学表达公式如下：

图4 简化的PCNN 模型Fig.4 Simplified PCNN model

其中：Fij［n］和Lij［n］分别是迭代n中位置（i，j）处神经元的馈送输入和链接输入，Iij表示位置（i，j）处的残差层系数，VL表示链接输入的振幅增益，Ykl表示周围其他像素位置的输出，Uij［n］表示神经元的内部状态信号，由[n-1]和Fij［n］（1+βLij［n］）组成。PCNN 的输出模块被称为脉冲发生器，它决定了该模型的触发事件，其输出Yij［n］有两种状态：已触发（Yij［n］=1）和未触发（Yij［n］=0）。PCNN 简化模型的初始化条件为：Yij（0）=0，Uij（0）=0 和θij（0）=0。

4.2 改进的PCNN 模型

PCNN 模型的参数设置在一定程度上决定了该模型性能的好坏。PCNN 模型中的参数分别是αf，β，VL，αe，Vθ。本文把参数β和VL作为一个整体，因为空间频率能够很好地反映图像的纹理信息，所以将β和VL作为链接输入的权重时再乘以空间频率（Spatial Frequency，SF），设λ=（βVL）fS为加权链接强度。因此，在改进的自适应PCNN 模型中实际上有4 个参数，即：

其中：δ(s)表示输入图像I的标准差和平均梯度的区间，s'表示归一化的Otsu 阈值，Smax表示输入图像的最大强度。通过无参数和无监督自动进行选择Otsu 的阈值。

参数自适应PCNN 模型在进行图像融合时一般根据经验或者实验来确定迭代次数n，迭代次数n的设置会影响PCNN 模型的脉冲同步性。简化PCNN 模型每次的点火输出为1 或0，不能反映出点火的幅度差异。由于Tanh 函数值变化敏感度高，所以本文计算每次迭代过程中子带系数的点火输出幅度采用Tanh 函数，在进行同步脉冲激发时，能够更好地体现出点火幅度之间的特征效果的不同。

利用简化PCNN 模型以及Tanh 函数的PCNN 模型做消融实验，融合结果如图5 所示。其中，差图是利用融合图和红外图像相减得到的，融合图像应更多地保留红外图像的目标信息，作差运算后其目标区域值为0，在图像中显示为黑；而直方图反映了图像的灰度分布规律，描述每个灰度级具有的像素个数。结合差图和直方图可知，利用Tanh 函数的PCNN 性能更好。因此，采用Tanh 函数来计算每次迭代过程中子带系数的点火输出幅度Oij［n］，如式（14）所示：

图5 PCNN 性能分析结果Fig.5 PCNN performance analysis results

输出Yij［n］可以改进为：

其中，当Yij［n］=1 时为一次点火。

5 本文方法

如图6 所示，本文方法的具体步骤如下：

图6 本文算法流程Fig.6 Flowchart of proposed algorithm

（1）将已经配准好的源图像红外图像I可见光图像V利用AGF 进行分解，分别得到其近似层和残差层｛AI，Av｝和｛RI，Rv｝；

（2）利用MSMG 处理近似层图像，进行边缘检测，然后分别计算出近似层AI和AV的最大区域能量FI（x，y）和FV（x，y），采用红外图像的最大区域能量FI（x，y）和可见光图像的最大区域能量FV（x，y）与红外图像I和可见光图像V相结合的融合规则进行融合；

（3）将残差层RI，Rv的绝对值作为脉冲耦合神经网络的输入，采用改进参数自适应PCNN 融合规则进行融合；

（4）通过AGF 重构得到融合图像。

5.1 近似层融合规则

源图像经过AGF 分解后，主要的轮廓信息集中在近似层图像中，用来控制融合图像的整体外观和对比度。因此，如何选取近似层的融合规则非常关键。MSMG 算子是一种有效的梯度算子，它从图像中提取梯度信息，可以表示图像中像素邻近区域的对比度强度，同时可以区分背景和目标对象，用于残差层融合规则时会在边缘产生伪影，用于近似层时，在保证融合效果同时避免在目标边缘产生伪影。能量是图像的显著特征，反映了图像信号的变化，可保留图像的大部分信息，利用区域能量进行融合能够体现像素之间的相关性。本文提出MSMG 和最大区域能量与源图像相结合的融合规则。首先，利用MSMG 对近似层的图像进行处理，得到红外图像以及可见光图像近似层图像的最小二乘梯度图：

AS（x，y）由式（10）计算得到（S=I，V）。

局部区域能量表示每个像素自身和附近像素的和，利用局部区域能量（Local Area Energy，LAE）方法选择区域能量中最大的一个像素，计算经MSMG 处理后的近似层AS（S=I，V）的局部能量值ELS（i，j），公式如下：

其中：（i，j）是近似层AI和AV进行处理的像素位置，w值表示局部窗口（w=3），We是3×3 的滤波器模板We=［1，1，1；1，1，1；1，1，1］。通过3×3的窗口对区域能量进行滤波，选择邻域内的最大值FS（i，j），公式如下：

其中：FI表示红外图像近似层的最大值，FV表示可见光图像近似层的最大值，II和IV分别表示红外源图像和可见光源图像的灰度值。

通过上述公式得到近似层图像的融合系数AF（i，j）：

其中：M（i，j）为近似层图像（i，j）处的融合权重，AI（i，j）和AV（i，j）分别为（i，j）处红外图像和可见光图像的近似层分解系数。

5.2 残差层融合规则

采用改进的自适应PCNN 融合规则对残差层进行融合。将残差层RI和RV的绝对值作为PCNN 的输入激励，即馈送输入为Fij［n］=|Rs|，S∈｛I，V｝，去激励改进的自适应PCNN 模型来生成融合权重图。具体融合步骤如下：

（1）对外部输入激励Fij［n］进行归一化处理，使其取值范围为［0，1］；

（2）采用改进的参数自适应的PCNN 模型，其参数根据式（13）计算；

（3）计算式（12）～式（15），在每次迭代结束时添加以下步骤，可以累计触发次数：

因此，每个神经元总的触发次数为Tij［N］，其中N表示总迭代次数，RI，RV分别是红外图像和可见光图像的残差层系数，改进PCNN 红外图像和可见光图像的触发次数分别为TRI，TRV，通过以下规则得到融合系数：

最后，通过AGF 对近似层和残差层的融合系数进行重构，得到最终的融合图像F如下：

6 实验结果及分析

6.1 梯度滤波器参数分析

GF 主要由4 个自由参数组成：迭代次数ƒ、梯度阈值α、最大惩罚系数λ和阈值函数斜率n。将迭代运算看作滤波运算时，参数ƒ控制滤波频率，参数α控制要过滤的梯度范围，参数λ表示小梯度的去除程度，参数n控制惩罚系数在梯度阈值附近的下降速度。n越大，惩罚系数的下降速度越快，表明纹理和边界清晰。

当最大惩罚系数λ较小时，ƒ几乎不改变滤波结果。当λ较大时，滤波结果通常收敛于3～4次。然而，随着ƒ的增加，滤波对梯度变化的影响减小，因为方法中的λ比较小，为了减少运行时间，设ƒ=1。

在阈值函数斜率n和最大惩罚系数λ保持不变的条件下，α控制着去除梯度的范围。为进一步说明α对滤波结果的影响，如图7 所示，当n=10，λ=50 时，在一定范围内，随着α的增加，越来越多的梯度被移除，图像变得特别模糊。当α达到一定水平时，图像模糊程度不会改变。因为红外与可见光图像的特点，只需要移除部分小梯度，所以本文中α=0.02。

图7 梯度阈值α 滤波图Fig.7 Smooth filtered diagram of gradient thresholds α

在梯度阈值α不变的条件下，λ控制着小梯度的模糊程度。λ越大，小梯度的模糊程度越高。n控制着梯度阈值附近惩罚系数的下降速率。n越大，下降的速度越快，纹理和边缘之间的边界越清晰。为进一步说明参数λ和n对滤波结果的影响，令ɑ=0.02，n和λ取不同值时对应的平滑图像如图8 所示。

图8 n 和λ 平滑图像Fig.8 Smooth images of n and λ

由图8 可知，当α=0.02 时，参数n越高，图像边缘的模糊程度越小，边缘保持性越好；参数λ 越大，梯度消除效果越明显。同时，参数n改变了λ对图像滤波的影响。结合当α=0.02 时参数n和λ对应的平滑结果图，可知在λ=50 和n=10 时图像的梯度消除效果最好，并且边缘的细节信息保存较完整，因此本文将它们设置为默认值。

6.2 交替梯度滤波器性能分析

图9显示当双边滤波器的σspatial=5，σrange=0.05 时，前3次迭代过程中RGF，SIRmed 和AGF 的滤波结果（Iteration 分别为1，2，3，在图中记为t）。这3 种滤波器都是迭代地从输入图像的初始低分辨率开始大规模地恢复图像边缘。在这个过程中，RGF 会逐渐平滑大尺度边缘的曲率，SIRmed 则会平滑整体图像强度，导致图像的全局对比度降低。AGF 会克服RGF 曲率平滑和SIRmed 局部对比度低的问题，即在不平滑曲率和保持图像亮度的情况下恢复大尺度边缘，同时克服了边缘模糊问题。

图9 RGF，SIRmed 和AGF 的滤波结果Fig.9 Filtering results of RGF，SIRmed and AGF

图10 为当t=3 时RGF，SIRmed，AGF 的滤波结果以及各自对应的三维、二维截面图。三维图像可以看到像素的分布情况以及像素值的大小，选取Iteration=3 的滤波结果图进行分析，可以看出RGF 的等高线像素分布均匀，因为RGF滤波器的小结构消除以及边缘保持的特点，图像的边缘曲率平滑，因此从三维图中可以看出RGF逐渐平滑大尺度边缘的曲率边缘。而SIRmed 产生的边缘能够较好地表示曲率特性，正好克服RGF 的缺点，但是SIRmed 会平滑整体图像强度，导致全局对比度降低。从三维图也可以看出，像素值整体较低，和RGF 相比大尺度峰值总体降低。相比之下，AGF 结合RGF，SIRmed 以及GF 的优点，在防止平滑曲率和保持整体图像亮度以及对比度的情况下恢复了大尺度边缘。从二维截面图可以看出，AGF 在平滑曲率和保持局部图像对比度的情况下恢复了大尺度边缘，保持了边缘的区域。

图10 RGF，SIR，AGF 滤波结果分析Fig.10 Analysis of RGF，SIR，AGF filtering results

6.3 实验说明

为了从视觉效果的角度定性分析该方法的有效性，在公开的TNO，INO 等数据集上进行了大量测试，均取得了较好的融合效果。文中选取具有代表性的4 组已经配准好的大小分别为632×496，360×270，256×256，768×576 的红外与可见光图像进行实验展示，如图11 所示。将本文方法与RGF 方 法［22］、BRG 方法［23］、GSF 方法［24］、IFCNN方法［25］和GF方法［16］进行实验对比。

图11 红外与可见光源图像Fig.11 Infrared and visible source images

其中，RGF 方法采用滚动引导滤波器和高斯滤波器进行多尺度分解，利用视觉显著性图和加权最小二乘进行优化；BRG 方法是一种通过红外特征提取和视觉信息保存的简单、快速的红外与视觉图像融合算法；GSF 方法是一种基于结构相似性的梯度滤波方法，能够解决计算平均源梯度时受到的抵消效应影响，并突出源图像的显著特征与主要源梯度；IFCNN 方法利用两个卷积层从输入图像中提取图像的显著特征，根据输入图像的类型选择合适的融合规则（元素最大、最小或均值）；GF 方法是一种新的基于模糊梯度阈值函数和全局优化的滤波器，克服了传统基于局部加权平均的滤波器在分解过程中由于亮度的色散而导致的边缘模糊问题，保证图像的整体亮度和边缘信息。

当δs=5，δr=0.1，n=3，α=0.02，λ=50 和n=10 时AGF 效果好，因此将它们作为本文方法的默认设置，自适应PCNN 参数W=［0.0312，1，0.0312；1，0，1；0.0312，1，0.707］，迭代次数n通过Tanh 函数来设定。本文所有的实验均在win7系统上的Matlab2016a 环境中实现，仿真区域窗口设置为3×3。

6.4 仿真结果及分析

图12 为4 组不同融合方法的实验结果，其中方框内容为每组图像的局部细节放大图。第一组实验图像，RGF 方法和IFCNN 方法的融合结果整体较好，但是对比度及清晰度不高；BRG 方法、GSF 方法和GF 方法融合图像整体较为模糊，细节纹理信息都不够清晰，其中BRG 方法得到的融合图像里面有大面积的伪影出现；本文方法的纹理信息清晰，视觉效果好，因为交替梯度滤波能够避免目标边缘模糊。通过观察局部放大图像可以明显看出，本文方法的纹理细节信息清晰，在场景信息丰富的同时，目标对象显著。第二组融合图像，RGF 方法、IFCNN 方法的视觉效果好，红外图像的目标人物突出，但清晰度不够，对比度低，细节信息损失较多；BRG 方法从视觉角度出发，没有考虑细节信息，因此红外图像的目标人物得到很好地保存，但可见光图像的背景细节信息丢失较为严重；GSF 方法对比度高，但目标显著同时边缘有虚影产生，细节信息丢失较多；GF 方法边缘细节纹理保存较好，消除小梯度噪声信息，但目标对象不突出；与其他方法相比，本文方法在保留特征信息的同时，图像整体亮度和边缘梯度最好，目标对象显著，背景纹理信息清晰，视觉效果佳。第三组和第四组融合图像，RGF 方法、IFCNN 方法及GF 方法的整体融合效果较好，场景信息丰富，但目标对象不突出，细节纹理不清晰；GSF 方法的整体融合效果模糊，含有较多的噪声信息，对比度不高，尤其是第三组图像边缘模糊；BRG 方法目标对象显著，但场景信息不丰富，边缘细节信息丢失严重，第四组图像的树叶边缘模糊；相比之下，本文方法的整体视觉效果更好，因为AGF 在防止边缘曲率平滑和保持图像亮度的情况下恢复了大尺度边缘，避免图像边缘模糊，因此清晰度和纹理信息明显，同时近似层引入MSMG 可以突出目标对象，且没有引入冗余信息。通过对第三、四组图像的局部细节放大图进行观察比较可以看到，本文方法得到的汽车和树枝细节纹理清晰，目标对象突出边缘没有伪影产生，整体融合效果图的场景信息丰富，亮度比其他方法高。

图12 融合结果Fig.12 Fused resuls

由于人眼视觉的差异，主观评价方法存在着一定的局限性。为对融合结果图进行更加客观地分析，本文利用平均梯度（AG）、标准差（STD）、信息熵（EN）、空间频率（SF）、边缘强度（EI）［26］以及视觉保真度（VIFF）［27］这6 种客观评价指标对融合方法的性能进行定量分析。为了方便比较，采用柱状图的表现形式。表1 为客观评价指标的实验结果，图13 为4 组图像客观评价指标柱状图。

表1 各组源图像不同方法融合结果的客观评价指标Tab. 1 Objective evaluation index of fusion results of different source images

AG 衡量图像中细节反差和纹理变换，值越大，图像细节越清晰；STD 反映图像中灰度层次差异性，值越大，说明融合图像的效果越好；EN主要是度量图像包含信息量多少，信息熵越高表示融合图像的信息量越丰富，质量越好；SF 反映了空间频率误差的比值；EI 边缘强度反映图像的清晰程度，值越大说明融合图像包含的细节信息越丰富，图像越清晰；VIFF 是基于视觉保真度提出的衡量图像质量的指标，其值越大，表示图像融合质量越好。

由图13 可知，本文方法的AG 值高，说明细节纹理保留方面较好；STD 表示像素灰度值离散长度，可以反映图像细节信息的丰富度，值越高，则细节信息越丰富；EN 表示图像所包含信息量的多少，值越大则融合效果越好；SF 反应图像的灰度变化率，值越大整体质量越好；EI 边缘强度反映图像的清晰程度，值越大说明融合图像包含的细节信息越丰富，图像越清晰；VIFF 越高，说明图像与人眼视觉观察越一致，从柱状图可以看出，本文方法的VIFF 值最大，融合效果最佳。4组源图像通过6 种不同融合方法得到融合结果，通过观察表1 的6 种指标值，结合图13 客观评价指标的柱状图走向趋势，本文方法的指标值整体较高。通过主观视觉和客观评价指标可以得出，本文提出的方法优于其他对比方法，能够避免在目标物体的边缘处产生虚影，取得了最好的融合结果。

图13 客观评价指标柱状图Fig.13 Bar charts of objective eualuation index

6.5 运行时间分析

为了进一步分析本文方法的有效性，评估这些算法的计算效率，表2 列出了不同融合方法处理632×496，360×270，256×256，768×576 四组源图像的平均计算时间。从表2 可以看出，本文方法的计算效率最高，运行时间最短，RGF 和BRG 方法的运行时间略长，GSF 和IFCNN 方法的运行时间偏长。通过定性、定量评价以及时间性能的分析可知，本文方法的性能最佳。

表2 不同融合方法的平均运行时间Tab. 2 Average running time of different fusion methods（s）

7 结论

结合GF、RGF 和SIRmed 的优良特性，本文提出AGF，它采用全局优化方法在实现小结构消除的同时具有局部强度保持和边缘恢复的特性。基于AGF，提出一种基于AGF 和改进PCNN 的红外与可见光图像融合方法。通过AGF 对源图像进行分解，它将源图像分解为近似层和残差层，近似层反映源图像的整体亮度分布，采用多尺度形态学算子和最大区域能量作为它的融合规则；残差层反映了源图像的微小梯度变化，保留了源图像的纹理信息，采用改进的PCNN 作为融合规则。实验结果表明，主观视觉上本文方法能够避免在目标物体的边缘处产生虚影，较好地保留源图像的亮度、边缘、细节及纹理等信息；在客观评价指标上，与其他5 种融合方法进行比较，平均梯度、标准差、信息熵、空间频率、边缘强度和视觉保真度分别平均提高了18%，10%，2.8%，16%，51%，11.2%。为了进一步丰富融合图像的细节信息，今后将进一步研究AGF 模型优化以及融合规则的选择。