能量属性与引导滤波结合的遥感影像融合

宋加文,朱大明,付志涛,陈思静

昆明理工大学国土资源工程学院,云南 昆明 650093

由于卫星传感器的物理限制,遥感影像中多光谱(multispectral,MS)影像空间分辨率较低,但光谱信息丰富;全色(panchromatic,PAN)影像空间分辨率高,但缺失光谱信息。通过PAN影像与MS影像融合可以生成具备高空间分辨率的MS影像,即全色锐化[1]。并且,随着高分辨率MS影像在变化检测[2]、土壤覆盖测绘[3]和城市区域分类[4]等领域的需求越来越高,全色锐化技术已成为遥感领域的一个重要而热门的问题[5]。

现有的全色锐化方法大致可归为4类:基于变分优化方法、机器学习方法、多分辨率分析方法、分量替代方法[6]。基于变分优化及机器学习的方法是过去几年新兴的一个研究方向,其目标是实现高质量的融合结果,但这通常会增加算法的复杂性以及计算量,并且方法在不同卫星影像上的泛化能力有限[1,7]。基于多分辨率分析方法可以获得较高的光谱质量,但容易产生一些空间退化,例如块状和混叠伪影。分量替代法是将MS影像变换到另一颜色空间,用PAN影像部分或全部信息替换变换后MS影像的分量信息,最后通过逆变换得到融合影像。包括主成分分析法(principal component analysis,PCA)、强度-色调-饱和度(intensity-hue-saturation,IHS)方法和Gram-Schmidt方法等[8]。分量替代方法容易产生光谱失真,但方法简单高效,如果算法设计得当,也可以获得具有竞争力的结果[7,9]。

近年来,边缘保持滤波的方法在全色锐化中取得了良好的效果。文献[10]使用双边滤波和双尺度引导滤波获取细节图像,并将细节图像注入MS影像中实现全色锐化。文献[11]将MS影像和PAN影像分别分解为高频分量和低频分量,然后,利用引导滤波增强细节图的光谱信息,此外,方法根据MS影像每个波段的自适应系数对细节图进行细化。在以上两个全色锐化方法中,边缘保持滤波在影像分解、细节提取和图像增强方面起到很好的效果,但由于算法的设计原因,融合影像均存在光谱失真以及空间细节不清晰的问题。

针对以上问题,本文基于分量替代法简单高效的融合框架,并结合边缘保持滤波的优异性能,提出一种基于能量属性(energy attribute,EA)和引导滤波的全色锐化方法:引入均值滤波,通过均值滤波和差分算子将MS影像的强度分量和PAN影像分解为高频分量和低频分量。高频信息通过引导滤波增强,然后使用像素最大值规则获得决策图,最后通过像素加权平均规则获得融合高频分量。低频分量通过EA方法融合。本文方法的优势和贡献为:①所提出的基于引导滤波和EA方法的融合策略可以有效地生成两个预融合图像,使融合后的影像能很好地保存源影像的空间细节和光谱信息;②均值和引导滤波均具备图像去噪的功能,使得方法具有噪声稳健性的优点;③由于方法将图像双尺度分量分解,使得方法易于实现和理解,并且具有较高的计算效率。

1 总体流程

本文方法首先将多光谱影像上采样至全色影像像素尺寸。MS影像是彩色图像,PAN影像是灰度图像,若直接在RGB颜色空间融合会导致光谱失真,本文将MS影像转换至IHS颜色空间,生成强度(intensity,I)、色调(hue,H)和饱和度(saturation,S)分量。PAN影像与I分量通过均值滤波和差分算子计算获得高频分量和低频分量。其中高频信息通过引导滤波增强,使用像素最大值规则获得决策图,最后高频图像通过像素加权平均规则与决策图融合。低频分量通过EA方法融合。结合新的低频分量与高频分量替代原I分量并逆IHS变换得到融合影像。

融合方法流程如图1所示,具体步骤如下。

图1 融合方法流程Fig.1 Flowchart of fusion method

(1) MS影像上采样至PAN影像像素尺寸。

(2) MS影像转换至IHS颜色空间,得到I、H和S分量。

(3) 根据I分量对PAN影像进行直方图调整。

(4) PAN影像和I分量通过均值滤波,得到高频分量(IH1,IH2)与低频分量(IL1,IL2)。

(5) 高频分量IH1和IH2取绝对值后得IAH1和IAH2,通过引导滤波增强高频信息得到IEH1和IEH2,然后使用像素最大值规则获得决策图IM,最后IH1、IH2与IM通过像素加权平均规则获得FH。

(6)低频分量IL1和IL2通过EA融合策略得FL。

(7)FH和FL取和得I′。

(8) 将I′与H、S分量结合转换到RGB空间,得到最终融合影像F。

1.1 图像分解

如何分解图像之间的互补信息是图像融合的主要挑战,目前双尺度分量分解技术在图像融合中应用广泛,例如多聚焦图像融合[12-13]。而图像双尺度分量分解常通过均值滤波实现,采用的主要方法为邻域平均法。在频率域上均值滤波是一种低通滤波器,可以去除图像高频信息,因此可以实现图像去噪、图像平滑和模糊等功能。故本文通过均值滤波分解图像为高频分量和低频分量。PAN影像和I分量作为源图像输入均值滤波fm以模糊图像。平均滤波图像IL1和IL2计算公式为

IL1(x,y)=I1(x,y)*fm

(1)

IL2(x,y)=I2(x,y)*fm

(2)

式中,*表示卷积运算符;I1和I2分别为PAN影像和I分量;IL1和IL2为对应的低频分量。然后通过计算源图像和平均滤波图像之间的差值提取高频图像,计算公式为

IH1(x,y)=I1(x,y)-IL1(x,y)

(3)

IH2(x,y)=I2(x,y)-IL2(x,y)

(4)

式中,IH1和IH2是通过差分算子提取的高频分量。然后,计算高频分量的绝对值

IAH1(x,y)=|IH1(x,y)|

(5)

IAH2(x,y)=|IH2(x,y)|

(6)

1.2 高频分量融合

图像的高频分量主要包含图像的边缘轮廓等细节信息,因此在遥感影像中空间分辨率越高的区域往往具有更多的高频信息。由于引导滤波(guided filter,GF)[14]可以通过合并引导图像的信息来过滤输入图像,引导图像可以是输入图像本身或不同的图像。当引导图像是输入图像时,GF充当边缘保持滤波器,可以保留输入图像的强边缘。当引导图像是不同的图像时,GF将从引导图像中提取结构信息,并将结构信息合并到输入图像中。因此,可以通过将I1和I2作为引导图像的导向滤波来增强IAH1和IAH2,以获得具有更多高频信息的IEH1和IEH2

IEH1(x,y)=GFr,ε(I1,IAH1)

(7)

IEH2(x,y)=GFr,ε(I2,IAH2)

(8)

式中GFr,ε(·)表示引导滤波运算;r和ε是GF的局部窗口半径和正则化参数,分别控制滤波器窗口大小和模糊度。

PAN影像中具有实现全色锐化所需的空间结构信息,即具备丰富的高频信息,图像中高频信息会对融合影像的清晰度及空间分辨率产生很大影响。并且PAN影像的空间结构信息优于I分量。所以,为有效保留高频信息,通过像素最大值规则获得决策图

(9)

最后,高频图像与决策图通过像素加权平均规则获得融合高频图像

FH(x,y)=IM(x,y)IH1(x,y)+(1-
IM(x,y))IH2(x,y)

(10)

1.3 低频分量融合

图像的低频分量是图像强度变化平缓的区域,描述图像的主要部分,是对整幅图像强度的综合度量。因此,所采用的融合策略会对最终融合影像质量产生很大影响,如造成影像光谱失真等。为充分保留低频分量中包含的信息,对低频分量融合采用一种基于EA的融合方法[15]。该融合方法分为3个步骤。

(1) 首先计算低频分量的固有属性值

IP1=μ1+Me1

(11)

IP2=μ2+Me2

(12)

式中,μ和Me分别表示低频分量IL1和IL2的平均值和中值。

(2) EA函数中E1和E2计算公式如下

E1(x,y)=exp(α|IL1(x,y)-IP1|)

(13)

E2(x,y)=exp(α|IL2(x,y)-IP2|)

(14)

式中,exp表示指数运算符;α表示调制参数。

(3) 低频分量的融合结果通过加权平均获得

FL(x,y)=

(15)

1.4 影像重构

结合FH和FL得到I′

I′(x,y)=FH(x,y)+FL(x,y)

(16)

I′替换MS影像I分量并进行IHS-RGB变换,得到最终融合影像F。

2 融合试验

首先介绍试验的数据集、评价指标和参数设置。然后在数据集上进行大量的试验,并从视觉效果和定量评价方面将所提方法与加性小波亮度比例方法(additive wavelet luminance proportional,AWLP)[16]、基于引导滤波的CPE方法[11]、参数自适应脉冲耦合神经网络模型方法(parameter adaptive-pulse coupled neural network,PA-PCNN)[17]和基于局部梯度能量的方法(local gradient energy,LGE)[18]比较,以全面验证方法的有效性和泛化能力。

2.1 试验相关介绍

2.1.1 试验数据集

本文使用SPOT-6、WorldView-2和Pléiades NEO卫星影像制作试验数据集,并选取36对影像用于测试。测试影像包括建筑、道路、植被和水体等各种经典场景,并且影像已提前进行预处理。有关试验数据集细节见表1。

表1 试验数据集细节

2.1.2 评价指标

为客观评价融合算法的性能,选取6个指标来定量评价融合结果,这些指标包括:光谱角度映射(spectral angle mapper,SAM)[19]、相对无量纲全局误差(relative dimensionless global error in synthesis,ERGAS)[20]、相对平均光谱误差(relative average spectral error,RASE)[21]、均方根误差(root mean squared error,RMSE)[22]、通用图像质量指数(universal image quality indexes,UIQI)[23]和峰值信噪比(peak signal to noise ratio,PSNR)[24]。其中,SAM是计算融合影像与参考影像之间的光谱角的绝对值,越小的SAM值意味着更少的光谱角度失真,理想值为0;ERGAS是对融合影像光谱及空间信息失真程度的衡量,可以评估融合影像的整体性能,值越小表示图像质量越好,理想值为0;RASE显示影像光谱平均性能,光谱质量越高,RASE值越低,理想值为0;RMSE通过计算像素值之差来比较两幅影像的差异,RMSE值越小表示差异越小,理想值为0;UIQI反映融合影像的相关损失、亮度失真和对比度失真,值越大,表示融合方法效果越好,融合影像质量越高,理想值为1;PSNR用来衡量有效信息与噪声之间的比率,PSNR值越大影像质量越好。

2.1.3 试验参数设置

文中对比算法的参数依据相应文章设置。本文方法中有4个自由参数,分别为:均值滤波器的滑动窗口大小ω、GF的局部窗口半径r、GF的正则化参数ε和EA函数中的调制参数α。

选取数据集中3组图像对自由参数进行分析(图2)。由图2(b)—(d)可知,r,ε和α参数对融合影像的质量影响较小。综合定量指标和视觉效果,将r固定为3,ε设置为0.1,α设置为5,并讨论ω对融合性能的影响,结果如图2(a)所示,随着ω的增加各评价指标整体趋势是在上升后逐渐平缓。在定性分析中,当ω设置为1～4时影像较为模糊,而ω大于10后影像开始逐渐产生伪影。结合影像的视觉效果和定量指标,将滑动窗口大小ω设置为5。

2.2 SPOT6影像融合

第1组试验数据来源于SPOT-6卫星影像,其中MS影像由RGB波段合成,从制作的SPOT-6卫星影像数据集中选取包含各类场景的影像用作测试,部分试验影像如图3所示。

图3 SPOT-6部分试验影像Fig.3 SPOT-6 partial test image

图4是两组SPOT6影像融合结果,可以看出MS影像的空间分辨率均被有效提升。其中CPE方法融合影像存在光谱失真,纹理细节模糊,影像整体视觉效果不佳。AWLP、PA-PCNN、LGE和本文方法的取得相似效果。但在第1行影像的特写中可以看出,PA-PCNN和LGE方法在弧形长条部分并未有效融入光谱信息,而AWLP和本文方法色彩信息丰富,具备较高的光谱质量。同时,在第2行影像的局部放大区域也可以观察到类似的结果。

图4 SPOT-6影像融合结果Fig.4 SPOT-6 image fusion results

SPOT-6融合影像的定量评价平均值见表2,本文方法的6个定量指标均取得最优值,表明本文方法适用于融合中低分辨率的遥感影像,并且融合影像纹理细节和光谱信息丰富。其中AWLP方法的SAM、RASE和ERGAS指标值为次优值,即AWLP方法的光谱质量仅次于本文方法而优于其他方法,这与上述定性分析保持一致。而CPE方法的SAM和RASE指标值为最差,验证了图4中CPE方法存在光谱失真。

表2 SPOT-6融合影像的定量评价(平均值)

2.3 WorldView-2影像融合

第2组试验数据来源于WorldView-2卫星影像,其中MS影像由RGB波段合成,部分试验影像如图5所示。

图5 WorldView-2部分试验影像Fig.5 WorldView-2 partial test image

图6是两组WorldView-2影像融合结果。在第1行红色特写中,除本文方法外,AWLP、CPE、PA-PCNN和LGE方法均未有效融入红色的色彩信息,光谱信息丢失较为严重。在第2行绿色放大影像中船的位置也可以观察到类似现象,从而本文方法可以更充分地保持源图像的光谱信息。在随机选取并放大的第2行黄色船只位置,PA-PCNN、LGE和本文方法融合影像的边缘轮廓较AWLP和CPE方法融合影像更为清晰,且相较于对比方法,本文方法融合影像的色彩更加丰富自然。WorldView-2融合影像的定量评价平均值见表3,本文方法的6个评价指标值均为最优,证明本文方法可以充分融入源影像的空间和光谱信息。

图6 WorldView-2影像融合结果Fig.6 WorldView-2 image fusion results

2.4 Pléiades NEO影像融合

本组试验数据来源于Pléiades NEO卫星影像,MS影像真彩色合成,部分试验影像如图7所示。

图7 Pléiades NEO部分试验影像Fig.7 Pléiades NEO partial test image

图8是两组影像的融合结果。其中CPE方法有明显的光谱失真,纹理细节较为模糊。AWLP、PA-PCNN、LGE和本文方法取得相似的融合结果,即影像具备良好的视觉效果。而在第1行影像红色放大区域中黄色屋顶的白色凸起部分,本文方法比其他方法的纹理细节更为清晰,空间信息与PAN影像更为接近。在绿色放大影像中白色长条状区域,AWLP和CPE方法影像出现不同程度的伪影,而PA-PCNN、LGE和本文方法的影像边缘轮廓清晰,呈现出较高空间分辨率。Pléiades NEO融合影像的定量评价平均值见表4,本文方法的定量指标均取得最优值。表明本文方法在融合高分辨率遥感影像时具备良好性能。

表4 Pléiades NEO融合影像的定量评价(平均值)

图8 Pléiades NEO影像融合结果Fig.8 Pléiades NEO image fusion results

综合上述定量、定性分析及图9点线图趋势可知(其中影像对1—15分别为SPOT-6、WorldView-2和Pléiads NEO在上文中展示的影像),在融合不同分辨率遥感影像时,本文方法在视觉感知和定量指标上都取得最优的效果,验证了本文融合策略的可行性及方法有效性,同时证明本文方法具备良好的泛化能力。

2.5 时间效率对比

试验运行环境为:AMD Radeon(TM) Graphics显卡和AMD Ryzen 7 4700U with Radeon Graphics 2.00 GHz处理器,16 GB内存,操作系统为Windows10,编程软件及版本为 Matlab R2017b。由图10可知,本文方法在5种影像融合方法中平均运行时间用时最少,较PA-PCNN方法快34.981 2 s,约为AWLP方法平均运行时间的3/5,具有最高的计算效率。这是由于方法将图像双尺度分量分解,并且高频和低频分量的融合方法简单高效。

图10 平均运行时间对比Fig.10 Average uptime comparison

3 结 论

本文提出了一种基于EA和引导滤波的全色锐化方法,通过均值滤波和差分算子分解图像为高频分量与低频分量,将引导滤波应用于高频分量增强,低频分量引入EA方法融合。方法易于实现和理解,计算效率高,并且可以有效结合源影像的空间细节和光谱信息。通过36对包含不同空间分辨率和场景的遥感影像测试,本文方法与AWLP、CPE、PA-PCNN、LGE 4种具有代表性方法相比,定量指标SAM、ERGAS、RASE、RMSE、UIQI和PSNR较次优值分别平均提高了77.13%、10.78%、9.57%、12.20%、1.35%及0.39%,定性评价也取得最优的效果,从而验证了本文方法的有效性。由于异源遥感影像融合具有较高的技术难度,但是很有研究价值。在未来的研究中,异源遥感影像融合将是笔者工作的重点,例如SAR与光学影像融合。