基于超像素分割的多聚焦图像融合方法

殷向

（河南大学计算机与信息工程学院，开封 475001）

基于超像素分割的多聚焦图像融合方法

殷向

（河南大学计算机与信息工程学院，开封 475001）

为了保留多聚焦融合图像的系数相关性，提出一种基于超像素分割的融合方法。首先对两幅图像进行平均融合，并进行超像素分割，然后把两幅图像按照分割后的块进行区域划分，针对不同的分割区域计算对应的空间频率，比较区域空间频率的大小并进行融合，得到融合结果图。经过主客观评价发现，此方法可以得到较好的融合效果，适用性高，可以更好地保留细节信息，融合边缘过渡自然。

图像融合；超像素分割；多聚焦

0 引言

随着科技的快速发展，越来越多的各种类型的传感器也随之出现，人们从传感器中获得的信息也逐渐增多。在同一场景中，由于传感器的种类不同，得到的信息也不完全相同，为了把这些信息根据不同的规则提取出来，并融合在一起，形成更加准确全面有效的内容，出现了图像融合技术。图像融合技术应用非常广泛，在医学、遥感科学、工业、军事应用的多个方面都有独特的作用。在医学上，利用CT图像和MRI核磁共振图像进行融合，得到的融合图像而已为病人的疾病提供更精确的描述；在军事上，红外图像和可见光图像进行融合，得到的融合图像可以提供被遮挡的目标的准确位置；还有在同一场景把获取的多个聚焦目标的图像融合在一起，可以更加清晰的显示场景中每一个目标，对图像的后续处理有重要的意义。本文就是对同一场景的多聚焦融合技术提出了一种新的思路。

目前常见的图像融合方法主要包括基于空间域的算法和基于变换域的算法。基于空间域的算法主要是对图像系数的直接处理，比如图像系数加权法、主要成分分析法（PCA）、基于统计模型的贝叶斯优化融合法、基于人类视觉特性提出的IHS变换等方法、基于人工神经网络的脉冲耦合神经网络融合法（PCNN）。基于变换域的算法主要包括基于金字塔变换的融合方法、基于小波变换的融合方法、基于Contourlet变换的融合方法等。这些算法主要是针对单个像素或者目标像素周围少量像素形成的融合法则，但是图像中的系数大多数不是孤立存在的，区域系数之间都有较强的相关性。为了能得到融合效果更好过渡更自然的融合图像，增强融合图像系数之间的相关性，本文提出了一种基于超像素分割的图像融合方法。

该方法首先将待融合的图像进行超像素分割，分成有较高相关性和相似度的部分区域，针对不同的区域根据其空间频率进行融合，得到的融合图像边缘更加平滑，信息更加丰富，融合效果更好。

1 融合原理

1.1 超像素分割

超像素是2003年提出的一种图像分割技术，主要是把具有相似特征的像素分成一组，形成有一定视觉意义的像素块，并用像素块的概念取代像素的概念，以此来表达图像的纹理颜色亮度等特征，降低了图像后处理的复杂度。目前已经广泛应用于图像分割、目标跟踪、目标识别等领域。

本文采用SLIC（Simple Linear Iterative Clustering,简单的线性迭代聚类）超像素分割方法对图像进行分割。它是一种思想简单、实现方便、计算更快、效率更高的分割算法，分割得到的超像素块紧凑整齐，更有利于后续的融合。算法实现步骤如下：

首先将图像从RGB颜色空间转化成CIELAB颜色空间，对应每个像素的颜色值（L，a，b）和坐标（x,y）组成向量[liaibixiyi]T，两个像素的相似性即可用它们之间的距离衡量，距离越小，相似度越高。

假设图像共有N个像素点，预计分割成K个超像素块，则超像素的大小为N/K，相邻聚类中心的距离近似为每隔S个像素取一个聚类中心。将中心移动到与3×3邻域中最低梯度位置相对应的中心位置，避免将超像素定位在边缘。

搜索聚类中心2S×2S范围内的像素值，并计算它与该中心点的距离，距离计算公式如下：

其中，dc表示颜色距离，ds代表空间距离，NC表示最大颜色距离，一般设置为常数，取值范围[1,40]。由于每个像素都可能被周围多个中心搜索到，因此比较距离D的大小，取最小值对应的中心作为该像素点的聚类中心。

当每个像素都和最近的聚类中心相关联后，把聚类中心调整为该聚类中所有像素的均值作为新的中心。

多次重复迭代操作，直到分类结果基本不发生改变为止。实践发现一般10次迭代后都能得到比较理想的结果。

图1为SLIC超像素分割结果图。

图1 Lena原图和超像素分割后的图像

1.2 融合过程

（1）首先把待融合图像A和图像B平均融合得到图像C，并对图像C进行SLIC超像素分割得到分割后的图像D。

（2）分别对大小为M×N的图像A和图像B按照图像D中分割的区域进行分割，并计算每一块区域的空间频率。空间频率Rsf计算公式如下：

其中Sum分割区域K中的像素的个数。

（3）比较图像A和B中不同区域的空间频率，如果A中某区域的空间频率大于B中对应区域的空间频率，则融合图像F中该对应区域取A的点，否则，融合图像F中该对应区域取B的点。

其中LFk(x ,y)表示图像F中区域K的坐标。

融合流程如图2所示：

图2 图像融合流程

2 实验结果

为了验证算法的融合效果，本文对源图像进行了融合，并和基于小波变换（DWT）的融合方法、基于NSCT的融合方法、基于PCA的融合方法进行了比较。除了主观观察多幅融合图像的融合质量，本文还采用五种融合图像质量评价标准对不同的融合图像进行可光的比较，分别是边缘信息保留值（QAB/F）、互信息（MI：Mutual Information）、信息熵（Entropy）、空间频率（SFrquency：Spatial Frequency）、平均梯度（AG：Average Gradient）。上述几个评价标准均是值越大融合效果越好。

图3 本文算法和多种算法融合结果图

表1

通过观察图3和表1可以看出，本文算法有比较明显的优势，本文算法的结果图中细节纹理都有比较好的保留，目标清晰，图像融合自然，多个指标的数值也都名列前茅，既能保留较多的图像信息，又有较高的清晰度和对比度。证明了本文算法的优异性和鲁棒性。

3 结语

本文针对多聚焦图像融合问题，提出了一种基于超像素分割的融合算法。首先把两幅源图像简单融合并进行超像素分割，然后按照分割块大小对源图像进行分割，得到不同的区域，并根据不同的区域进行融合。本文算法得到的结果图保留了更多的图像特征信息，且边缘过渡效果自然，在主观分析和客观评价中均有较好的表现。

[1]蔡植善,陈木生.基于小波变换的多聚焦图像融合方法研究[J].激光与光电子学进展,2015,52（9）：117-121.

[2]周生龙，张涛，蒯多杰等.基于方向区域的NSCT图像融合算法[J].激光与红外,2013,43（2）：204-207.

[3]徐月美.多尺度变换的多聚焦图像融合算法研究[D].中国，中国矿业大学，2012：14-16.

[4]杨粤涛.基于非采样Contourlet变换的图像融合[D].中国，中国科学院长春光学精密机械与物理研究所，2012：16-20.

[5]宋瑞霞,王孟,王小春.NSCT与边缘检测相结合的多聚焦图像融合算法[J].计算机辅助设计与图形学学报,2016,28（12）：2134-2141.

Multi-Focus Image Fusion Algorithm Based on Super-Pixel Segmentation

YIN Xiang
（College of Computer and Information Engineering,Henan University,Kaifeng 475001）

In order to preserve the coefficient correlation of multi-focus fusion images,proposes a fusion method based on super-pixel segmentation.Firstly,fusions two image with average and super-pixel division them,then divides the two images according to the division blocks,according to different segmentation regional calculating corresponding spatial frequency,compares the regional spatial frequency and fusion them,and gets the fusion result.According to the subjective and objective evaluation,this method can get better fusion effect and high applicability.It can better retain details and blend the edge transition nature.

Image Fusion；Super-Pixel Segmentation；Multi-Focus

高分重大专项课题（No.Y4D00100GF）、高分重大专项课题（No.Y4D0100038）

1007-1423（2017）32-0076-04

10.3969/j.issn.1007-1423.2017.32.017

殷向（1990-），男，河南开封人，研究生，研究方向为空间数据处理和图像处理

2017-08-22

2017-11-10