多源图像融合技术在无人机中的应用

于君娜，单子力，李方方，李 峰

(中国电子科技集团公司第五十四研究所，河北 石家庄 050081)

0 引言

随着无人机和传感器技术的发展，目前无人机上已经可以搭载多种成像传感器。分析各传感器的成像特性差异并结合应用目的，获取多源传感器的组合模式、数据形式、处理流程，并利用图像融合技术得到互补的融合图像[1]，有利于更加准确地获得目标物体的全面信息。目前，多源图像融合技术在遥感图像分析等领域发挥着重要的作用[2]，具有重要的社会价值[3]。1979年Daliy[4]等人将雷达图像和Landsat MSS图像用于地址解释，这是最早的图像融合。1988年，图像融合的概念被POHL C.提出[5]。Al-wasszi F.A[6]首次将HIS变换用于图像融合中，将图像从RGB空间转换到HIS空间。但HIS变化导致融合后的图像产生明显的光谱失真，不能有效使用光谱信息。2009年，殷立琼[7]将HIS变换和小波变换相结合进行图像融合，同时利用小波变化和HIS变换的优势，减少了光谱扭曲现象。Tetrolet变换能够精确地表达图像的结构及纹理特征，2013年延翔[8]将Tetrolet变换用于不同频谱图像的融合中。同年，KotwalK[9]提出一种基于贝叶斯高光谱图像融合方法，实现了高效可视化。2014年，Zhang B.H.[10]结合BEMD分解和双通道PCNN，将分解策略引入图像融合。同年，Hua[11]等人提出一种基于图上游走技术的多聚焦图像融合方法。虽然进行了大量的研究，但图像融合方法仍然面临着很多问题。本文针对HIS变换融合算法中产生的光谱失真问题进行深入研究，引入压缩感知理论，提高了图像融合的性能，为后续目标检测[12]、目标识别[13]与定位应用[14]提供较好的数据保障。

1 传感器成像特性分析

目前中/远程无人机上搭载的成像传感器主要有航空数码相机、电视摄像机、红外摄像仪和合成孔径雷达，成像特点如表1所示。

表1 无人机载成像传感器成像特性

传感器类型主要成像特点航空数码相机分辨率高,图像尺寸大,搜索面积大,但实时性差电视摄像机分辨率和图像尺寸比航空数码相机低,实时性强红外热像仪分辨率和图像尺寸比电视摄像机低,实时性强,主要用于搜集地面目标的红外辐射信息,昼夜两用。合成孔径雷达分辨率高,图像尺寸大,搜索面积大,可以全天时、全天候工作,穿透力强

其中，航空数码相机和电视摄像机都是利用光学成像原理成像，所获取的图像中含有丰富的光谱信息和完整的目标几何特征信息，符合人眼感知系统，方便判读人员进行目标识别和分类，但是受空气能见度和光照的影响较大；红外摄像仪主要是搜集地面目标的红外辐射信息进行成像，适用于在夜间成像以及在白天发现伪装的热敏目标，如坦克、士兵等，但是在红外热像仪中只显示了物体表面的温度分布，不能清晰显示物体轮廓和具体的形状信息，不利于人眼识别；机载SAR是利用微波进行成像，具有较强的穿透性，能够全天时、全天候对目标进行观测，不受天气、烟雾、树林和战场伪装的影响，在夜间、气候恶劣的情况下或在沙尘、烟雾弥漫的战场上，它的侦察能力尤为突出，但是SAR图像也不能清晰显示物体轮廓和具体的形状信息，给判读带来了很大的困难。

综上所述，各传感器由于成像原理不同，各有优缺点，如何利用来自其他传感器的图像来替代或弥补某一传感器图像中丢失的信息，成为多源传感器应用的重点。

在实际应用中，由于上述4种传感器的成像尺寸和分辨率特性差异，比较适用的传感器融合模式为电视摄像机获得的可见光图像与红外热像仪获得的红外图像进行融合[15]，航空数码相机获取的航空相片与SAR图像进行融合。目前无人机上搭载的电视摄像机和红外热像仪已经做到共轴，从而可以方便获取同一地区、同一时相的可见光图像和红外图像，这样的一对图像由于拍摄角度一致，给后续的配准融合带来了很大的方便，通过融合技术能更容易发现隐藏的热敏目标。航空数码相片和SAR图像由于成像幅面积大、分辨率高，二者进行融合处理能够在短时间内获取大范围内准确的战场态势。

2 图像融合处理流程

在无人机多源图像融合处理的实际应用中，图像融合是从数据获取、处理、展现的一个完整过程，下面将分别针对可见光图像与红外图像融合、航空数码相片与SAR图像融合的处理过程进行分析。

无人机下传的可见光图像与红外图像均以视频的形式存储，并叠加遥测数据。由于可见光图像与红外图像是共轴、同时相的，可以从播放的某一传感器视频中人工截取单帧静止图像作为待融合图像并获取对应的遥测数据，根据时间参数从另一个传感器视频中获取单帧静止图像作为另一待融合图像，根据单帧静止图像对应的遥测数据分别对待融合图像进行系统几何校正完成图像粗定位，对粗定位后的2幅待融合图像进行特征点提取、自动配准处理，如果自动配准找不到足够的同名点对，可以进行人工干预，对配准后的2幅待融合图像的重叠区域内的数据进行融合计算处理，形成融合结果文件保存到磁盘上，也可以对配准后的2幅待融合图像进行叠加显示，人工通过卷帘、透明的方式对重叠区域数据进行分析比对。具体处理流程如图1所示。

图1 可见光图像与红外图像融合处理流程

航空数码相片与SAR图像都是以本地文件存储的，以数码相片为起点，根据遥测数据对待融合的数码相片进行系统校正获取图像地理范围，根据时间和地理范围获取对应的SAR图像，对SAR图像进行系统几何校正，后续处理步骤同可见光图像与红外图像融合处理步骤。

3 图像融合算法

可见光图像与航空数码相片都是3波段RGB彩色图像，红外图像和SAR图像都是单波段灰度图像，可用于可见光图像与红外图像融合、数码相片与SAR图像融合的经典算法主要为HIS变换法，本文对经典的HIS变换法的原理和缺陷进行分析，将压缩感知理论应用到无人机数码照片和SAR图像融合处理中，很好地解决了无人机多源异构图像融合问题。

3.1 HIS变换图像融合

目前常用的彩色模型可分为2类，一类是RGB颜色空间模型，这里的R是红色，G是绿色，B是蓝色，这3个基础色构成了其他颜色；另一类是IHS颜色空间模型，是由亮度、色度与饱和度构成的，分别用I，H，S表示，其他颜色也是由这3个分量构成，亮度I表示的是由其他物体反射的全部能量和图像的空间信息，色度H表示的是色彩组成的主波长，反映的是频谱信息，饱和度S表示的是颜色的纯度，主要反映地物的光谱信息。在IHS色彩空间中，I，H，S三个分量相关性很低，因此可以利用这个特点对分量单独进行处理，并且这种彩色空间更适于人眼的观察，算法也很简单，因此被广泛地应用到图像融合技术。在HIS变换中，把图像由RGB空间变换到HIS空间称为正变换[16]，相反的，由HIS空间变换到RGB空间称为逆变换[17]。

① HIS正变换公式如下：

② HIS逆变换公式如下：

基于HIS变换的图像融合的过程：首先将数码相片/可见光图像进行HIS正变换，提取I分量；SAR图像/红外图像以I为基准，进行直方图配准得到I′；用获得的I′替代I，进行HIS逆变换，得到变换后的RGB影像，即融合后图像。处理流程如图2所示。HIS变换法在将SAR图像/红外图像中的纹理特征融合到可见光图像中时，由于SAR图像/红外图像的成像机理与可见光图像不同，与可见光图像强度分量差异大，所以融合后的图像与原图像相比会产生较大的光谱失真。

图2 HIS变换图像融合处理流程

3.2 压缩感知图像融合

传统HIS变换方法在进行航空数码相片与SAR图像融合处理时，在引入SAR图像纹理信息的同时，也丢失了光学图像光谱信息。针对传统算法的这些不足，本文将压缩感知理论应用到无人机数码照片和SAR图像融合处理中，该方法在引入SAR图像纹理信息的同时，能够有效地保持可见光图像光谱信息，取得较好的融合效果。

3.2.1 算法原理

3.2.2 实现过程

基于压缩感知的图像融合方法过程如图3所示。

图3 基于压缩感知的图像融合流程

① 图像分块

图像分块是一种预处理方法，通常处理大幅或者多幅图像的时候，数据量会很庞大，导致计算的复杂度比较高，对硬件实现的要求较为严格。基于对此问题的思考，提出了一种常用的解决方案：分块思想。假如存在待融合图像A，将A分成许多大小为N×N的子图像块Au，其中每一块的大小主要由人为因素决定，每个子块的顺序要进行标记。进而对每个子图像块Au分别进行处理，降低了数据的复杂度，利于硬件的实现。

② 转化为向量

转化为向量是为了进一步实现处理的简单化，即将子图像块Au转化为向量fAu。为了形象描述该过程，现以8×8的待融合子图像块Au为例，对其进行转化，转化后的向量记为fAu：

fAu=(au11，…，au18，au21，…，au28，…，au81，…，au88)′，

式中，u表示待融合图像所分成的子图像块数的标号，u为多少就代表是第多少块；au11等表示的是子图像块Au中元素的元素值。

③ 信号的稀疏表示

信号的稀疏表示是先确定信号的变换域，再得到信号在该变换域上的稀疏系数。通常情况，对向量进行离散余弦变换可以得到较好的稀疏系数，这个变换域上得到的系数也具有较好的稀疏性，因此一般都采用该变换域。对上步得到的向量进行离散余弦变换，得到在余弦基上的稀疏系数，保证信号具有足够的稀疏性。按照上式中的符号，待融合的向量分别为fAu，fBu，经过离散余弦变换后得到FAu，FBu，过程可表示：

K=0，1，...，N-1。

④ 测量矩阵

测量矩阵要求用与稀疏基不相干的矩阵进行乘积，从而得到测量数据。该测量矩阵与稀疏基越不相干得到的效果越好；同时不相干性也是设计测量矩阵必须要重点考虑的条件之一。通常情况下选用随机高斯矩阵，它可以满足与任一矩阵的不相干性，并且具有较好的测量结果，是当前普遍选用的一种测量矩阵。以均值为0，方差为1的随机高斯矩阵为例，设该矩阵为φ，则有：

φ∈RM×N(M≪N)，

φi，j～N(0，1)，

式中，φi，j表示测量矩阵φ中的元素；M表示测量矩阵的维数；N表示测量矩阵的列，即个数；维数是要远小于个数的。经过这个矩阵，可以得到系数的测量值yAu，yBu：

⑤ 融合规则

融合规则是指将得到的测量值按照某种特定的规则进行运算，得到一个新的数值，这个新数值就是融合后的数值。进行运算的规则称之为融合规则，它直接决定了图像的融合效果，选取最为简单的一种融合方式，即加权的融合规则，对待融合的测量数据进行融合，得到融合后的数据zu：

式中，t表示测量值中的元素个数的标号。之所以选取该融合方式，除了可以使计算较为方面，较为简单地得到融合值外，还可以充分体现压缩感知的优越性，利用较为简单的融合方式就可以得到通常复杂融合算法下的融合效果。本文采用的求取权值系数的公式为取熵法，假定待融合图像A，B的熵分别为HA，HB，则：

⑥ 图像重构

⑦ 分块融合后子图的重新组合

重新组合是指将重构后的矩阵块Cu按照原始顺序依次放好，组成的矩阵即为融合后的矩阵。该步是一种简单的线性组合，按照原始顺序进行即可，需要注意的是每一个图像块的顺序即可，组合完后的矩阵即为融合后的图像C。

4 融合实验

本文分别利用传统的HIS变化法和基于压缩感知理论的图像融合方法，对无人机获取的某目标区域数码照片和SAR图像进行融合处理。利用光谱扭曲程度对融合后的图像进行融合效果分析，光谱扭曲程度直接反映了图像的光谱失真程度，扭曲程度越小，说明融合图像的光谱失真越小，融合效果越好[18]]，光谱扭曲度定义为：

式中，V′(i，j)，V(i，j)分别表示图像在点(i，j)处像素的灰度值，前者是融合后图像灰度值，后者是原图像灰度值。由于可见光图像和融合后图像是彩色图像，需要将彩色图像转换为灰度图像后再进行光谱扭曲度计算。

图像融合实验结果如图4所示，其中图4(a)和图4(b)分别为融合前数码照片和SAR图像，图4(c)为HIS变换融合结果，图4(d)为压缩感知融合结果。

图4 图像融合实验结果

HIS变换融合结果图像光谱扭曲度约为80°，基于压缩感知的融合结果图像光谱扭曲度为30°，通过光谱扭曲度和目视效果可以看出，基于压缩感知的图像融合方法在进行无人机数码照片和SAR图像融合时，在光谱保持方面相对于HIS变换有较大提高。

5 结束语

本文通过对目前无人机搭载的载荷获取的数据特性进行研究，根据各传感器的成像特性差异，获得航空数码相片、可见光图像、红外图像和SAR图像的融合组合模式，并利用传统HIS变换法和基于压缩感知的图像融合方法对航空数码照片和SAR图像进行融合处理，基于压缩感知的图像融合方法在光谱保持方面有较大优势，得到的融合结果图像充分保持了航空数码相片和SAR图像的优势信息，表明了此方法的有效性，但依然有可以改进的地方。在构造融合规则时，本文使用了简单的加权融合，接下来会对融合规则进行改进：首先对SAR图像进行目标检测，对检测出的目标区域增加权重。