基于数字媒体技术的图像融合算法

廖 洁

（滇西科技师范学院智能与信息工程学院，云南 临沧 677000）

一、引言

数字媒体技术是一种使用现代计算和通信技术，来处理文字、声音、图形、图像和视频等信息资源，把从传感器和外界获取到的抽象数据转换成为能被人们所感知的、便于管理和人机交互的技术和手段。图像融合是把一些通过不同成像原理的设备采集的图像，比如可见光图像、红外成像、雷达成像、X射线图像、断层CT图像和核磁共振图像等相互融合，通过图像融合算法，从融合后的图像里得到更多的信息，从而对图像细节进行更精确的识别。近年来，红外图像发展迅速，应用领域涵盖军用和民用，导致可见光图像和红外图像的融合技术也在广泛发展。红外图像有着强抗噪、全天候成像和探测隐蔽目标能力强等优点，但也有对比差、场景模糊和边缘细节不明显等缺点。而可见光图像光谱范围广，储藏信息丰富，对的空间的识别度很高，对场景部分的细节展现得更清晰，因此，把红外与可见光图像里极具价值的数据融合到一起成为当下的研究热点，这样能获得更准确、清晰和全面的影像，研究价值很高。

二、研究现状

数字媒体技术研究的是和数字信息的获取、处理、存储、传播、管理、安全和输出等相关的理论、方法和技术。图像融合技术兴起于二十世纪七十年代，当时的图像融合概念被精确定义为“通过特定方式把不同成像原理的两张或多张描述同一个场景的图像信息综合成一张新的图像，融合后的图像具有清晰度高、理解性强和准确度高等热点，更适合通过人眼观察和使用计算机工具进行检测、分类和识别”。

图像融合综合多种数字媒体技术，基于目前强大的计算机硬件体系和其他数字设备，有着互补性好、识别度高、重构能力和高测量维度等优点。这项技术目前已广泛应用于军事、遥感、医学和人工智能等领域。医学上，在颅脑仿射治疗和可视化颅脑手术里成功地把CT和MRI图像融合，融合效果良好。遥感领域中，多源遥感图像的融合成为重点研究对象，在植被的分类、洪流检测、绘制地形图和天气预报方向应用广泛。遥感图像融合技术的发展还提高了图像的压缩技术，还提高了对遥感图像的提取分析能力，增强对地表目标的辨别和分类的精准度，对军用和民用研究价值极高。在人工智能方向，图像融合增强了智能设备对环境的感知能力，提高了机器人的导航能力和目标识别性能。在军事领域，当前战争早已发展为信息化战争，图像融合技术对战场目标的识别和探测成为作战分析和实战影响最为关键的技术，从技术上可以极大地辅助提高部队的战斗力。

图像融合的理论发展经历了早期的加权平均法，彩色空间变换，再到多尺寸变换方法，发展速度十分快。但这些传统融合方法基本上只是对图像的像素进行简单运算，而未考虑到图像在变换域中的一些特性，实际中图像里相邻像素在空域和频域都有着一定的关联性。只通过对图像中像素处理，无法达到较好的融合效果。后来，研究者们接连研究出拉普拉斯金字塔变换、低通金字塔变换、对比度金字塔变换和梯度金字塔变换等金字塔变换方法。但金字塔方法经过验证也存在一些问题，在对图像进行金字塔分解后，每层图像数据猛增而且关联性高，最终融合达不到想要的效果。紧接着随着小波变换理论的发展，学者们把小波变换技术应用至图像的处理整个过程中。小波变换具备多尺度和时频域局部特性良好等优势，可以使图像融合实现良好的效果。

三、图像融合过程

图像融合本质上是把不同种类的传感器获取到的相同场景的影像，在经过某种融合算法计算后得出一张相对准确反馈该场景内容的新的图像。图像融合的过程通常包含以下几个步骤，如图1所示。

图1 图像融合处理过程

（一）图像预处理。

这一步进行的是对两张或者多张图像进行预处理，图像分别来自不同类型的传感器，预处理的过程包括了图像去噪声、图像增强和图像配准等过程，这个过程的目的是为了提高需要融合的多张图像的对比度和识别率。

（二）图像融合主要过程。

这一步进行的是确定图像融合的级别（像素级、决策级和特征级）、图像融合算法和融合规则选择等处理过程，是图像融合的核心。

（三）融合效果评价。

这一步是对融合算法实际性能的验证和评价，为算法的进一步的改进和完善提供客观科学依据。

（四）融合图像的后续处理。

对处理完成后的融合图像进行目标特征信息的提取、检测、识别、跟踪和决策等、涉及到各个领域的具体应用。

本文研究主要涉及前三个过程，对于后续处理的内容不在本文的研究范围内。

四、图像融合算法

（一）融合算法流程

1.把红外热图像预处理，采用分段线性变换方法增强红外图像的对比度，把红外图像的目标区区分的更明显。

2.通过对预处理后的多张红外图像和可见光图像分别进行多尺度和方向NSCT变换，获得每张图像的低频和高频子带系数。

3.通过本文选取的融合规则对低频子带系数和高频方向子带系数分别进行融合，得到融合图像的各个子带系数。

4.通过对综合后的各子带系数实行NSCT逆过程变换，可以获得最终的融合图像。

（二）红外图像预处理

红外图像具有抗噪声差、对比度相对低和边缘局部细节不明显等不足之处。本文为满足图像的融合效果，采用分段线性灰度变换方法来对红外图像预处理，可以增强图像的对比度，使得红外图像中目标识别度变高。该方法运算量较小，运行时长很短，对算法整理影响不大。

分段线性变换方法的数学公式如下：

本式中I(x,y)为红外图像在(x,y)处的像素灰度，g(x,y)为变换后对应位置的像素灰度。

（三）图像融合处理

1.将预处理好的待融合可见光图像和红外图像进行NSCT多尺度和多方向分解，得到各个图像在低频和高频方向子带系数。

2.通过分析各个子带系数的区域特性，得到综合特征信息，根据实际应用场景里的的融合要求，选取可行的融合规则，进行融合过程，能得到整合多张图像中有价值的子带系数信息。

3.通过以上步骤可以获得各个尺度和方向的融合系数，对融合系数进行NSCT逆过程变换，之后获得融合后的图像。

（四）融合规则

本文的图像融合规则如图2所示。选取基于区域的方法，这种方法和基于窗口的方法比较相似，区别在于区域没有限定为3*3或5*5的方形小窗，区域形状可以为不规则形状。这是因为红外图像中的大多数目标预期信息的显示都表现出一定的不规则形。采用基于区域的规则能自适应设计融合区域的不规则形状和大小。

图2 融合规则

五、融合算法的性能评价

图像融合算法常用的评价性能指标包含有：平均梯度、信息熵、互信息、空间频率和标准差等，本文算法的评价都使用了这些指标，依次简单介绍如下。

（一）平均梯度

平均梯度指标又称图像清晰度，用来评价图像的清晰度，指的是图像在垂直和水平两个方向上的差分的和，这个指标从某种程度上体现图像纹理变化的细节，对像素灰度差值大的边缘信息非常敏感。平均梯度的数学表达式如下所示。

（二）信息熵

信息熵指的是图像里有价值的数据的信息含量，是图像里不同的像素灰度在整张图像里出现的次数和频率，可以表现为像素灰度的概率分布。信息熵的大小可以判断出融合后的图像是否比原图的有价值数据含量多，直观体现融合效果的好坏。

（三）互信息

互信息可以用于衡量图像之间的相似程度，是衡量图像融合质量的主要参考指标。互信息值越大，说明融合后的图像保留了参考图像的信息量就越多，因而具有更好的融合效果。假设图像 A，B经过融合产生了图像F，互信息的计算过程如下：

（四）空间频率

图像的空间频率指标表现为图像在水平方向上的差值与垂直方向上的差值的总和，表示着图像活跃的程度。

（五）标准差

标准差指标指的是图像各像素灰度和图像平均水平的差异情况，体现了像素的层次，这个值越大说明像素差异越明显，像素层次越丰富。

六、仿真实验

本文的仿真实验环境硬件为CPU：Intel(R)Core(TM)i3-7100@3.90GHz，内存：8GB，操作系统为Windows10。软件编译环境为Python3.8。

（一）实验部分代码

（二）实验结果

实验对比结果分别如图3、图4、图5所示。

图3 可见光图像（左图）和红外线图像（右图）

图4 小波变换算法（左图）和NSCT算法（右图）

图5 PCNN算法（左图）和本文算法（右图）

由图3～5的实验对比结果可见，基于传统小波变换的融合算法得到的图像目标区域突出明显，然而融合后的图像里面关于对场景部分描述的相关细节信息却没有保留下来，根据直观和客观评价指标得出该方法融合的图像整体质量差。基于NSCT融合算法得到的图像提高了场景部分的信息保留程度，显示效果较佳，然而图像本身对比度却较小。PCNN融合算法得到的融合图像关于场景信息保留程度高，但边缘细节部分显示较差，对比度较小。应用本文算法仿真得到的图像综合对比以上算法得到效果最佳，使目标区域显示突出，保持了较高的图像清晰度，提高了分辨率和对比度。如表1所示。

表1 图像融合算法评价指标对比表

从表1的算法评价指标对比表中可以看出本文算法得到的融合图像的平均梯度、空间频率和标准差三指标有显著的提升。

七、结语

图像融合技术是数字媒体技术中很重要的一个方向。本文应用数字媒体技术把可见光图像与通过红外传感器获取到的红外图像进行融合处理，继而得到对图像中目标和场景的综合显现。图像融合因为其融合后可以保留相对较多的场景，融合后图像精度高，便于后续图像中目标观测和特征点的提取。所以本文研究一种基于数字媒体技术的图像融合算法，并与其它传统的图像融合算法进行了比较。依据实验结果得出结论，本文算法所得的融合图像中目标区域特征明显、边缘细节显示清晰、场景信息保留很好，图像的融合质量得到了改善。