基于形态学和改进管道滤波的红外小目标检测

赵明晶，李伟,2，陶然，马鹏阁，揭斐然

（1.北京理工大学 信息与电子学院，北京 100081；2.光电控制技术重点实验室，北京 100081；3.郑州航空工业管理学院 智能工程学院，河南，郑州 450015；4.中国航空工业集团公司 洛阳电光设备研究所，河南，洛阳 100007）

与雷达和可见光传感器相较而言，红外传感器具备其独特的优势，并在众多领域得到了广泛应用，比如军事领域中的预警系统、制导系统，民用领域中的医学领域、海事领域[1−4]等.将目标进行及时检测是后续任务(如目标识别、跟踪、打击等)顺利开展的保证[5−7].因此，目标检测作为关键的前端处理环节，在很大程度上能够决定现代战争是否取得胜利.毫无疑问，红外小目标检测成为了近年来的研究热点.

在红外图像的成像过程中，长远距离的探测导致目标尺寸较小且缺乏细节纹理信息，且复杂多变的背景极易将目标淹没.以上因素都致使正确检测红外图像中的弱小目标困难重重，直到现在仍然是一项具有挑战性的任务[7].现有的红外小目标检测算法通常分为以下两类：基于单帧图像和基于序列图像[4].前者通过提取每帧图像的空间特征来判定目标存在与否，后者在考虑帧内空间特征的同时也考虑了帧与帧之间的时间特征，确定最终检测结果.

传统的基于单帧图像的检测算法主要侧重于背景估计，如顶帽变换(top-hat transformation, Top-hat)算法[8]，最大中值滤波器(max-mean filter, Max-mean)算法[9]，最大均值滤波器(max-median filter, Max-median)算法[9].这些算法虽然检测效率很高，但是检测结果中残余杂波较多.受人类视觉系统对比机制的启发，CHEN 等[10]开创性地设计了一种局部对比度测量(local contrast measure, LCM)算法.该算法通过提高背景和目标之间的对比度实现对目标显著度的增强，但是在一定程度上也增强了背景且效率不高.后来，HAN 等[11]构思了一种加权增强局部对比度测量(weighted strengthened local contrast measure, WSLCM)算法，该算法能够对背景杂波进行抑制.CHEN 等[12]提出了一种快速自适应掩蔽和迭代分割缩放(fast adaptive masking and scaling with iterative segmentation,FAMSIS)算法，该算法效率较高.近些年，低秩稀疏分解理论被引入进来.GAO 等[13]将传统的红外图像模型扩展为红外图像块(infrared patch-image, IPI)模型.该模型将原始的红外图像分解为稀疏的目标图像和低秩的背景图像，但红外图像中较强的边缘区域容易被误检测为目标.为了改进上述问题，DAI等[14]将IPI 模型推广为重加权红外图像块张量(reweighted infrared patch-tensor, RIPT)模型，ZHANG 等[15]提出了一种基于张量核范数部分和(partial sum of tensor nuclear norm, PSTNN)的非凸方法.

与基于单帧图像的算法相比，基于序列图像的算法由于能够同时利用帧内和帧间信息，通常会有更好的性能.传统的基于序列图像的算法包括各向异性扩散滤波(anisotropic diffusion filter)[16]、管道滤波(pipeline filter)[17]，三维匹配滤波(3D matched filter)[18]等.DENG 等[19]提出了一种时空局部对比度滤波器(spatial-temporal local contrast filter, STLCF)算法.该算法定义了新型空间局部对比度和时间局部对比度，但是对噪声比较敏感.LI 等[20]设计了一种时空显著度模型，该模型分别生成了空间显著图、时间显著图和轨迹预测图，但由于对噪声的抑制不强，目标可能会丢失.DU 等[21]设计了一种时空局部差异测量(spatial-temporal local difference measure, STLDM)算法，但在复杂环境下的检测效果依然不够理想.ZHANG等[22]构造了一种利用四元数离散余弦变换(quaternion discrete cosine transform, QDCT)的时空增强算法.四元数结合了时域的峰度特征、运动特征和空间域的可操纵滤波提取的两个方向特征，但该算法对高强度背景噪声的抑制效果较差.然后，ZHANG 等[23]提出了一种基于边和角感知能力的时空张量(edge and corner awareness-based spatial–temporal tensor,ECA-STT)模型.在该模型中确定了边像素和角像素在目标和背景之间的不同重要性，以此来达到增强目标并抑制背景的目的，但是结果中依然有杂波残留.

然而现有的方法还有两个亟待解决的问题.首先，小目标的特征没有充分挖掘，导致目标容易淹没在复杂的背景中.此外，目标的运动轨迹信息没有充分利用，因此目标和孤立噪声不易区分.针对上述问题，本文提出了一种结合多种形态学属性和改进管道滤波的新方法.该方法首先对每帧红外图像构建最大树，利用面积属性、高度属性和对角线属性充分挖掘目标的典型特征，对背景进行抑制.然后，融合不同属性特征提取的结果得到候选目标.接下来，通过改进的管道滤波进一步挖掘帧与帧之间的时间信息，利用目标运动的规律性和类目标噪声的杂乱无章性对目标和噪声加以区分，去除候选目标中的类目标噪声，进一步抑制虚警，提高检测效果.

1 问题的提出

由于长远距离成像以及其他因素(如大气散射/折射、光学散焦和各种噪声)的影响，红外图像通常具有较低的信噪比和不充分的纹理/细节信息，且目标信号弱尺寸小，极其容易被复杂的背景掩盖.现有方法没有充分挖掘小目标的特征，导致目标容易淹没在复杂的背景中.此外，现有方法没有充分利用目标的运动轨迹信息，因此目标和孤立噪声不易区分，导致检测结果容易丢失目标，而许多与目标有着相似特征的噪声却易被误检测为目标.

多属性形态学特征提取能够挖掘更丰富的空间信息，补充图像本身缺乏的细节信息.管道滤波能够综合提取前后帧之间的时间信息，根据目标运动轨迹保留真实目标而去除无规则的噪声.因此，本文将重点研究结合目标多种形态学属性(面积属性、高度属性和对角线属性)和改进管道滤波的算法.

2 红外小目标检测算法

2.1 算法总体流程

本文提出的红外小目标检测算法总体流程图如图1 所示，主要包含以下3 步：(1)通过最大树建树方法和多属性形态学(面积属性，高度属性和对角线属性)挖掘每帧红外图像的空间信息；(2)融合多属性形态学特征提取的结果得到候选目标，此时候选目标中包含真实目标和类目标噪声；(3)通过改进的管道滤波提取每帧图像之间的时间信息，根据小目标运动轨迹的规律性保留真实目标，并去除偏离目标运动轨迹的类目标噪声.

图1 本文所提出方法的总体流程图Fig.1 The flow chart of the proposed method

2.2 多属性形态学特征提取

图像能够被不同的形状树表示，如最大树、最小树、拓扑树等.通过不同的形状树表示图像能够提高滤波的性能，因此它已经被广泛应用于多种领域[24−25].由于红外图像中的小目标通常有着比周围环境亮度更高的特性，因此本文将最大树特征提取方法引入进来，包含以下3 步：(1)最大树构建，(2)最大树剪枝，(3)图像重构[26].

通过构建最大树进行特征提取示意图如图2 所示.在构建最大树时，从根节点到叶子结点灰度值是增加的，节点颜色越暗代表灰度值越小，越亮代表灰度值越大[27].在原始红外图像中，目标通过红色矩形框出.由于小目标的典型特征，在最大树建树后，目标通常对应着叶子节点的位置，其余位置的节点代表背景.对每个节点能够计算不同属性是最大树特征提取最主要的优点，这对于小目标的正确检测有着很大帮助.

图2 红外图像最大树特征提取示意图Fig.2 The flow chart of max-tree feature extraction in infrared image

小目标通常具有下列特征：尺寸较小，形状近似圆形，与其局部背景有着相对高的对比度.为了充分提取上述特征，3 种属性(面积属性、高度属性和对角线属性)被应用到本文中.面积属性(AN)用来提取目标尺寸小的特征，

式中：N代表最大树的节点；p代表属于该节点的像素；#p代表着像素的个数.

高度属性(HN)提取目标和其局部背景对比度相对高的特征，

式中：f(p)代表像素的灰度值.

对角线属性(DN)提取目标尺寸小和形状信息，

其中，xi,max,xi,min,yi,max,yi,min代表节点边界框的坐标.

如图2 所示，以面积属性为例，在对构建的最大树选择合适的剪枝值进行剪枝后，目标所在节点被去除，而代表着背景的节点是没有变化的.将剪枝后的最大树进行图像重构后，可以发现，重构图像中的小目标被去掉，而其余的大部分背景与原始红外图像的背景差别不大.此时，将原始红外图像与重构后的图像做差分操作，就可以得到将目标显著增强的结果，记为RA.同理，通过高度属性和对角线属性进行特征提取，将得到的结果记为RH和RD.

通过3 种属性进行特征提取得到的结果，很大程度上实现了对目标的增强和对背景杂波的抑制.因此，在对上述3 种结果进行融合时，本文选择Hadamard 乘积，进一步增强目标和背景之间的对比度，

式中：⊙代表Hadamard 乘积，也就是对应像素点的乘积；RF代表融合结果.融合结果确定了候选目标，此时，候选目标中不仅包含真正的目标，还包含和目标有着相似特征的噪声.

2.3 改进的管道滤波

经典的管道滤波算法需要对多帧进行检测，对检测结果计算可疑目标出现的次数，并设置一个判断阈值.当目标出现的次数大于或等于判断阈值时，则认为该可疑目标为真实目标.但是背景中的尖锐纹理、边缘以及出现在固定位置的噪声很可能被误认为是目标.此外，经典的管道滤波算法需要保留很多中间帧进行管道滤波和目标检测，实时性会受到很大影响.为了进一步去除候选目标中的噪声，本文设计了一种改进的管道滤波，如图3 所示，通过目标的规则性和噪声的杂乱性分别进行目标的保留和噪声的去除.

图3 改进的管道滤波示意图Fig.3 The flow chart of the improved pipeline filter

观察连续几帧的融合结果，以第(t−3)帧、第(t−2)帧、第(t−1)帧、第t帧的融合结果为例，可以看出，在短时间内，小目标通常运动缓慢且轨迹具有空间连续性，而噪声偏离目标的正常运动轨迹且无规则.也就是说，连续几帧的小目标通常是在一定范围内运动，而噪声四处分散.由于小目标的强度通常较高，因此将历史几帧的融合结果，比如将第(t−3)帧、第(t−2)帧以及第(t−1)帧进行临时求和时，质心会出现在目标区域.以质心为中心，向外扩展一个范围，当合适的范围被选择时，下一帧目标也会被包含在该范围内.将该范围内的灰度值置为1，其他位置的灰度值置为0，得到的图像称为掩模图像，掩模图像能够确定下一帧目标的运动范围.然后，将掩模图像与当前帧图像(也就是第t帧图像)进行Hadamard 乘积，得到的结果能够顺利将噪声移除，并将目标保留.

接下来，将得到的第t帧检测结果重新输入到管道中.此时管道中的图像为第(t−2)帧、第(t−1)帧和第t帧，将这3 帧图像进行临时求和，作用于下一帧融合图像的目标检测，也就是第(t+1)帧图像的目标检测，实现管道的动态更新.通过对管道的不断迭代更新，实现目标轨迹的实时更新，对消除候选目标中的类目标噪声具有重要作用.

3 实验结果与分析

3.1 评价标准

本文使用的评价标准分为定量评价和定性评价两部分.信杂比(signal-to-clutter ratio, SCR)，信杂比增益(signal-to-clutter ratio gain, SCRG)和背景抑制因子(background suppression factor, BSF)是常用的定量评价指标[7]，SCR 定义如下，

式中：µt代表目标灰度值的平均值；µb和 σb分别代表目标周围的局部背景灰度值的平均值和标准差.

SCRG 定义如下：

其中，SCRout和 SCRin表示处理后图像和输入图像的SCR.

BSF 定义如下，

其中，σin和 σout分别代表输入图像和经过算法处理后的图像中背景区域的标准差.

受试者工作特征(receiver operating characteristic,ROC)曲线是另一个重要的评价指标.ROC 曲线动态地描述了检测率(probability of detection,Pd)和虚警率(false alarm rate,Fa)之间的定量关系[28]，定义如下

式中：nd和ng分别表示检测到的真实像素数和真值图中的真实像素数；nf为检测到的错误像素数；nt为检测到的总像素数.

此外，通过展示经过不同算法处理后的检测结果图和其相应的三维表面图进行定性评价，以此来直观比较不同算法的检测性能.

3.2 实验分析

为了验证所提出方法的效果，本文在4 个图像序列上进行实验，4 个序列的详细说明如表1 所示.并选择4 种基于序列图像的对比方法进行比较，包括STLCF、STLDM、QDCT 和ECASTT.

表1 4 个红外图像序列的具体描述Tab.1 Detailed description of 4 infrared image sequences

为了直观比较不同算法的性能，首先进行了定性评价.本文对序列1～4 通过不同算法进行处理得到的检测结果及相应的三维表面图在图4～图7中进行展示.图4 展示的是在厚重的云雾天空背景下有一架飞机在飞行.从STLCF 的结果中可以看出，虽然它能够对目标进行增强，但是在背景抑制方面表现较差，检测结果中仍然存在很多的背景杂波.STLDM 和QDCT 对背景噪声的增强程度甚至高于目标.ECASTT 虽然能够在很大程度上提高目标和背景之间的对比度，但是依然存在着少量杂波对结果产生影响.本文提出的方法能够在增强的目标的同时对背景进行抑制，而且背景中几乎没有杂波残留.图5 中有一架飞机在飞行，背景中有着亮度较高的物理建筑和树木，边缘区域很容易被误检测为目标.STLCF 在增强目标的同时也增强了背景杂波，甚至对于背景杂波的增强程度要高于目标.STLDM 错误地增强了建筑边缘噪声，且对目标进行了抑制，这会造成较高的虚警率.相对于上述两种方法，QDCT和ECASTT 能够将背景杂波进行抑制，但是残余噪声依然明显存在.图6 中有一架尺寸极小的飞机在较高干扰的乌云中飞行.所对比的4 种方法都能够在增强目标的时候对背景进行抑制，但是STLCF 和QDCT 仍然有少量杂波残留.图7 中有一架飞机在复杂的背景中飞行.STLCF 和ECASTT 对背景的抑制能力表现较差，杂波残留较多.STLDM 虽然增强了目标和背景之前的对比度，但某些噪声与背景之前的对比度同样得到了增强，这不利于目标的正确检测.QDCT 中同样有着很多残留噪声.经过本文算法处理后的背景中没有噪声残留，其有效性显然可见.

图4 不同方法在序列1 的检测结果及三维表面图Fig.4 Detection results and corresponding 3D surface of different methods in Sequence 1

图5 不同方法在序列2 的检测结果及三维表面图Fig.5 Detection results and corresponding 3D surface of different methods in Sequence 2

图7 不同方法在序列4 的检测结果及三维表面图Fig.7 Detection results and corresponding 3D surface of different methods in Sequence 4

接下来，对不同方法通过4 个实际红外序列图像进行了定量评价.首先，对不同算法得到的检测结果进行了SCRG 和BSF 的计算，该结果计算的是每个序列所有帧检测结果的平均值.得到的SCRG 和BSF 的值越高，代表对应方法的检测性能越好.计算结果展示在表2 中，粗体代表着最佳结果，下划线代表着表现第二佳的结果.由表2 很容易看出，本文提出的方法能够在除了序列1 的BSF 以及序列3 的BSF 之外的其他指标都表现最好.这表明本文提出的方法在目标增强和背景抑制方面都表现出优越性能，与其他方法相比，本文提出的方法能够在最大程度上提高目标和背景的对比度.

表2 SCRG 和BSF 在4 个序列的比较Tab.2 Comparison of SCRG and BSF in 4 sequences

最后，进行了不同方法在4 个红外图像序列的ROC 曲线比较，结果显示在图8 中.ROC 曲线越靠近左上角说明对应的方法表现越突出.不难看出，本文提出的算法能够在4 个图像序列中都取得最好的结果.综上所述，本文提出的算法可以检测不同类型、不同强度、不同空间尺寸的目标，此外，它也对不同的场景检测效果鲁棒.

图8 在4 个序列上不同方法的ROC 曲线结果Fig.8 ROC curve results of different methods on 4 sequences

4 结 论

本文提出了一种结合目标多种形态学属性和改进管道滤波的算法.该方法首先对输入的红外图像进行最大树建树，并利用面积属性、高度属性和对角线属性分别提取小目标的典型特征，得到将目标显著增强并将背景进行抑制的结果.然后，通过融合多种属性的结果确定候选目标后，此时的候选目标中包括真实目标和类目标噪声.接下来，通过改进的管道滤波进一步去除偏离目标正常轨迹的类目标噪声，保留有轨迹特征的目标.通过4 个图像序列的实验证明，本文提出的方法能够在增强目标的同时对干扰背景进行有效抑制，而且对多种场景中不同类型的目标具有鲁棒性.