面向侦察任务的无人机机载感知传感器配置与融合综述

王钟鸣，姚文臣，马兆伟，林博森，牛轶峰

（国防科学技术大学智能科学学院，长沙 410073）

1 引 言

近年来，无人机（UAV）已应用于各种军事领域，包括侦察、跟踪定位、边境巡逻、中继通信、特种作战等方面。在民用领域中的电力巡检、环境探测、农业植保、森林救援等方面也起到了至关重要的作用[1]。

侦察任务对实时性、精确度、视野范围、机动性及抗干扰性等方面都有要求。在无人机侦察任务中，需要无人机规避飞行环境中遇到的各种障碍物，并要求其在特殊任务环境中执行对移动目标的检测和跟踪等[2]。无人机面临的任务环境复杂多样，对于不同的任务环境，无人机安全飞行面临的障碍物种类、障碍物大小、气象、电磁干扰等不同，所检测目标的状态以及目标所处位置也不同，需要选择合适的传感器配置方案完成侦察任务。由于单一传感器使用环境受限，因此，在侦察无人机上配置多类传感器，有利于无人机在更复杂、更多变的任务环境中执行侦察工作；将多传感器获取的信息融合，对改善无人机感知能力、检测精度和鲁棒性都有重要意义[3]。

2 多传感器配置要素分析

无人机面临的侦察任务环境复杂多样，在对无人机进行传感器配置时，主要考虑的因素来自无人机平台自身属性、传感器属性、飞行环境、任务类型及需求4 个方面。

2.1 无人机平台自身属性

对于小型侦察无人机而言，需要在无人机自身外观、载重能力、功耗以及续航等方面，对传感器的配置进行限制。在兼顾无人机载荷能力、动力学特性的前提下，使各类传感器搭载和运行所占用的系统资源尽可能小。

2.2 传感器属性

传感器属性（图1）对于传感器配置的影响主要体现在成本、空域覆盖范围、稳定性以及信息质量4 个方面。

图1 传感器属性Fig.1 Properties of sensors

使用传感器带来的损耗和传感器自身价格是成本限制因素。空域覆盖范围包括传感器探测距离远近以及视场角大小，探测距离越远，视场角越宽广，越有利于无人机对目标的探测。但对同质传感器而言，视场角和测距范围往往不可兼得，需要根据任务需求做出取舍。稳定性主要表现在传感器能否全天时工作以及传感器的抗干扰性。信息质量则体现在信息维度、感知精度和频次、实时性4 个方面，其中信息维度指二维平面或者三维空间信息。低空环境下，当前技术较为成熟的机载感知传感器的主要特点及适用场景如表1所示。

表1 传感器分析Table 1 Analysis of sensors

此外，在配置时还需要考虑传感器数量和安装方式。小型无人机在载荷和计算资源方面有严格限制，增加同质或异质传感器数量并进行安装时，应满足相关指标要求，并且不能影响无人机其他模块的正常工作。

2.3 飞行环境

典型的飞行环境有城市、郊区、山地以及室内环境等。不同的飞行环境下障碍物密集程度、相对距离不同，环境中的气象条件、干扰信息等也不同，进行传感器配置必须要考虑环境中的先验信息。飞行环境特点如表2所示。

表2 飞行环境特点Table 2 Characteristics of flight environment

2.4 任务类型及需求

传感器的配置需要考虑无人机所执行任务的具体需求，如夜间执行任务要求无人机系统部署的传感器具有全天时工作的能力，目标跟踪任务要求无人机能准确识别目标并规避障碍物等，在保证自身飞行安全的前提下，无人机系统传感器子系统的设计应支撑无人机平台完成预设的各类飞行任务。在不同任务类型中，主要传感器的配置如表3所示。

表3 任务需求下的传感器配置Table 3 Sensor configuration for task requirements

3 传感器配置与融合方法

机载传感器配置要素复杂多样，要素之间相互影响制约，在设计传感器优化配置算法时，通过选择合理的评价指标设计目标函数，将侦察成本作为约束条件，优化求解得到当前先验信息下最优的传感器配置方案[4]，以达到无人机飞行任务要求的侦察能力。基于此，本文设计了如图2所示的配置融合模块。

图2 传感器配置融合模块Fig.2 Configuration and fusion module of sensors

传感器配置模块为融合模块提供了传感器种类与参数选择方案，传感器融合的结果可以用于评估配置方案的优劣，并由结果回溯优化配置方案。

在该设计方案中，配置模块基于先验信息，将传感器配置问题转化为优化求解问题。一般地，一个最小化的多目标优化问题可以用如下的数学模型来描述：

其中，V-min 表示向量的极小化，X⊆Rm是多目标优化模型的约束集，f(x)⊆Rm是多目标优化时的向量目标函数。若有解x1,x2∈X，且对任意k=1,2,3…都有f k(x1)≤f k(x2)，那么x1比x2优越。若x1比X中所有其他解都优越，那么x1就是多目标优化模型的最优解。

在侦察任务中，约束条件可能来自无人机载荷能力、视场角与探测范围的取舍、环境约束等，待优化目标则主要考虑4 个配置要素的权衡。采用多目标优化算法，将难以量化的因素通过构建具体的场景进行综合衡量并提取关键参数，通过关键参数构建合理的多目标函数以及条件约束，通过优化求解，从现有的较为成熟的传感器技术中选择最优的传感器组合形式及传感器参数，设计合理的侦察无人机传感器子系统。

融合模块基于传感器优化配置算法对具体应用场景的分析与求解，选择最优的传感器种类及参数，设计传感器融合子系统并开发融合算法。

多传感器融合算法在结构上按其在融合系统中信息处理的抽象程度，可划分为3 个层级：数据层融合（像素级融合）、特征层融合和决策层融合。3 种层级融合方法的性能对比如表4所示[5]。在侦察任务中，可根据任务需求以及机载计算能力设计相应的融合算法。

表4 3 种层级融合方法的性能比较Table 4 Performance comparison of three hierarchical fusion methods

4 小型无人机感知传感器融合现状

侦察任务首先要克服受到所处环境、位置、地形及障碍物对观测范围的限制，又要实时规避任务过程中面对的危险，同时还需兼顾侦察与监视信息的传输时效[6]，并实时检测、跟踪目标。

考虑机载传感器配置要素以及侦察任务需求，可以在侦察无人机上配置深度相机以获取深度信息；配置可见光相机获取目标的纹理颜色等细节，用于光照充足情况下的目标检测；配置红外成像传感器获取目标热辐射信息，用于检测夜间目标及受遮挡目标；配置激光雷达对环境实时建图，以规避障碍物。

考虑多传感器的信息融合模块，当下更多采用如图3所示的可见光相机与红外成像传感器以及可见光相机与激光雷达两种传感器信息融合方案。

图3 常用配置融合方案Fig.3 Common configuration and fusion scheme

4.1 可见光相机与红外成像传感器融合

在小型侦察无人机上配置可见光相机和红外成像传感器，使其侦察系统能够在夜间及受遮挡情况下检测到目标。利用红外图像的热辐射原理和可见光图像的光反射原理，得到的融合图像不仅可以保留可见光图像的颜色、轮廓以及边缘特征信息，还具备红外图像的热辐射信息，使目标相对背景亮度突出，能够降低误判率，更容易侦测到目标并对其进行跟踪[7]。

4.1.1 融合方法现状

数据层（像素级）融合是可见光相机与红外传感器图像融合的重点研究领域。典型像素级融合算法由提出的时间先后排序，可分为多尺度变换、稀疏表示和基于神经网络的融合方法。对3类方法的比较如表5所示。

表5 融合方法比较Table 5 Comparison of fusion methods

多尺度变换是一种基于变换域的融合方法，在可见光与红外图像融合中应用广泛，其核心算法主要分为3 个步骤：图像的多尺度分解和重构、融合规则的设计。1983年，Burt 等首次提出图像处理的金字塔分解方法，该方法是最早出现的多尺度变换图像融合方法。该方法把原始图像连续采样分解后，将得到的子图像进行融合；1989年，Toet 设计了低通比率金字塔和对比度金字塔，利用塔形分解进行多传感器图像融合。这个时期采用的融合规则主要有HIS 变换、平均加权法、主成分分析法等，属于比较简单的图像融合方法，效果较差[8]。

2004年，Pajares 等[9]将小波变换应用到图像融合中，与金字塔变换相比，小波变换信噪比更高，图像重构能力更强。2005年，Yu[10]在研究夜间驾驶系统时，利用小波变换将可见光图像和红外图像融合。2010年，曲锋等[11]使用小波融合实现了红外双波段图像的快速融合。

2006年，Da 等[12]提出了同样基于多尺度分解的非下采样轮廓波变换方法（Non-subsampled Contourlet Transform, NSCT），但由于没有采样过程，能很好地解决融合过程中频谱混叠问题[13-14]。Kong 等[15]将NSCT 和IHS 结合，使NSCT 实现了位移不变性，不仅能保留源图像的重要细节特性，还能使灰度融合图像着色，提升了视觉效果。

Yang 等[16]提出了基于稀疏表示（Sparse Representation, SR）的图像融合方法。该方法通过学习多个子字典，利用最大选择策略对图像进行重建。

随着深度学习的迅速发展，由于深度神经网络提取图片特征能力强，因此也可用于实现图像的分解重构。该领域目前仍处于初步发展的阶段，用于融合的网络模型、学习策略等基础工作还有很大研究空间[17]。

2017年，Liu 等[18]提出了一种基于卷积神经网络的可见光红外图像融合方法，通过图像金字塔进行多尺度融合，并采用基于局部相似度的策略自适应调整分解系数的融合模式。2019年，Ma 等[19]设计了一种基于生成对抗性网络的IR/VIS 融合方法—FusionGAN 来进行红外和可见光的融合，可以很好地保持源图像中的热辐射和纹理细节。随后，他们又提出了一种基于显着目标检测的红外可见光图像融合网络STDFusionNet[20]。该算法能以更快的速度获得红外目标更突出显示的融合图像。Li 等[21]提出了一种基于注意力生成对抗网络的红外和可见光图像融合方法，克服了生成对抗网络无法突出典型区域的不足。

4.1.2 发展方向

将可见光相机和红外传感器的数据融合应用到小型侦察无人机目标检测跟踪，还存在的问题有：（1）由于无人机机身的抖动和传感器视角偏差，需要对两个传感器获得的图像进行可靠的配准，但由于可见光与红外图像相关性小，其配准相当复杂；（2）目前，大多数研究都针对于静态图像的融合，对动态图像（如视频等）的融合算法的研究较少。相比于静态图像，动态图像融合可以考虑连续帧之间的运动关系，在机载计算能力有限的条件下，利用运动信息指导融合过程。

4.2 可见光相机与激光雷达融合

激光雷达由其精确的测距侧向能力来获取物体在空间中的位置信息，目前已经广泛用于地面无人平台的环境感知[22-23]。而在无人机感知与规避领域，3D 激光雷达由于价格昂贵、重量较大、纵向点云密度稀疏等原因而应用较少，2D 激光雷达能获得二维平面内的障碍物的距离和方向，其较高的性价比使得它能够与其他传感器相融合用于无人机障碍规避[24]。将激光雷达获得的空间位置及部分轮廓信息与可见光图像中的纹理、轮廓信息相结合进行环境感知，具有较大的应用前景。

4.2.1 融合方法现状

激光雷达与可见光相机属于异质传感器，一般采用基于决策级的信息融合算法实现障碍物的检测[25]。Premebida 等[26]采用了图像验证点云数据的方式，通过雷达点云数据在图像中确定ROI并对ROI 区域利用级联分类器对目标进行识别，提高了检测效率。国防科技大学ATR 国家重点实验室通过制作平面标定物的方法，将二维纹理映射到多边形网格中，实现了视觉图像和点云的信息融合[27]。Kidono 等[28]采用视觉与激光雷达交叉验证的方式，分别从点云和图像数据中提取目标特征用于训练分类器。Kaempchen 等[29]开发出一种可扩展的融合3D 激光雷达和单目相机数据的特征级融合架构，该方法旨在通过组合低级测量特征来最大化协同效应，同时又保持融合架构尽可能通用。

伴随深度学习的热潮，神经网络也逐步被用于可见光图像与点云融合领域[30]。Qh 等[31]提出了一种基于决策级融合的检测和分类方法。使用CNN 融合点云和CCD 传感器图像数据。Du 等[32]提出了PC-CNN 深度学习框架进行车辆检测的激光雷达和视觉融合系统。该框架使用点云数据预测图像中潜在的汽车位置，利用网络中的多层信息优化预测框位置，并通过检测网络实现车辆检测。Park 等[33]提出了一个用于未校准的激光雷达和双目融合的深度估计的方法，他们设计了由校准、融合、优化三部分组成的网络结构，解决了未校准激光雷达图像3D 重建问题。2020年，清华大学公开了一种基于神经网络的三维点云和二维图像融合的校准方法，该方法通过得到更精确的参数矩阵来指导图像融合过程，使融合更加准确[34]。

4.2.2 发展方向

激光和视觉的融合也是无人机自主探索中同步定位与建图（Simultaneous Localization And Mapping, SLAM）的重要技术手段[35]。相机作为视觉里程计（Visual Odometry, VO）估算自身的运动信息并获取局部地图，经过后端非线性优化及回环检测实现定位，再由点云数据构建稠密地图，为无人机路径规划提供空间的占据信息[36]。

语义建图也是未来激光雷达与相机融合的研究方向。可见光相机提供环境的语义信息，使融合后信息不仅能判断空间中的物体在哪里，还能获知物体是什么，使无人机从自主化走向智能化。

与地面无人平台相比，将激光雷达与可见光相机融合，用于解决低空环境下小型无人机侦察问题的挑战包括：（1）由于载荷限制，激光雷达应尽量轻量化，增大探测距离，降低点云密度；（2）电力线等微小型障碍物的空间分布信息检测难度高；（3）障碍物机动条件下，引入的运动畸变更大，状态估计难度更高[37]。

4.3 其他传感器融合方案

在毫米波雷达与相机融合的研究中，东北林业大学研究了一种基于毫米波雷达和双目视觉传感器的多旋翼植保无人机自主避障技术。用毫米波雷达判断路径中是否含障碍物，再通过双目视觉做障碍物识别，并将构建的三维环境信息投影到二维栅格平面，形成局部导航图[38]。

陈洪攀[39]提出了一种把毫米波雷达的障碍物测距结果与单目视觉传感器的障碍物测角结果相融合的方法，进而实现无人机对障碍物的三维立体定位。骆云志等[40]研究了基于毫米波雷达和CCD 相机的D-S 融合方法。杨磊等[41]也研究了基于毫米波雷达和双目相机的电力巡检方法。

相比于激光雷达，毫米波雷达精度较低，探测距离也受频段损耗制约，因此不利于对周边障碍物进行精确的建模。但由于它可以全天候工作，且穿透烟雾、灰尘、雨雪的能力较强，可以弥补激光雷达的缺点。中北大学李朝[42]提出了一种激光雷达和毫米波雷达的注意力融合算法和利用毫米波雷达生成稀疏候选框的检测方法，提高了复杂环境下的检测精度及速度。

目前，主流的深度相机分为结构光、双目视觉和TOF 三种。受制于其原理本身以及光学元件的约束，分辨率和测距精度都较低，且有效测距范围小，因此更多用于室内的环境感知。浙江大学的FAST-Lab 利用RGB-D 相机获得的视觉以及深度信息，构建室内环境的占据栅格地图，完成单无人机及无人机集群的路径规划[43]。

毫米波雷达、深度相机和激光雷达的配置都是为了获得环境中障碍物或目标的位置及距离信息。相比之下，激光雷达的精确度更高、稳定性更好，因此被更广泛地用于侦察任务中。

5 结束语

对小型侦察无人机而言，其低载荷能力决定其只能搭载非合作式传感器以及部分轻量的合作式传感器。各类传感器由于自身物理特性不同，会具备不同的功能特点，如可见光相机成像信息丰富但易受光照等的影响、激光雷达能够直接获取距离和方位信息，但成像能力弱且不适宜在动态环境下使用等。

未来，小型侦察无人机必将越来越多地应用到警用、军用等领域。探索无人机平台的多传感器配置方案，有利于无人机在更复杂、更多样的环境中执行侦察任务。传感器之间获取信息的途径、原理有所差别，所得信息既存在冗余，也存在互补。但研究配置融合技术，更希望得到1+1＞2的结果，而不仅仅是功能上的叠加。这需要更精密的传感元件、更高效的信息采集算法、更优的配置方案和融合算法来实现。