轻量级卷积网络遥感影像飞机目标检测方法研究

都 凯

（垣曲县测绘地理信息中心，山西垣曲 043700）

0 引言

基于遥感影像的目标检测长期以来是遥感影像应用领域的热点研究任务之一［1-2］。随着人工智能算法的快速发展，利用卷积神经网络对高分辨率遥感影像中海量的地物信息进行自动化检测的技术也取得了一系列的研究成果［3-4］，被广泛应用在城市建筑规划、林业资源调查、应急救援等多个领域内。其中在机场等区域内拍摄的遥感影像包含有大量清晰的单体飞机目标，如何从覆盖范围广泛、背景复杂的高分辨率遥感影像中快速、精准地检测出体积相对较小的飞机目标，具有重要的研究意义，并且在机场流量调度等方面具有重要的应用价值。但现有的常规检测模型体量大、结构复杂，通常需要功耗较大的显卡作为流畅推理的硬件支撑。针对此问题，很多专家学者提出适用于低算力终端设备的轻量级检测模型。轻量化模型采用更少的层次来直接降低模型的计算量［5］，同时通过多种卷积策略来降低计算参数，目前相关研究已经取得了很多成果。陈海燕等提出了一种能够部署在Jetson TX2 上的便携式的高原鼠兔目标检测方法［6］，该方法以MobileNet 替换YOLOv3 主干网络DarkNet53来构建轻量级高原鼠兔目标检测模型，并利用剪枝、微调的方法对模型进一步轻量化设计。实验结果表明：该方法相比原始模型检测速度提升了620%，同时检测精度仅下降了1.05%。

针对低功耗硬件条件下的遥感影像飞机目标检测问题，提出一种轻量级检测模型，以分组卷积核搭建基本提取网络，通过轻型通道注意力机制提高模型对局部正样本特征的学习能力，通过特征强化网络将多尺度特征图进行拼接，提高图内目标纹理与形状信息的丰富程度。

1 检测方法

1.1 轻型特征提取网络

特征提取网络是检测模型的核心部件，卷积特征提取操作在模型运算过程中占了很大比例的计算量，具体卷积特征提取计算过程如图1（a）所示。可以看出，在提取过程中卷积核组利用每个卷积核遍历特征图全部通道，并输出通道数与卷积核个数相同的特征图，特征提取的计算量如公式（1）所示：

图1 特征提取层结构图

式中：E为一次卷积的计算量；Fin为输入特征图尺寸；M为特征图通道数；C为卷积核的平面尺寸；N为卷积核个数，也是输出特征图的通道数。在这样的结构下，计算量随着卷积层数的加深而大幅提升。针对此问题，本文使用分组卷积核［7］来代替常规卷积核进行特征提取，让不同的卷积核来对不同区域的特征图进行提取。首先将输入的特征图按照切分因子t进行等分，然后将卷积核平均分配给t组特征图，每个卷积核仅参与该组特征的提取计算，这就使得在卷积核输出特征维度不变的前提下，计算量下降到了原来的分组卷积在显著降低计算量的同时，也使得不同层特征图之间的信息交流程度降低，进而影响到模型对正样本的学习情况。为恢复通道间的信息复杂程度，对分组卷积后的特征图进行通道混排，即将分组卷积后获得的特征图进行交叉排列，最终分组卷积层的结构如图1（b）所示。本文检测对象为小尺寸飞机目标，存在较为严重的正负样本不均衡问题，为了提高模型对特征图中正样本特征的关注程度，本文在特征提取层末端设置了轻型注意力模型。轻型注意力机制从通道角度筛选重点区域特征，首先对输入特征图全局平均池化后，然后分别使用ReLU 与sigmoid 激活函数以及两组通道局部交互的全连接层来计算各通道的权重，最后将权重赋予原始影像，具体计算过程如公式（2）公式（3）所示：

式中：σ为sigmoid 型激活函数；ReLU 为线性整流函数；xij为通道域全局池化；W、H为输入特征图的尺寸维度，W1、W2为通道注意力权重。为了保证模型在训练过程中不出现均值漂移问题，在分组卷积提取层后面使用批量归一化层（Batch Normalization，BN）对特征进行归一化处理，然后使用计算量更小的LReLU 函数作为激活函数，对所有特征进行非线性激活，具体如公式（4）所示：

为了进行多尺度特征信息的提取，要对提取后的特征图进行尺寸压缩与通道扩张操作，本文使用平均池化层进行下采样，然后使用1×1 卷积核进行通道压缩。为了进一步节约计算参数，本文将池化步骤放置于通道调整过程之前，完整特征提取层结构如图1（c）所示。整个网络设置5 层特征提取层，具体的结构以及每层输出特征图尺寸如表1 所示：

表1 特征提取网络结构

1.2 特征强化网络

特征提取网络输出5 个尺度的特征图，若直接对其进行多尺度运算则计算开销过大。此外，大尺度特征图包含丰富的目标纹理信息，而小尺度特征图内含有较多的目标轮廓信息。因此，本文设计了3 层的轻量化特征强化网络，通过对不同层的输出特征图进行融合，来提高图内的特征信息丰富程度，具体的强化网络结构如图2 所示。

图2 特征强化网络结构图

为了让参与检测的特征图内包含更多小尺度目标特征，将提取网络的前3 层的输出特征图进行下采样融合作为特征强化网络首层，然后将其进行2 次连续下采样，并将下采样后特征图与提取网络中同尺度的特征图进行拼接，最终获得3 个尺度的输出特征图。本文训练模型的损失函数由目标框回归损失、分类损失与置信度损失3 部分组成，具体公式如式（5）、式（6）所示：

式中：S为最终金字塔输出的特征图尺度；B为每个格子预测边框个数；λcord、λobj、λnobj、λclass分别为预测边框的中心坐标误差、边框尺寸误差、正负样本类别误差、预测置信度误差方面的权重系数；c= 1 为本文数据集中样本的类别个数；xi、yi、wi、hi、Ci、pi(c)为预测框的参数为真实目标框的参数。

2 实验与分析

2.1 数据预处理

本文以开源遥感影像数据集AerialImage、FAIR1M 以及谷歌地图内包含飞机目标的遥感影像来构建数据集，将数据集内影像按照4∶1 划分为训练集和测试集。训练集内的多源影像尺寸不一且背景复杂，直接对其进行标注训练难以达到理想的效果。因此，本文通过以下流程对训练集进行增强处理：

1）图像尺寸归一化：首先采用832×832 像素大小的滑动窗口对原始影像进行裁剪，在每个窗口的水平与垂直之间设置了15% 的窗口重合度。将裁剪后包含飞机目标的影像进行保留，然后进行二次下采样。

2）对于训练集中的部分光照不平衡的样本，采用灰度世界算法进行图像质量增强，并将增强后的样本放入训练集。

3）针对小样本个数不足问题，一方面采用图像旋转与扭曲操作来增加图像样本的数量；另一方面将部分飞机小样本采用手工裁剪的方式放置在一张影像上，来增加单幅影像中样本个数。

对所有样本进行标注，然后使用训练集对模型进行训练，最终参与训练的飞机样本个数为1576 个。

2.2 模型训练

为了充分的训练模型，同时在真实环境下测试模型的检测性能，模型首先在安装有大型显卡的设备中进行训练，然后迁移到低功耗的嵌入式硬件终端进行测试，具体的实验流程如图3 所示，模型在训练和测试过程中的硬件配置与运行环境如表2所示。

表2 硬件配置及运行环境

图3 实验流程图

在模型训练过程中，使用随机梯度下降方法来优化权重参数，模型迭代次数为300 次，采取动态学习率机制，初始学习率为0.001，每训练100 次对学习率进行缩放调节。完成训练后，将模型部署至低功耗嵌入式硬件内，利用测试数据集中对模型进行测试，部分测试结果如图4 所示，图4 中红框内数字表示预测为该类物体的概率。

图4 检测结果示意图

可以看出，本文所提出模型对于分布在跑道等背景简单区域，以及航站楼机库旁的多种尺度的飞机目标均能够实现很好地检出。为了对模型进行全面评价，本文将平均精度均值（mean Average precision，mAP）、模型每秒检测张数（Frame presecond）、训练后模型权重大小（理解为训练后模型保存的权重文件大小）、每秒浮点计算量（Floating Point Operations per Second，FLOPS）理解为计算量，作为评价检测模型性能指标，同时以经典轻量级检测模型Mobilenet-v3、Mobile-SSD 以及Shuffle-Net作为对比方法，对本文所提出模型进行全面地衡量与评价，最终的评价结果如表3 所示。

表3 多目标检测性能评价结果表

由表3 可以看出：本文模型在测试数据集上的mAP 能够达到0.89，同时相比其余三组对照模型分别提高了9.87%、25.35% 以及30.88%，说明模型在检出精度方面能够达到较高水平，明显优于同类轻量级模型；在检测精度方面，本文提出模型在嵌入式硬件环境下能够达到每张0.087 s 的水平，同时训练后的模型仅占43.41MB 大小，每秒浮点运算量达到了1.13×105的水平，说明模型在检测速度方面具有较为明显的优势，同时具备较小的体量以及模型运算量，适合部署在低功耗的硬件中展开计算。

3 结语

本文针对在低功耗的星载、机载终端开展的对于高分辨率遥感影像中飞机目标检测问题，设计了一种基于轻量级卷积神经网络模型，并以AerialImage、FAIR1M 以及多个来源的卫星遥感影像为基础，通过图像质量增强与样本增强构建了数据集，分别在高性能硬件和低功耗嵌入式硬件环境下完成了对模型的训练和测试，以3 个经典的轻量化模型作为对照组，使用平均精度均值、每秒检测图片张数、训练后模型大小、每秒浮点计算量几项客观指标对所有模型进行评价，得出了以下结论：

1）本文所提出模型能够对不同场景下不同尺寸的飞机目标实现精准检出，其检测精度能够达到0.89mAP，相比其余三组模型有着明显地提高。

2）在检测速度方面，本文模型在测试环境下可达到每张0.087 s 的检测速度，优于其余几组对比模型，能够实施快速检测。

3）训练后模型大小仅有43.41MB，同时每秒浮点运算量仅有1.13 ×105，适合部署在轻量级的硬件设备上展开推理计算。

在接下来的研究过程中，首先将尝试使用生成对抗网络等方法进行样本多风格化处理，并尝试使用神经网络结构搜索（NAS）对结构进行自动化地调优，来更好适应任务数据。