基于向量叉乘标签分配的遥感图像目标检测算法①

禹鑫燚 林密 卢江平 欧林林

(浙江工业大学信息工程学院 杭州 310023)

目标检测是机器视觉中最具挑战性的问题之一。近年来随着深度卷积神经网络的快速发展,许多优秀的水平目标检测算法相继被提出,包括快速区域卷积神经网络(faster region-based convolution neural network,Faster-RCNN)[1]、RetinaNet[2]、全卷积单阶段目标检测(fully convolutional one-stage object detection,FCOS)[3]和YOLOX(you only look once X)[4]等,这些算法在人脸检测、行人计数和自动驾驶等方面取得了较好的结果。与自然场景下的目标不同,遥感图像中的目标往往排列密集,尺度、长宽比以及方向变化比较大,因而水平目标检测算法难以在遥感图像中实现准确的检测[5]。

近年来,许多优秀的遥感图像目标检测算法相继被提出,它们通过引入额外的角度来实现遥感图像中任意方向目标的检测,即旋转目标检测。这些检测器首先预设大量的先验框(也称为锚点[6])来实现与真实框的空间对齐,然后通过预设框与真实目标的交并比(intersection-over-union,IoU)来选择正负样本,最后根据损失来实现正样本的边界回归[7]。其中,基于预设框和真实框IoU 选择正负样本的过程被称为基于IoU 的标签分配策略。由于遥感图像中目标在尺度、长宽比和方向上的变化很大,因此这种基于IoU 的标签分配策略需要预设大量的锚框来更好地匹配真实目标,这极大增加了训练过程的计算量,同时加剧了正负样本的不平衡。此外,在密集的目标检测中存在分类和回归不一致的问题,导致了目标的复检或者漏检,进而降低了模型的检测性能。

为了解决上述问题,本文提出了一种基于改进YOLOX 的无锚框旋转目标检测算法。首先,在YOLOX 边界回归的基础上通过引入角度信息使其变成旋转目标检测算法。然后,提出了一种基于向量叉乘的无锚框标签粗分配策略,通过判断特征图的像素点是否位于旋转目标内或者中心点附近的旋转正方形框内,进而确定其是否为候选正样本。此外,通过增加旋转中心度量的方法,使得正样本的分布更加趋近于中心点附近。最后,将基于向量叉乘的标签粗分配策略和中心点度量的方法添加到基于最优传输分配(sim-optimal transmission assignment,simOTA)的代价函数中,通过最优传输得到最终的正负样本。本文的主要贡献如下。

(1) 提出了一种简单且快速的单阶段无锚框遥感图像目标检测算法YOLOXR,基于向量叉乘的标签粗分配策略,可以为训练样本分配更加合适的候选正样本。

(2) 为了降低旋转目标边缘低质量样本的权重,基于旋转框向量叉乘的比值,设计了旋转中心度量方法,使得正样本更加趋近于中心点附近。

(3) 提出的方法在DOTA v1.0、HRSC 2016 和UCAS-AOD 数据集上分别实现了78.21%、97.11%和98.00%的检测精度,超越了目前大多数旋转目标检测算法,并且保持了较高的检测速度。

1 网络结构设计

目前的旋转目标检测主要是通过生成旋转的锚框或者增加特征精练的两阶段方法来解决,但是这些方法增加了旋转框回归过程的推理时间和计算量。在本文的工作中,基于改进YOLOX 设计了单阶段无锚框旋转目标检测器,与基于锚框的两阶段方法相比,该方法更简单、更快,而且取得了不错的检测性能。

1.1 YOLOX 网络结构

YOLOX[4]是目前最先进的单阶段无锚框目标检测器之一,主要由CSPDarkNet 53、FPN +PAN 和Decoupled Head 这3 个部分构成。

YOLOX 的主干检测网络延续了YOLO v4[8]和YOLO v5 的主干网络,由跨阶段局部网络(cross stage partial network,CSP[9])和DarkNet 53[10]构成。为了解决网络优化过程中的梯度信息重复导致推理计算过高的问题,本文采用了CSP 模块,将网络分成基础层和映射层2 部分,然后通过跨阶段层次结构将它们合并,在保证准确率的同时可以有效降低模型的计算量。CSPDarkNet 53 在DarkNet 53 的基础上加入了CSP 模块,在提高卷积神经网络学习能力的同时,有效地降低了计算量,提升了模型的推理速度。

YOLOX 的颈部网络由特征金字塔网络(feature pyramid network,FPN)[11]和路径聚合网络(path aggregation network,PAN)这2 部分组成。FPN 也叫特征金字塔,是针对图像目标中多尺度的特点提出的,其将高层特征通过上采样和低层特征融合得到进行预测的特征图,为每一层特征图赋予了更强的捕获语义信息的能力。然而FPN 的自底向上的融合方式略微简单,只是将高层的语义信息传递到低层,而低层的纹理信息并没有传递到高层。为此,YOLOX在FPN 层的后面还添加了一个自底向上的特征金字塔PAN。FPN 把深层的语义特征传到浅层,从而增强多个尺度上的语义表达,而PAN 则把浅层的定位信息传导到深层,增强多个尺度上的定位能力,通过融合自底向上和自顶向下2 条路径的方式增强了骨干网络的表征能力。

YOLOX 的头部网络采用了解耦头Decoupled Head,将检测和分类分开输出,由于其具有更好的表达能力,所以可以加速网络的收敛并且提高检测精度。此外,YOLOX 首先通过寻找目标边界框内的像素点以及目标中心点附近的像素点作为正样本的候选样本,然后将标签分配问题转化为最优传输问题,通过求解真实框和预测框的最优匹配对,进而为目标匹配合适的标签。

1.2 YOLOXR 网络结构设计

由于YOLOX 是水平框的目标检测算法,而遥感图像的目标检测是旋转框目标检测,因此本文在保留YOLOX 的基础网络以及特征聚合网络情况下,主要对YOLOX 的头部网络进行修改,使其变成旋转框的目标检测器YOLOXR,其网络结构图如图1所示。

图1 YOLOXR 网络结构图

首先,YOLOX 目标检测是针对水平框设计的目标检测器,用(x,y,w,h) 来表示水平框,而本文设计的YOLOXR 是针对旋转框设计的目标检测,相比于YOLOX 多了一个角度信息,因而采用(x,y,w,h,θ) 来表示旋转框。其次,YOLOX 的标签分配策略是针对水平框设计的,用在旋转目标检测中显然不合适,为此,YOLOXR 设计了新的标签分配策略。通过判断特征图的像素点是否位于目标旋转框内或是否位于目标中心点附近的旋转正方形框内,进而确定其是否为候选正样本。此外,通过向量叉乘判断像素点距离中心点的远近程度进而赋予不同的权重,使得标签分配更加趋向于中心点附近。同样地,YOLOX 采用了simOTA 方法来确定最终的正负样本。最后,修改了YOLOX 的损失函数。由于IoU 损失函数在水平框检测中具有较强的适用性,但在旋转目标检测中IoU 损失函数不可导,而Smooth L1[12]损失函数又不能准确地表示旋转框的各个参数之间的联系,因此,YOLOXR 使用了Kullback-Leibler 散度(Kullback-Leibler divergence,KLD)[13]损失函数来代替原本的IoU 损失函数,从而有效地解决了上述问题。

2 基于向量叉乘的标签分配策略

目前大多数旋转目标检测器都是基于锚框的,通过预设锚框与真实框之间的IoU 进行正负样本的划分,IoU 大于预设阈值的样本则作为正样本,否则作为负样本。这种基于锚框的正负样本分配方法需要预设一定数量的锚框,在旋转目标检测中包括尺寸、长宽比和角度不同的锚框,这极大地增加了训练过程中的计算量和时间。此外,基于IoU 标签分配策略在密集的目标检测中存在分类和回归不一致的问题,进而导致了目标的复检或者漏检。

为了解决上述问题,本文基于YOLOX 设计了旋转目标检测器YOLOXR,并提出了基于旋转框的标签分配方法。首先通过向量叉乘的方法来判断像素点是否位于真实旋转框或中心点附近的旋转正方形框内,初步筛选出正负样本;然后根据向量叉乘的最小值和最大值之间的比值来确定特征图中像素点距离中心的远近程度,进而赋予不同的权重;最后采用simOTA 方法来确定最终的正负样本。

2.1 基于向量叉乘的标签粗分配策略

对于任意给定的一个旋转真实框(x,y,w,h,θ),其坐标可以转化为八参数表示为(x1,y1,x2,y2,x3,y3,x4,y4),按照顺时针的顺序对其排序,如图2 所示。通过向量叉乘判断特征图的像素点是否位于旋转真实框或者目标中心点附近的旋转正方形框内,初步筛选出满足该条件的像素点作为候选正样本,其余的作为负样本。图2 表示的是遥感图像中的一艘船,通过向量叉乘判断特征图的像素点是否位于这艘船所在的真实框以及它的中心点附近的正方形框内,如果在则将这个像素点标注出来(如图2 所标注的像素点),作为候选正样本,其余的则作为负样本处理。

图2 标签粗分配策略示意图

YOLOX 检测器定义了{P3,P4,P5} 3 个级别的特征图,它们的步长{s3,s4,s5} 分别为8、16 和32。选取任意一层特征图上的任意一个像素点P,其像素坐标值可以表示为(xP,yP)。如图3 所示,选取出真实框的任意一个顶点A,它与P组成的向量为另外,它与顺时针方向的下个顶点B组成向量为的值可以用式(1)来表示。

图3 像素点和旋转框的位置关系

同样地,选取出真实框顶点A的对角顶点C,它与P组成的向量为,此外,顶点C顺时针方向的下个顶点为D,它们所组成的向量为的值如式(2)所示。

由于旋转目标ABCD是一个矩形框,AB与CD是2 条相互平行的直线,而BC与DA也是相互平行的2 条直线,同理可得,点P和直线BC和直线DA的关系为

通过式(3)和式(4),可以确定点P是否位于AB和CD之间以及BC和DA之间,进而可以确定点P是否在旋转真实框ABCD内部。对于特征图上的任意一个坐标点P,如果其满足:

则点P位于旋转框ABCD的内部,它是一个正样本的候选样本;否则,点P位于旋转框的边上或者外部,需要进一步判断其是否位于目标中心点附近的旋转正方形框内。

已知任意一个旋转目标可以表示为(x,y,w,h,θ),则它的中心点坐标为(x,y),其旋转角度为θ。根据这个旋转角度,向该角度的特征图上下左右扩张3 个像素点,得到一个正方形的旋转框EFGH,该旋转框的4 个顶点坐标(x5,y5,x6,y6,x7,y7,x8,y8) 分别为

其中,cendis表示旋转正方形框距离中心点的距离,由于如图1 所示的{P3,P4,P5}3 个特征图步长分别为8、16 和32,因此它在3 个特征图中表示的距离分别为24、48 和96。

在确定旋转正方形框4 个顶点的坐标之后,可以通过向量叉乘的方法来判断像素点P(xp,yp) 是否存在于旋转正方形框内。因此,对于特征图上的任意一个坐标点P,如果其满足:

则点P位于旋转框EFGH的内部,它是一个正样本的候选样本,否则,点P作为负样本处理。

综上所得,对于位于特征图上的任意一个像素点,只要其满足式(5)或式(7),那么该像素点就是正样本的候选点,否则该像素点作为负样本处理。基于向量叉乘的标签粗分配策略如算法1 所示。

2.2 基于向量叉乘的旋转中心度量方法

基于向量叉乘的标签粗分配方法能够判断特征图的像素点是否位于真实框或者真实框中心点附近的旋转正方形框内,但是不能判断这个像素点距离中心点的远近程度,进而造成远离中心点的边缘低质量样本参与正样本的回归,影响到最终的检测精度。为此,本文提出了一种简单而有效的策略来抑制这些检测到的低质量边界框,而无需引入任何超参数。本文在代价函数之中添加了与分类损失和位置回归损失并行的旋转中心度量损失,使得标签分配更加趋近于中心点附近的正样本,进而降低边缘低质量样本对标签分配造成的影响。

由2.1 节可以得知,对于任意一个像素点P,它与4 个顶点ABCD组成向量之间叉乘的值分别为为了方便描述,使用来分别表示它们。由于向量叉乘的模表示的是2 个向量所围成的平行四边形的面积,当点P越靠近真实框的中心点时,向量和表示的平行四边形面积越接近,也就是它们的模相近;而当点P越远离中心点时,向量中靠近P点的平行四边形面积比较小,而远离P点的平行四边形面积比较大,进而造成它们的模相差较大。因此,YOLOXR 的旋转中心度量(center-ness)公式为

由于图像坐标系相比于通常的笛卡尔坐标系是关于X轴对称的,因此,在图像坐标系下顺时针排序的真实框,换算成常用的笛卡尔坐标系下是逆时针,这也导致了任何位于图像真实框内的点,它们的向量a→、c→、b→和d→均为正数并且位于同一个方向。因此,在式(8)中,直接采用它们的最大最小值来计算该点距离中心点的远近程度,而无需对它们进行取模操作。图4 给出了基于向量叉乘的中心度量方法的取值情况,当距离中心点较近时,中心值越高,距离中心点越远时,中心值越低。

图4 基于向量叉乘的旋转中心度量方法

在得到中心值之后,相应的中心度量损失(center-ness loss)为它表示的是像素点P距离中心点的远近程度。像素点P距离中心点越远,损失越大,它在代价矩阵的值也越大,因此它成为正样本的可能性也就越小。

2.3 基于最优传输的标签分配

目前大多数的正负样本分配是根据预选框和真实框的IoU 来进行分配的,最优传输分配(optimal transmission assignment,OTA)[14]认为目标在不同的大小、形状和遮挡条件下的正负样本的分配应该不一样,同时应该考虑上下文信息,因此将标签分配问题当成一个线性规划中的最优传输问题来处理,其核心思想是建立一个代价矩阵。假设有M个真实框和N个样本(特征图的像素点),那么代价矩阵的大小就为M×N,矩阵中的每个元素就是从不同真实框到不同样本点的代价(用损失来表示)。最优传输的目的是去选取真实框和样本点的匹配对,使得总体代价最小。

由于OTA 使用Sinkhorn-Knopp 迭代求解最优匹配对的过程,因此在训练过程中比较耗时,而sim-OTA[4]直接用动态top-k 的方式选取匹配对,在保证精度的情况下极大地降低了训练的成本。simOTA首先获取当前真实框KLD 值最大的15 个结果,把这15 个KLD 进行求和并向下取整,得到当前真实框的正样本数量Dp;然后针对真实框挑选代价值最低的Dp个候选框;最后过滤掉共用的样本点,对于不同的真实框均为正样本的样本点,选取代价值较小的点作为正样本,其余的作为负样本。需要注意到的是代价包括分类损失、回归损失以及2.2 节所提到旋转中心度量损失。simOTA 能够自动地分析每个真实框需要正样本的数量,并且能够自动决定每个真实框从哪个特征图来检测。

3 损失函数构建

常见的水平框检测通常是通过4 个偏移量的形式来对框的大小和位置进行预测的,借鉴于此,目前大多数的旋转目标检测在水平框的基础上加上了角度参数的回归,如常见的Smooth L1[12]损失。但是,这5 个参数是独立优化的,这使得损失(或检测精度)对任何参数的欠拟合都很敏感。此外,不同类型的物体对这5 个参数的灵敏度也不同。例如,角度参数对于检测大长宽比的物体是非常重要的,而中心点参数对小目标非常重要。这需要在训练过程中给一个特定目标样本选择一组适当的权重,这显然难以实现。

IoU 损失是水平框目标检测中最常用的损失函数,它有效地结合水平框的大小和位置信息,并且能反映出预测检测框与真实检测框的检测效果,更重要的是它具有尺度不变性。然而,在旋转目标检测中,旋转的IoU 是不可导的,因此不能直接使用旋转的IoU 来代替水平框的IoU。为此,基于KLD[12]的思想,将旋转框转化为二维高斯分布,然后计算真实框和预测框二维高斯分布之间的Kullback-Leibler散度(KLD)作为回归损失,以此来代替IoU 损失,有效解决旋转IoU 损失不可导的问题,进而提升旋转目标的检测精度。

4 实验结果及分析

4.1 数据集

为了验证本文提出的YOLOXR 的有效性,本文在公开的遥感数据集DOTA、HRSC 2016 和UCASAOD 数据集上进行了实验。

DOTA[15]是目前公开的最全面的用于目标检测的光学遥感图像数据集。DOTA v1.0 数据集包含来自不同卫星和传感器的2 806 张图像,图像的大小在800 ×800 和4 000 ×4 000 的大小之间。该数据集标注了15 个类别的188 282 个实例,每个实例都由一个四边形边界框标注,顶点按顺时针顺序排列。官方使用1/2 的图像作为训练集,1/6 作为验证集,1/3 作为测试集,测试集的标签没有公开,需要上传至服务器。

HRSC 2016[16]数据集所有图像均来自6 个著名的港口,包含海上船只和近海船只2 种场景的图像。图像尺寸范围从300 ×300 到1 500 ×900,训练、验证和测试集分别包含436 个图像(包括1 207 个样本),181 个图像(包括541 个样本)和444 个图像(包括1 228 个样本)。

USCA-AOD[17]是中国科学院大学模式识别与智能系统开发实验室发布的用于车辆和飞机检测的遥感数据集。该数据集包含1 510 张航空图像,分辨率大小为659×1 280,共14 596 个实例。本文随机选择了1 110 张图像用于训练,400 张图像用于测试。

4.2 实验设置

本文所有的实验都是基于YOLOX 来设计的,以CSPDarkNet 53 作为特征提取骨干网络,并利用在COCO[18]数据集预训练的模型参数对网络进行初始化。本文在DOTA、HRSC 2016 和UCAS-AOD数据集上分别训练了150、150 和200 个训练轮数,采用随机梯度下降法(stochastic gradient descent,SGD)进行训练,动量和权重衰减分别设置为0.9和5 ×10-4,采用余弦退火学习率,大小为初始学习率lr×批量大小batchzise/64,初始学习率为0.01。由于在DOTA 数据集中,不同类别的实例分布极其不均衡,因此将类别的损失函数修改为焦点损失Focal loss[2],进而缓解类别不平衡带来的影响。值得注意的是,在没有特殊说明的情况下,其他与程序相关的超参数设置和YOLOX 一致。

4.3 消融实验

为了验证本文所提出的标签分配策略的有效性,本文在基准模型YOLOX 基础上加入了标签粗分配策略以及旋转中心度量方法。所有的消融实验均以YOLOX-s 作为骨干网络,并在DOTA v1.0、HRSC 2016 和UCAS-AOD 数据集上训练并测试。为了保证实验的公平和准确性,除了标签分配策略,其他实验参数设置严格保持一致。实验结果如表1 所示,在加入标签分配粗策略之后,本文的方法相比于原始的方法在DOTA v1.0、HRSC 2016 和UCASAOD 数据集上检测精度分别提高了2.48%、0.35%及0.31%。这说明本文设计的标签粗分配策略(判断样本点是否在旋转目标内或目标中心点附近的旋转正方形框内)有利于正负样本的选择,进而提高遥感图像目标检测的精度。由于DOTA 数据集包含的目标类别较多,分辨率变化比较大,基准模型的检测精度比较低,因此提升效果也比较明显。而HRSC 2016 和UCAS-AOD 数据集类别少,分辨率变化不大,检测精度已经达到95.00%以上,因此提升的效果并不明显。此外,本文还在此基础上加上了中心度量的方法,在DOTA v1.0、HRSC 2016 和UCASAOD 数据集上检测精度进一步提高了1.73%、0.22%和0.27%。这证明了中心度量方法有助于减少低质量的边缘样本点,从而进一步提高检测的精度。

表1 本文方法在不同遥感数据集上的消融实验结果(%)

4.4 实验结果

4.4.1 在DOTA 数据集上的实验结果

DOTA 是目前公开的最全面的用于目标检测的遥感图像数据集,其中不仅包含了车辆、船只等小目标,还包括了桥梁等大长宽比的目标,这有利于检验旋转目标检测算法的性能。为了评估本文方法的性能,实验中的方法均选择相同的数据作为训练集,实验结果来源于DOTA 的评估服务器所测试的结果。在DOTA v1.0 数据集上的实验结果如表2 所示,其中R-101 表示ResNet-101,H-104 表示Hourglass-104,其他以此类推。从表2 的检测结果可以看出,YOLOXR 在DOTA v1.0 上取得了78.21%检测精度,优于目前绝大多数旋转目标检测器。其中小型车辆、大型车辆和船只这些类别取得了较高的检测精度,这说明YOLOXR 的标签分配策略可以为小目标分配更加细致的标签,从而避免了复检和漏检,有利于密集排列的小目标检测。而在精度较高的飞机、网球场、篮球场以及游泳池这些场景下,本文的方法同样取得了和其他优秀算法相当的结果。这些检测结果充分说明了YOLOX 可以为遥感目标分配更加合适的标签,进而提升目标检测的精度,其在DOTA v1.0 上的检测结果如图5 所示。

表2 不同方法在DOTA v1.0 数据集上的检测精度(%)

图5 YOLOXR 在DOTA v1.0 数据集上的检测效果图

4.4.2 在HRSC 2016 数据集上的实验结果

HRSC 2016 数据集的实验结果在PASCAL VOC 2007 和VOC 2012 这2 种指标下进行评估,以便公平地比较不同方法的性能。如表3 所示,YOLOXR 的小模型YOLOX-s 在VOC 2007 和VOC 2012 指标下分别实现了89.68%和96.20%的精度,优于R3Det等旋转目标检测检测器。更重要的是,在该模型下,所提的方法在RTX 2080 Ti GPU 上实现了49 FPS的超快检测,是目前该数据集下最快的旋转目标检测器。与此同时,YOLOXR 的大模型YOLOX-x 在VOC 2007 和VOC 2012 指标下分别实现了90.25%和97.11%的精度,和目前最先进的旋转目标检测器性能相当,这充分说明了所提方法在面对大横纵比的目标时仍然具有优势。通过上面的结果可以看出,YOLOXR 可以在HRSC 2016 数据集中实现准确且快速的旋转目标检测。图6 展示了YOLOXR 在HRSC 2016 上的检测效果图。

表3 不同方法在HRSC2016 数据上的检测精度和速度比较

图6 YOLOXR 在HRSC 2016 数据集上的检测效果图

4.4.3 在UCAS-AOD 数据集上的实验结果

为了进一步检验YOLOXR 对密集小目标的检测性能,在车辆和飞机检测的小目标数据集UCASAOD 上进行了实验,实验结果如表4 所示。结果显示,本文提出的方法在UCAS-AOD 数据集上取得了98.00%的检测精度,优于R3Det[19]和PolarDet[20]等优秀的旋转目标检测器。在车辆的检测上,YOLOXR相比与最优秀的检测算法更是取得了1.75%的提升,这充分说明了YOLOXR 在小而密集目标检测中的优异性能。由于本文提出的标签分配方法在面对小而密集目标时,总是能分配到最适合的标签,而不会出现目标复检和漏检的情况,因而实现了精准的密集小目标检测。YOLOXR 在UCAS-AOD 数据集上检测的可视化结果如图7 所示。

表4 不同方法在UCAS-AOD 数据集上的检测精度比较(%)

图7 YOLOXR 在UCAS-AOD 数据集上的检测效果图

5 结论

本文提出了一种基于向量叉乘的遥感图像目标检测算法YOLOXR。根据遥感图像目标方向任意、小而密集等特点,提出了基于向量叉乘的标签分配策略,通过判断像素点是否在旋转目标内或者目标中心点附近的旋转正方形框内,进而确定其是否为候选正样本。此外,为了降低边缘低质量样本的权重,引入了旋转中心度量的概念,通过向量叉乘最小值与最大值的比值来确定像素点距离中心的远近,进而赋予不同的权重。之后,通过最优传输(simOTA)来寻找真实框和样本点之间最优的匹配对,进而确定最终的正负样本。为了解决Smooth L1 损失不精确以及旋转IoU 损失不可导的问题,引用了KLD 损失。实验结果表明,YOLOXR 在DOTA、HRSC 2016 和UCAS-AOD 这3 个公开的遥感数据集上取得了卓越的检测精度和速度。但是,对DOTA 数据集中个别类别的检测仍然欠佳,如桥和直升机。因此,在下一步的工作中,根据目标的形状大小等进一步细化标签分配,为大长宽以及数量较少的实例目标分配更加合适的标签,从而提升检测效果。