基于孪生多注意力网络的接触网侵限轻飘物跟踪

屈志坚，张博语，朱 琳，梁家敏

(1.华东交通大学 轨道交通基础设施性能监测与保障国家重点实验室，江西 南昌 330013；2.华东交通大学 电气与自动化工程学院，江西 南昌 330013)

高速铁路(以下简称“高铁”)限界是指为保证运输安全而制定的建筑物、设备与机车车辆相互间在线路上不能逾越的轮廓尺寸线。为了保障高铁运输安全及高效,中国高铁通常采用1.8 m高护拦网阻拦的方式对铁路限界进行保护,护栏网的物理阻拦,主要是对铁路沿线两侧1.8 m高度限界进行异物拦截,铁路上空接触网区域已成为防护盲区,在大风天气情况下,铁路沿线的废弃氦气球、塑料袋、风筝、孔明灯、地膜等轻飘物,容易侵入限界并缠绕在接触网上,给铁路运输安全造成严重的安全隐患[1]。如中国南方某铁路局,铁路工作人员未能及时发现轻飘物侵限,造成轻飘物缠绕在接触网上,致使列车晚点,旅客滞留车站。此类轻飘物体的侵限事件因受周边环境和天气等影响而带有随机性,难以被及时发现,很难预知其运动轨迹和准确的隐患位置。接触网侵限轻飘物的跟踪研究,对列车司机及时获取事件预警和排除安全隐患具有重要意义,因此急需研究一种适用于高速电气化铁路复杂背景下的快速跟踪方法。

目前针对限界内异物侵限检测及跟踪的方法主要为两类:第一类方法属于传感器法,通过红外光幕、微波及激光扫描等方式对侵限异物进行检测[2-5]。这类方法主要用于隧道口落石等异物检测,但由于在接触网强电环境中易受电磁干扰,故对接触网异物检测的适应性较差。另一类是机器视觉方法,自动化程度较高,适用于铁路异物侵限检测及跟踪[6-8],该方法根据观测模型分为生成式和判别式两类。生成式方法图像信息利用率较低,在复杂场景下跟踪准确性及鲁棒性较差[9]。判别式方法因专注区分前景与背景,跟踪精度较好,近年来在目标跟踪领域占据主流。其中基于相关滤波和深度学习的方法成为研究热点。相较于传统算法,基于相关滤波的算法,无论是精度还是速度都有较大提升,但其使用灰度、颜色、HOG等手工设计的特征进行目标描述[10-11],对铁路这种复杂场景而言,手工设计的特征应对干扰能力明显不足。同时,相关滤波算法的多尺度搜索策略需要每个尺度上的响应值,再找出最合适的目标尺度,过程烦琐耗时,不适宜跟踪带有较大尺度变化、移动速度快、带有旋转形变的轻飘物[12]。

目前主流的深度学习跟踪方法以孪生网络为代表。基于孪生网络的跟踪算法,其神经网络提取的深度特征中具有丰富的语义特征,能更加鲁棒地表征目标,以应对相似目标干扰、环境变化、背景杂乱等挑战[13-15]。文献[16]基于孪生网络,利用目标特征与模板匹配的方法进行检测,但对于发生遮挡、快速运动的异物目标检测时,存在漏检和误检等问题。文献[17]利用MobileNet网络实现轻量化特征提取,结合孪生与区域建议网络进行目标跟踪检测,但网络结构单一,存在模型特征提取能力弱的问题,导致整体跟踪检测效果较差。基于孪生网络的跟踪算法其目标模板不能在线更新,且目标模板与搜索图像的特征是在孪生网络结构的两个分支中独立计算,容易造成目标信息的缺失,导致跟踪失败。文献[18]在卷积神经网络中添加注意力机制进行目标跟踪检测,增强了模型的特征提取能力,但对于目标运动轨迹变化时,检测精度不高。文献[19]提出一种基于双通道的Transformer网络,设计出一种通道注意力交叉融合机制,提高了目标的识别精度,但针对目标尺度变化的应对能力较弱,且计算成本较高。

针对铁路接触网复杂背景下轻飘物尺度变化大、遮挡干扰和背景杂乱的跟踪难题,本文提出一种基于孪生注意力网络和空间正则化的尺度自适应轻飘物侵限(attention spatial-regularization siamese light-object,ASSL)跟踪方法。利用维纳滤波去除接触网图像上空复杂环境背景的部分运动和噪声模糊,设计一种接触网侵限轻飘物跟踪的ASSL算法模型,通过全局注意力子模块、空间正则化滤波器和交叉注意力子模块等处理,将孪生网络两个分支间的图像信息串联,提取轻飘物体目标特征,生成轻飘物体的区域建议框,采用多个细化融合特征模块对建议框进一步精确后输出目标预测,进行跟踪精度对比实验、侵限算例的对比实验和消融实验,并对本文方法进行了验证。

1 接触网侵限轻飘物跟踪图像预处理

在高速铁路线路区间,每间隔1～2 km安装一台高清摄像机,可以对线路两端进行监控,若干视频采集节点通过网络连接,将非结构化视频图像数据传输至汇聚节点,将图像信息进一步传输至综合视频监控系统,进行接触网异物的侵限跟踪处理。铁路综合监控管理系统对铁路沿线进行全天候视频采集并实时上送视频序列,可以对侵入接触网限界轻飘异物的跟踪过程,划分为图像采集、图像复原及背景简化处理、图像特征提取与侵限目标生成三部分。对接触网上空附近的复杂环境背景进行图像降噪与复原的预处理。

(1)

式中:G(μ,υ)表示带有噪声的退化图像;H(μ,υ)为退化函数;H*为H的复共轭;K为常数。

图1为维纳滤波处理掉的运动和噪声模糊,以及轻飘异物的复原效果。

图1 维纳滤波去噪及复原效果

2 高铁轻飘异物侵限跟踪的ASSL算法模型

2.1 ASSL算法框架设计

由于高铁限界内轻飘物的运动轨迹不确定,且运动速度较快,传统算法适用性较差。

利用多重注意力机制和空间正则化滤波器与孪生网络融合,使孪生网络更好地提取尺度变化和快速运动特征,通过维纳滤波处理部分杂乱背景和遮挡干扰,提出一种基于孪生网络的尺度自适应铁路轻飘异物侵限的ASSL跟踪方法。经处理后的图像,通过空间正则化优化的孪生注意力网络提取目标特征,将侵限异物的视觉图像信息转化为能被计算机识别的数值形式,并用于下一步的卷积计算,对经过SiamRPN[20]模块后区域生成的建议框采用多组细化融合特征模块进一步精确目标位置,输出预测目标。

接触网轻飘物体侵限视频序列的ASSL跟踪方法的具体步骤,如图2所示。第一部分,铁路综合视频监控信息流对铁路沿线进行采集得到原序列Y1;第二部分,通过维纳滤波预处理后得到序列Z1;第三部分,从Z1的第一帧Z1(1)中,截取尺寸(127,127,3)作为跟踪模板帧,下一帧Z1(2)截取尺寸(225,225,3)作为跟踪检测帧,分别输入由五层Resnet-50为主干的孪生网络,随着层数的加深,将得到更高的层次特征。将孪生注意力模块应用于最后三层中,以此调节和增强两个孪生分支在最后三阶段的特征,并输出两支注意力特征。将3个SiamRPN(siameseregionproposal)块与输出的注意力特征融合,输出大量的特征图,再经分类和回归两个分支进一步处理,得到单个跟踪区域的同时,与两支注意力特征进行深度互相关计算。最后通过特征融合模块,将特征进一步融合加强,分别经过边界框回归与掩膜预测,输出跟踪结果。

图2 接触网侵限轻飘物跟踪模型的设计

2.2 孪生注意力模块

轻飘物序列Z1进入孪生网络后,序列的第一帧Z1(1)作为模板分支的输入,表示为m;Z1(1)的下一帧作为搜索分支的输入,表示为n。两个分支共享卷积神经网络的参数。经五级卷积层后,逐层间产生不同深度的轻飘异物图像特征信息,而浅层特征主要关注于物体的外观、颜色、纹理等,由于轻飘物体存在较大形状变化、动态模糊,在铁路背景环境下易受物体遮挡,考虑到当网络深度加深后,表达特征的能力更强,对物体的形变、遮挡信息更为敏感,因此,将网络最后三层的特征信息输入孪生注意力模块中,通过引入注意力机制与空间正则化滤波器,将轻飘物体的图像信息进行加强融合。具体步骤如图3所示。

图3 孪生注意力模块的设计

如图3所示,孪生注意力模块以轻飘物序列Z1在孪生网络中计算出的一对卷积特征为输入,经过孪生注意力机制调整输出的特征。孪生注意力模块整体可分为两个子模块,左右两侧的全局注意力子模块关注轻飘物的整体图像信息,中间两个交叉注意力子模块串联模板区域与搜索区域的图像信息,更关注有效的背景信息。将输入的模板特征表述为C×h×w,搜索特征表述为C×H×W。

2.2.1 全局注意力子模块

全局注意力子模块由通道注意力、空间注意力和空间正则化滤波器三部分构成。受SiamRPN++[21]启发,深层次卷积特征中的相同通道,对特定类别的跟踪对象产生高度响应,其余通道则抑制响应。应用通道注意力机制增强对轻飘物特征的捕捉能力。类似地,受传统算法感受野的影响,特征图的计算限制在局部图像块中,获得的图像信息有限。空间注意力机制和空间正则化滤波器的加入,使算法能够在整体图像中获取信息。以模板特征m计算空间注意力为例,设m∈C×h×w,为特征空间;模板特征m经两个1×1的卷积层,生成查询特征Q和关键特征K,其中对Q和K进行特征重塑得到C′×p,p=h×w。通过逐点相加和矩阵相乘,得到空间注意力特征图为

(2)

(3)

2.2.2 空间正则化滤波器

考虑轻飘物在气流作用下形态变换较大的运动特性,为保证模型能够精确捕获目标的形变信息,引入空间正则化滤波器对模板帧和搜索帧计算特征响应,并将特征响应与空间注意力特征融合计算。空间正则化滤波器对接近边界的区域惩罚更大,能有效解决因快速运动而产生的边界效应,针对快速运动的侵限目标能够更为精确的计算其目标位置的特征响应。

响应S可以表示为

(4)

(5)

轻飘物位置区域下的响应见图4。

图4 轻飘物在不同位置时响应的可视化结果

利用正则化权重惩罚对应背景特征的滤波器值,有效抑制杂乱的背景信息,可以更加突出轻飘物目标的外观信息,增强模型整体在应对快速运动和尺度变化时的辨别能力。

2.2.3 交叉注意力子模块

在轻飘物侵限跟踪中,铁路接触网复杂的背景环境也给目标定位带来了挑战,接触网的复杂结构使跟踪过程不可避免的产生遮挡。为解决该问题,引入交叉注意力机制,使原本独立进行计算的模板分支和搜索分支相互学习。将原本忽略的背景中的有效信息得到利用,帮助模型更精确地定位目标。以搜索特征n计算交叉注意力为例,设n∈C×H×W,首先,将轻飘物体目标特征n重塑为C×P,P=H×W,交叉注意力AC的计算和通道注意力类似,由此可得

(6)

对所计算的矩阵进行逐行softmax操作,得到轻飘物目标特征的交叉注意力为

(7)

最后,将所得全局注意力和交叉注意力通过元素求和的方式相加,得到最终的模板特征。同理可得最终的搜索特征。

为更直观的观察模型的效果,将特征图的响应大小映射到原图上,并以此了解模型对目标信息的获取。

由图5可知,在未添加注意力模块前,模型受到背景中树木、接触网、信号灯和支柱不同程度的干扰;添加注意力模块后模型主要关注侵限目标的信息。

图5 添加注意力模块前后的特征响应对比

2.3 轻飘物体的区域生成

经孪生注意力网络计算特征后,输出两个注意力特征分支,应用3个SiamRPN模块生成目标建议。如接触网轻飘物跟踪模型所示,3个模块之间由多个全卷积层组合且深度互相关。由该模块生成3个预测图,并采用加权融合方式生成最终组合图。最后,根据组合图给出的区域建议,选取得分最高的输出预测区域。在此基础上,采取多个融合细化操作,提升模型整体的精确度。

1)应用深度交叉互相关操作,将孪生注意力网络输出的注意力特征与输出预测区域进行计算,生成一组相关性图。

2)将相关性图输入到特征融合模块,采用1×1的卷积和上下采样操作进行特征对齐。同时,将原始目标图像输入空间正则化滤波器计算特征,并与孪生网络前两层特征跟相关性图逐元素求和的方式进行融合,使模型得到更丰富的局部图像信息。

3)添加可变形的ROI(regionofinterest)池化层,使目标特征的计算更加精确。

2.4 端到端训练ASSL

在训练阶段,根据轻飘物体运动特征,归纳得出快速运动、镜头摇晃、动态模糊、尺度变化、背景杂乱等标签,以某铁路试验线采集的图像为主,从GOT-10K[22]数据集上选取符合标签的内容作为补充,整合出45类视频序列,共43 589张图像。随机间隔地从中调取样本对,模板和检测图像选自同一视频序列的两帧。对整个网络采用随机梯度下降(stochasticgradientdescent,SGD)进行端到端的训练。对正负样本的选定采用广泛使用的目标检测测量标准IoU,即

(8)

IoU的值越高,表示A框与B框重合度越高,代表模型的预测越准确;IoU的值越低模型性能越差。规定当IoU>0.6时,该锚框及其对应的标注框为正样本,当IoU<0.3时,为负样本。

训练损失为SiamRPN网络与多个融合操作模块中损失函数的加权组合

L=Lcls+σ1Lreg+σ2Lbox+σ3Lmask

(9)

式中:Lcls、Lreg为SiamRPN网络中分类和回归损失,分别为负对数似然函数(negativelog-likelihood,NLL)和smoothL1损失函数;Lbox、Lmask分别为边界框回归的smoothL1损失函数和掩膜分割的二进制交叉熵损失函数;σ1、σ2、σ3为权重参数,设置为0.2、0.2、0.1。

3 算例对比试验

3.1 跟踪精度对比实验

采用OTB[23]评估基准对算法的性能进行验证,OTB数据集中包含从常用跟踪序列中收集的100个序列。选择OTB中的OPE(onepassevaluation)测试对跟踪算法的综合性能进行测试评估,评估基于精度图和成功率图两个指标。精度图展示跟踪结果距目标20像素以内的帧数百分比。首先计算中心误差,即预测目标中心点与标注框中心点之间的欧氏距离ρ为

式中:(x2,y2)为算法预测目标中心点位置结果;(x1,y1)为人工预先标注的标注框中心点。

给定误差阈值为20像素,精度Precision计算结果为

式中:framesρ<20为满足给定误差阈值的帧数;framestotal为所有视频序列总帧数。

这一声“姐”，道出了学生对我的教育满满的信任，只因为作为一名政治教师，我把“使学生正直和聪慧”作为我努力追求的目标。所谓聪慧，即有知识、有智慧、有能力；所谓正直，是指有德行、有正气、有正义。相较于聪慧，我认为正直对一个人的人生更为重要。所以，走上讲坛后，我一直不遗余力地挖掘教学中的育人因素，努力为学生成为一个正直之人点燃指引的明灯。我教过的很多学生，他们或许已经忘记了课堂上所学的政治知识，但依然记得上课时的激情与快乐，依然记得在我的课堂里学会的“梨本无主，我心有主”的价值坚守，记得“态度决定高度”的人生格言。

成功率图显示阈值从0到1变化时跟踪成功帧的比率,其中成功帧表示其重叠大于给定阈值。成功率图曲线下面积用于对跟踪算法进行排序。

式中:Success为成功率;ρ∈[0,1];framesoverlap>ρ为重叠大于给定阈值的帧数。

考虑轻飘物侵限的跟踪特性,筛选出运动模糊、快速运动、尺度变化三种挑战属性,以此验证算法的各项能力,其中各算法数据均采用相同硬件配置环境下的测试结果,代码、模型及超参数均源于参考文献[24-26]。

由图6可知,经过空间正则化滤波器融合多注意力机制的ASSL,在各个属性中均有不俗的表现,其中在图6(a)快速运动属性中的精度帧数百分比以92.1%取得领先,分别高出SiamCAR 0.6%,高出SiamAttn 0.7%。在图6(b)成功率图中,ASSL的跟踪成功率百分比为70.6%,相比于位列第二的SiamCAR70.2%,高出0.4%。在图6(c)应对动态模糊的挑战中,ASSL以90.3%的精度仍表现出最佳效果,在图6(d)中高出第二位SiamCAR 0.9个百分点。

图6 OPE多项挑战算法对比结果

尤其在尺度变化属性中,ASSL的精度可达94.7%,超越第二位的SiamAttn 1.8个百分点。对于成功率指标,ASSL的成功率达到72%,高出SiamAttn 2个百分点。

3.2 试验线侵限算例的对比分析

使用海康威视DS-2DC7520IW-A500万150 m红外监控摄像头球机,从轨道交通基础设施性能监测与保障国家重点实验室电气化铁路试验线分别采集三组视频序列,共7 500帧序列进行接触网异物侵限算例实验。Ⅰ组是侵限异物尺度基本无变化的视频序列L1、L2;Ⅱ组是存在相似物体干扰的异物侵限接触网视频序列N1、N2;Ⅲ组是侵限异物带有旋转特性以及尺度变化的序列M1,以及杂乱环境下带有相似物体干扰的序列M2。其中L1、L2各包含15 s视频序列,共计2 000帧图像;N1、N2各包含25 s视频序列,共计3 000帧图像。M1、M2各包含20 s视频序列,共计2 500帧图像。

实验搭载Win10系统,配置为Intel XeonW-2123CPU,NVIDIA Quadro P4000的计算机。分别使用SiamFC算法、相关滤波SRDCF[24]算法、加入干扰感知模块的DaSiamRPN[25]算法和使用深层网络的SiamRPN++算法,对实验算例进行轻飘物体侵限跟踪,并与本文的ASSL算法跟踪精度进行对比,跟踪实验可视化效果如图7所示。

图7 不同算法的跟踪可视化结果

第Ⅱ组实验结果分析:视频序列N1、N2存在相似物体干扰,红色轻飘物体干扰项在空气流动中带有轻微晃动,且在N1序列中含有两次重叠遮挡。

1)在N1序列第255帧,两个轻飘物体靠近,除ASSL外其他4个算法都产生不同程度的目标丢失。

2)第642帧第一次重叠遮挡后,DaSiamRPN、SiamFC和SRDCF算法错误将红色干扰项认为是目标。

3)从第894帧开始,由于目标被干扰项完全遮挡导致SiamRPN++算法丢失目标,错误认为红色物体为目标。

N2序列中,目标与红色干扰项从相互靠近往左侧飘动,从第342帧起,由于干扰项的轻微摆动,SRDCF算法错误认为其为跟踪目标导致跟踪失败,DaSiamRPN与SiamRPN++算法学习到过量的接触网背景信息导致跟踪框过大,而SiamFC算法则受到目标旋转形变的影响产生漂移导致跟踪失败。

第Ⅲ组实验结果分析:在M1序列中,跟踪目标在大风的影响下产生剧烈旋转以及摇晃形变。相关滤波算法SRDCF由于计算复杂,目标运动快速在第3帧之后逐渐丢失目标。而SiamFC和DaSiamRPN算法在目标自身带有旋转形变并飘过接触网的过程中学习到错误的背景信息产生不同程度的漂移。

在M2序列中,接触网结构及背景更为复杂,序列中间位置设置为相似物体干扰项,其形状颜色与跟踪目标几乎一致。在M2序列第315帧,SRDCF算法已跟丢侵限异物。由于在右侧支柱的腕臂结构处背景复杂且侵限异物运动快速、形变大,DaSiamRPN、SiamFC算法在第724帧相继跟丢目标。SiamRPN++算法虽未跟丢目标,但相比侵限轻飘物SiamRPN++算法的跟踪框偏大。这四种算法对此视频序列轻飘物侵限跟踪效果较差,而本文ASSL算法未出现跟丢目标轻飘物的情况,从可视化跟踪的结果可以看到,ASSL算法能更准确的跟踪侵限轻飘物。

为更直观评估各类算法精度,对以上五种算法进行定量评估,计算L、M、N 3个序列的成功率图的曲线下面积(AUC)和平均像素误差(APE)得分,并绘制成功率图与精确度图。如图8、表1、表2所示。

表1 各序列跟踪算法的AUC得分 %

表2 各序列跟踪算法的APE得分 %

图8 各算法的跟踪成功率与精确度

由表1、表2可知,本文ASSL算法的跟踪精度明显优于相关滤波算法SRDCF与孪生网络算法SiamFC,特别在含有相似物体干扰且背景杂乱的视频序列M2中,ASSL算法的跟踪精度比SiamFC和SRDCF算法分别高出39.6%、55.8%,同时ASSL的跟踪成功率达到74.7%,高出采用深层网络的SiamRPN++算法7.5%。

ASSL算法加入了空间正则化滤波器融合注意力机制对跟踪目标计算响应,能更敏锐捕捉到目标轻飘物的位置,平均精度可达92.68%。

3.3 消融实验

为了验证ASSL算法对接触网轻飘物跟踪的有效性,将SiamRPN++作为基线算法(以下简称SR)进行消融实验。

从上述接触网轻飘物侵限的7 500帧序列算例随机抽取序列,计算EAO值与算法跟踪速度。用Φi表示平均计算的每一帧IOU值,平均重叠期望值(expected average overlap,EAO)可以表示为

式中:NS为期望的极大值。

经计算整理后得到平均重叠期望与跟踪速度之间的关系,如图9所示。图9中,WF为维纳滤波,GA为全局注意力机制,GA-S为添加空间正则化滤波器的全局注意力机制,RO为区域生成细化操作,CA为交叉注意力机制。

图9 消融实验结果对比

7种算法消融实验的跟踪速度、平均重叠期望、平均重叠期望增长率的数据指标见表3。

表3 消融实验结果

由图9和表3可知,ASSL算法设计的各子模块对算法均产生了不同程度的提升,各子模块的贡献度由平均重叠期望增长率体现。由表3数据,对比SR+RO+GA与SR+RO的EAO增长率值可得交叉注意力对平均重叠期望增长率的贡献最高,达到3.2%,全局注意力对平均重叠期望增长率的贡献次之,达到3.0%。在接触网轻飘物侵限跟踪中,相比较原生算法SiamRPN++,ASSL算法在跟踪速度以及鲁棒性上都有更佳的效果。

4 结论

1)本文针对铁路接触网侵限轻飘异物尺度变化大、存在运动模糊和遮挡干扰造成跟踪困难的问题,综合运用多注意力机制、空间正则化滤波器融合的孪生网络以及特征融合模块,推导融合空间正则化滤波器的全局注意力整形特征公式,在此基础上提出一种接触网侵限轻飘物跟踪的ASSL方法。ASSL方法通过空间注意力从图像全局中获得更多的背景信息,利用通道注意力抑制其余通道响应,添加空间正则化滤波器抑制杂乱背景信息。使用交叉注意力解决相似物体遮挡和干扰的问题。

2)以轨道交通基础设施性能监测与保障国家重点实验室电气化铁路试验线的轻飘物侵入接触网视频序列为算例,进行多组不同侵限情况下的实验。对比SRDCF、SiamRPN++、DaSiamRPN和SiamFC算法与本文ASSL方法的跟踪效果。结果表明,在铁路限界及接触网复杂背景环境中,当跟踪过程发生背景干扰、异物形变及遮挡时,ASSL方法抗干扰能力强,能适应轻飘物的形变及旋转,对轻飘物侵限的跟踪具有较高的准确性和鲁棒性。

3)进一步的消融实验结果表明,交叉注意力对平均重叠期望增长率的贡献最高,达到3.2%,全局注意力对平均重叠期望增长率的贡献次之,达到3.0%,相比SiamRPN++算法,ASSL方法获得了更佳的跟踪速度和鲁棒性。