基于路侧激光雷达的多目标检测与跟踪算法

顾 晶,胡梦宽

(1.无锡学院电子信息工程学院,江苏 无锡 214105;2.南京信息工程大学电子与信息工程学院,江苏 南京 210044)

1 引 言

在智能交通领域中,使用先进的传感器识别和跟踪道路上的目标,是道路交通安全的重要任务。激光雷达传感器由于其探测距离远、精度高、光线环境适应性好等优点,被广泛应用于自动驾驶车辆上。如何根据自动驾驶技术,配合安装在道路基础设施上的激光雷达传感器准确检测和跟踪城市交叉路口的行人和车辆,使之成为无缝衔接的合作系统,是当今研究的热点问题[1]。

国内外许多团队都对三维点云的多目标检测与跟踪方面有着深入研究。在目标检测上,通过利用基于密度的DBSCAN聚类[2]、超体素区域聚类[3]、连通组件聚类[4]等算法提取目标特征信息从而实现目标检测。在目标跟踪上,常利用卡尔曼滤波器系列[5-6]进行目标状态预测和更新,结合基于边界交并比[7]、外观运动特征以及马氏距离[8]等为度量的常见数据关联算法,如全局最近邻(Global Nearest Neighbor,GNN)[9]、联合概率数据互联(Joint Probabilistic Data Association,JPDA)[10]以及多假设跟踪(Multiple Hypothesis Tracking,MHT)等[11],最终实现三维多目标跟踪。

本文提出一种基于路侧激光雷达的多目标检测与跟踪算法,首先利用背景减除法去除大量背景和地面点云,同时根据边界坐标选择感兴趣区域,从而提高检测精度并降低计算成本;紧接着采取先验旋转变换矩阵融合5帧点云从而提高细小目标的点云密度,然后通过基于哈希数据结构的曲率体素聚类[12]算法高效、准确的分割点云;之后通过双门控滤除杂波干扰,利用历史检测置信度调整关联匹配阈值和生存周期管理策略,有效提升算法的速度和关联的准确性,减少了目标丢失和误检;最后应用IMM-UKF-JPDAF的组合贝叶斯滤波器算法,保证对城市交叉口道路目标进行准确跟踪。实验结果表明,该方法具有可靠性、鲁棒性和实时性。算法总体流程如图1所示。

图1 多目标检测跟踪算法流程图

2 目标检测算法

2.1 背景滤除

背景点云如树木、地面和建筑物的滤除是处理城市交叉路口激光雷达数据的重要初始步骤。由于实验安装的激光雷达的位置是固定的,因此选择背景减除法将当前获取的点云帧与背景帧进行差分运算,同时根据边界坐标选择感兴趣区域,从而提取出运动目标点云数据。图2所示为目标点云去除背景的前后对比,滤除背景后的点云包括机动车、非机动车和行人等道路目标以及少数噪声点。

图2 背景滤除

2.2 点云融合

实验选用非重复扫描模式的激光雷达,其即时采样的数据存在点云密度低和运动畸变的问题。因此本文采取融合连续5帧点云的策略,根据旋转角度和平移距离将前4帧点云变换到当前时刻点云的位置,从而增强了点云密度,校正了运动畸变。图3为简单拼接5帧点云和采用先验旋转平移矩阵融合5帧点云的对比图。从图3中看出,目标点云通过变换融合后密度更大,并且在一定程度上校正了其运动畸变。先验旋转平移矩阵如:

(1)

图3 点云融合

式中,R为旋转矩阵,表示为先绕X轴方向旋转θx度,再绕Y轴方向旋转θy度,最终绕Z轴方向旋转θz度而得到;T为平移矩阵,dx、dy、dz表示为在各自坐标轴方向上的位移量。

2.3 目标聚类

作为目标检测的一个环节,点云聚类的效果直接影响检测的质量。现有的方法不能同时满足速度和精度,因此本文选择曲率体素聚类(CVC)算法分割点云,包括四个步骤。首先,将笛卡尔坐标转换成球面坐标,随后构建Hash表将体素索引与其内点的索引相联系,紧接着通过Hash表找到附近9个体素内的相邻点,最后将其合并为一个簇。球坐标与直角坐标关系转化如式:

(2)

式中:r为原点到某点的距离;θ为仰角;φ为方位角。

本文根据不同区域设置不同的阈值α,有效改进并提高了CVC算法的聚类效果,其聚类分割的速度比常规方法快,且具有正确区分相邻电动车和人群的优势。图4为使用改进曲率体素聚类算法的点云聚类效果图,不同灰度的点代表不同的道路目标。

图4 改进曲率体素聚类效果

3 目标跟踪算法

通过上述目标检测算法提取道路目标位姿信息Det(t)作为目标跟踪器的输入,对于t时刻的位姿信息Det(t),有Det(t)=(x,y,z,l,w,h,θ),其中(x,y,z)是包围盒中心点坐标,(l,w,h)为包围盒的长宽高,θ为包围盒的偏航角。

3.1 IMM-UKF算法

在城市交叉路口复杂道路环境下,机动目标具有上下/左右直行、左转弯和右转弯等运动状态,此时采用单一运动模型卡尔曼滤波器无法解决非线性运动问题。因此,本文使用交互式多模型无损卡尔曼滤波即IMM-UKF算法进行目标跟踪。

3.1.1 目标运动模型

常见运动模型有匀速模型(Constant Velocity,CV)、匀加速模型(Constant Acceleration,CA)、恒定转弯率和速度模型(Constant Turn Rate and Velocity,CTRV)等[13]。本文根据实际道路场景选择CV和CTRV作为IMM-UKF算法的子模型,则其离散运动状态空间模型可以表示为:

(3)

CV线性运动模型假定目标是直线运动的,并不考虑物体的转弯,将k时刻的目标状态X(k)=[xk,yk,vk,θk]T推算到k+1时刻,只有位置发生改变,其状态转移函数为:

(4)

(5)

3.1.2 算法递推过程

IMM-UKF算法过程包括4个步骤:交互输入、模型条件滤波、模型概率更新和估计融合[14]。该算法从k-1到k时刻的递推过程如下:

(1)状态交互:根据上一时刻融合估计的结果对模型初始化,得到当前时刻状态向量和协方差矩阵作为UKF的输入。定义IMM模型之间通过马尔可夫转移概率矩阵P进行交互,其中pmn为P的第m行n列元素,表示为从模型m切换到模型n的概率。

(6)

(7)

(8)

(9)

(10)

(11)

(12)

(3)模型概率更新:计算模型n的似然概率:

(13)

(14)

(4)融合估计:计算与更新后的模型概率结合的k时刻融合状态向量的估计值与融合误差协方差矩阵,其表达式如式(15)和式(16)所示:

(15)

(16)

3.2 自适应双门控JPDA关联算法

为了准确跟踪道路上的多目标,本文引入JPDA算法,并将IMM-UKF算法融入到其算法框架中,因此可以在目标运动状态发生改变时仍具有较高的跟踪精度。该算法主要包括产生确认矩阵、生成联合事件、计算关联概率、获取综合观测值等步骤,其中,计算关联概率是关键步骤之一,表达式如下:

(17)

(18)

(19)

为了有效滤除杂波干扰,提升跟踪精度,在检测结果进行最终JPDA关联匹配前设置自适应阈值双门控验证,双门控示意图如图5所示。初级门控以欧氏距离为度量,在欧式空间距离上小于阈值ρec的目标才能进入次级门控;次级门控以马氏距离为度量,当目标和检测目标间的马氏距离小于阈值ρma时才能进入最终关联匹配。马氏距离通过在欧氏距离的基础上添加协方差权重,可以更好地区分目标间的相似度。欧式距离和马氏距离的表达式如下:

(20)

图5 双门控示意图

(21)

然而,当门控阈值设置过小时,进入波门内的目标减少,随着时间的推移,可能会丢失跟踪目标的轨迹;当门控阈值设置过大时,进入波门内的目标增多,则造成算法的复杂度增大,算法运行时间变长。针对此问题,提出自适应门控阈值调整算法,如图6所示。针对多次跟踪丢失的目标,通过5帧内历史检测置信度的变化,以目标量测预测为中心,逐步扩大或减小目标的搜索范围,保证目标关联更加稳定,进一步提升跟踪精度。

图6 自适应门控阈值调整示意图

3.3 自适应生存周期管理策略

由于目标检测算法的误检和漏检问题普遍存在,需要建立轨迹管理模块管理轨迹的生成和删除。即当目标被连续检测到Fmin帧后才判定新轨迹的生成,同样地,当目标未能成功匹配上Fmax帧后才判定轨迹的消亡并将其删除。文献[7]指出,若采用固定的生存周期管理策略,将出现错误的跟踪轨迹。因此。本文采取文献[7]中的自适应生存周期管理策略,通过历史检测置信度,动态调整最大生存周期,表达式如下:

FAmax=Fmax×σ(α·score+β)

(22)

式中,FAmax表示根据置信度计算后的生存周期;Fmax为最大生存周期,σ(·)表示Sigmoid非线性函数;α和β为尺度系数和偏移系数;score为历史检测置信度。由于Sigmoid函数的曲线特性,当目标的置信度越高时,其生存周期也会越长,从而实现生存周期的动态调整,显著减少了目标丢失和误检。

4 实验结果与分析

4.1 实验准备与评价指标

4.1.1 路侧激光雷达数据采集系统

本文使用大疆旗下的Livox Mid-40激光雷达,其最大探测距离可达260 m,有效视场角为38.4°,距离精度为2 cm。实验选择在Visual Studio 2019,i9-12900H CPU @ 2.50 GHz,16 GB内存的Windows11系统环境下进行。将Mid-40固定于城市交叉路口上空5 m处收集道路目标点云数据,同时安装摄像头获取同步视频用于实验结果分析。设备由智能机箱接入电源和网络,道路点云通过笔记本上的Livox Viewer软件实时显示并录制保存。路侧激光雷达数据信息采集系统如图7所示。实验采集了60 min共36000帧激光雷达点云数据,选择其中2000帧分为8个序列作为实验,数据包括机动车、非机动车、行人等不同目标类别。

图7 路侧激光雷达点云信息采集系统

4.1.2 实验场地

本文实验场地设在无锡市新吴区的某道路交叉路口处,该路口视野开阔,车流量和人流量较大。将设备安装于监控立杆上,调整角度使摄像头和激光雷达扫描区域为四向多车道,如图8所示。图8(a)为摄像头所拍的实时交通场景1快照,图8(b)为(a)对应的场景1激光雷达图;图8(c)为摄像头所拍的实时交通场景2快照,图8(d)为(c)对应的场景2激光雷达图。

图8 实验场地

4.1.3 评价指标

本文采用文献[15]中提出的多目标跟踪评价指标来量化跟踪的效果,主要包括多目标跟踪准确度(Multiple Object Tracking Accuracy,MOTA)、多目标跟踪精度(Multiple Object Tracking Precision,MOTP)、ID切换次数(ID Switches,IDS)、多数跟踪轨迹命中率(Mostly Trackedtrajectories,MT)、多数丢失轨迹丢失率(Mostly Lost Trajectories,ML)、轨迹打断次数(Fragmentations,FRAG)等。其中,MOTA反映误报、错报和轨迹切换的目标占跟踪真值中的比例;MOTP用于衡量目标位置上的精确度,主要体现检测器的性能;MT表示跟踪轨迹命中80 %以上的目标比例。根据各指标的含义和计算方式可以得出:MOTA、MOTP、MT的值越大表示跟踪效果越好,而IDS、ML、FRAG的值则应越小越好。

4.2 实验结果

AB3DMOT是三维多目标跟踪的基准算法,其中3D目标检测使用与本文算法相同的检测模型,目标跟踪则使用原有的三维卡尔曼滤波和匈牙利算法的直接组合进行目标的状态估计和数据关联。实验使用实测数据集中选择的2000帧点云对算法性能进行验证,同时与基准AB3DMOT算法进行比较,结果如表1所示。

表1 多目标跟踪结果

表1的结果表明,本文算法在大部分跟踪指标上均高于基准算法,其中跟踪准确度MOTA值与基准算法相比提高近20 %,命中率MT和丢失率ML以及跟踪打断次数FRAG指标都有明显提升,意味着本文算法能够长时间稳定的跟踪道路目标。在这样的结果下,仅在实时性上低于AB3DMOT基准算法,但也达到了11.12 f/s,满足实时性的需求。分析其中的原因,可以发现城市交叉路口的道路目标具有多种运动状态,使用卡尔曼滤波的基准算法无法解决此类非线性运动问题,同时数据集中包含了比较多非机动车小目标,相较于使用交并比作为关联度量,使用本文的自适应双门控关联算法能更好的关联道路小目标,避免出现检测框和预测框交集较少或无交集的问题。

图9展示了多目标检测与跟踪的可视化结果。图9(a)为第100帧、107帧和155帧的RGB图像,图9(b)为(a)对应的点云图。在图9(b)的第#100帧中选取斑马线后方的道路目标0、6、8、21、35作为观察对象,此时目标处于静止状态;在第107帧中目标21暂时丢失,其余目标仍保持跟踪编号不变;在第155帧中道路目标处于直行的交通状态,目标6、8、35一直存在且编号未发生变化,目标21在连续丢失4帧的情况下重新出现后仍被正确关联,仅电动车目标0在长时间检测不到的情况下跟踪编号发生了改变。根据这几帧数据的可视化结果,表明本文算法具有较好的关联能力和良好稳定的多目标检测与跟踪效果。

图9 多目标检测与跟踪可视化结果

4.3 消融实验

为了验证文中所提的自适应双门控算法和生存周期管理策略的有效性,在实测数据集上进行了消融实验。

比较单门控、双门控和自适应双门控算法的跟踪性能,实验结果如表2所示。结果表明,相对于单门控,双门控算法在MOTA指标上有1.65 %的提升,同时降低了身份互换的次数,在运行速度上达到最优。在双门控算法的基础上,自适应双门控算法在MOTA和MT上分别提升了1.44 %和1.69 %,仅在IDS和FPS上有所下降,表明其能够执行更加稳健的数据关联,同时运行速度仍优于单门控。

表2 不同关联匹配设置性能比较

为了方便比较有无、固定与自适应的生存周期管理策略的跟踪性能,设置最大生存周期Fmax值均为5,实验结果如表3所示。结果表明,固定生存周期管理策略相比于无设置,其MOTA、MT、ML指标均有明显提升,仅FRAG值比无设置时大。与固定设置相比,自适应设置在跟踪准确度MOTA性能上提升了1.56 %,同时跟踪打断次数FRAG值有所降低,验证了自适应生存周期管理策略能够改善多目标跟踪效果,减少目标丢失和漏检,保证跟踪过程中的稳定性。

表3 生存周期管理策略设计对比

5 结 论

本文提出了一种基于路侧激光雷达的多目标检测与跟踪算法。首先利用背景减除法去除大量背景点云,极大地提高了算法的运行速度;紧接着采取三维点云刚体变换融合5帧数据,提高了细小目标的点云密度并校正其运动畸变;然后利用基于哈希数据结构的曲率体素聚类算法高效、准确的分割点云;之后通过历史检测置信度,利用可变阈值的双门控设计和生存周期管理策略,自适应地调整数据关联的搜索范围和目标最大生存周期,提升了算法的速度和关联的准确性,减少了目标丢失和误检;最后利用IMM-UKF-JPDAF的组合贝叶斯滤波器算法,保证对城市交叉口复杂环境下的具有非线性随机运动模型的道路目标进行准确跟踪。实验结果表明,本文算法在真实道路交通场景中具有较高的跟踪准确度和良好的实时性。