点线特征自适应融合室内SLAM算法

刘少哲,刘作军,胡超芳,陈海永

1(河北工业大学 人工智能与数据科学学院,天津 300130) 2(天津大学 电气自动化与信息工程学院,天津 300072)

1 引 言

近年来,无人机逐渐发展成为一种可以替代人类对复杂未知环境进行探索的新型特种机器人平台.人们希望无人机在室内未知环境下能够完全自主地进行探索或监控任务,但其始终存在着由于信号不佳而无法进行准确定位的问题.同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)是无人机平台自主导航的关键技术[1].过去20年来,它一直是计算机视觉和机器人学领域的研究热点.

随着计算机技术的飞速发展,视觉SLAM以其独特的优势成为了热门的研究领域.视觉传感器可以提供丰富的颜色和纹理等环境信息,来实现准确的位姿估计[2].对于单目相机,像素点的真实深度需要通过三角测量来求解,不仅增加了计算时间,还会面临尺度漂移问题.双目相机可以通过求解图像视差来获取三维信息,但在低纹理场景中效果不佳.与单目和双目相机相比,RGB-D相机可以通过物理方法直接获取像素点深度,节省了大量的计算资源.虽然感知距离有限且易受光照影响,但在室内环境中仍具有很大的优势.视觉里程计用于估计相邻帧的位姿变换,是视觉SLAM中关键部分.在直接法中,视觉里程计利用大量的像素点,通过最小化亮度误差来求解相机的运动变化.然而直接法依赖于灰度不变假设,在复杂光照环境下效果不佳且存在计算量大的问题,限制了其在实际环境中的广泛应用.

作为视觉里程计另一个重要分支,特征点法提取图像中的关键点,并计算关键点之间的匹配关系[3],具有运行稳定,对光照不敏感等优点.早期特征点法的一个经典代表是PTAM算法[4],它通过两个并行的线程来求解位姿估计并建图,是第一个实现实时鲁棒位姿估计的特征点法.ORB(Oriented FAST and Rotated BRIEF)特征[5]是最具代表性的实时图像特征之一,具有尺度和旋转不变性,它采用速度极快的二进制描述子BRIEF[6,7]来优化提取效率.ORB-SLAM2[8]是由Mur-Artal和Tardos提出的开源SLAM算法,该算法以其卓越的速度和精度成为比较SLAM算法时常用基准之一[9].在过去几年中,一些令人印象深刻的特征点法取得了出色的表现,但其实质性问题仍未解决.在低纹理和光线变化的室内环境中,这些方法面临着严峻挑战.

与点特征相比,线特征在以结构化为主室内场景中的数量十分丰富且有更好的鲁棒性.在视觉SLAM发展早期线特征就引起了学者们的关注,但提取效果不稳定限制了其在特征法中的应用[10].随着线段检测器(line segment detector,LSD)[11],Hough变换[12],EDLines[13]等线段检测方法和线带描述符(line band descriptor,LBD)[14]等线段描述方法的出现,基于线特征的SLAM算法应用更加广泛.然而,这些算法的实际表现并不理想.在特征提取和匹配时,存在端点位置不准确、几何约束不明确等问题.过多的误匹配反而给系统带来更多的累积误差.因此,仅用线特征求解的位姿估计不如点特征可靠[15].

为了获得鲁棒的SLAM性能,研究人员提出了一些基于点-线特征的SLAM算法.PL-SLAM是第一个使用点线特征的开源SLAM系统[16].该系统利用两个特征的组合约束能力,将特征组合扩展到BOW(Bag-of-Words)模型以增强闭环过程.文献[17]和文献[18]将双目相机和惯性测量单元(IMU)紧密结合,对误差函数进行优化,这些算法的精度均优于点特征法.针对相机转弯过快时鲁棒性差的问题,Wang[19]在特征提取和重投影之间增加了角度约束,设计了自适应加权模型来改善位姿优化结果,但并未扩展到BA(Bundle Adjustment)模型.Gomez-Ojeda[20]提出了一种新颖的基于点线组合的双目视觉里程计.它考虑了参数提取过程中的不确定性,使用点线特征对应协方差矩阵的逆对其进行加权,提高了位姿估计的精度.此外,研究者还提出了基于RGB-D相机的点线特征SLAM算法.在分析了深度信息的不确定性后,Yu和Song[21]应用RANSAC算法[22]滤除了错误的线特征,基于点线特征实现鲁棒的视觉里程计.Zhang[23]利用RGB-D相机获取深度信息,构建了包含2D和3D信息的点线几何约束误差函数,并将基于粒子群优化的位姿求解模型扩展到BA模块.为了提取更高质量的特征,Li[24]利用RGBD图像的深度信息,提出了一种SLD线段提取算法和一种线段匹配算法DBM来消除微小线段.同时将点线特征加入到闭环检测,有效地解决了优化中的不稳定问题.Zou[25]提出了一种室内点线特征的RGB-D SLAM算法.它使用Pluecker坐标表示空间线特征.通过分析点和线测量的不确定度,采用最大似然估计法计算相机运动.

总的来说,现有的SLAM算法将点线特征的提取和匹配完全分开,大大增加了系统的运行成本.而且在优化误差函数时,点线特征的权重往往是由经验设定的,没有实现真正意义上的“无缝融合”.针对上述问题,本文提出了一种基于无人机飞行特点的点线双模态特征自适应融合SLAM算法(APL-SLAM).该算法充分发挥了点特征和线特征的优点,提高了SLAM的精度和稳定性,并满足无人机飞行的实时性要求.具体开展的工作包括:1)设计一种基于特征丰富度的点线特征提取策略,提高了算法在低纹理和模糊场景下的鲁棒性;2)利用点线特征关联图显著提高了线特征匹配的精度,并有效地节省了系统进行线特征匹配的计算资源;3)根据线特征在位姿空间的约束强度,对点特征进行自适应加权,建立误差函数的自适应模型进一步提高了算法的精度.

论文的结构安排如下:第2部分介绍了APL-SLAM总体框架,描述了它的3个线程.第3部分提出了点线双模态特征自适应融合算法.接着,第4部分验证了本文的SLAM算法,并展示了实验结果.最后,第5部分对本文进行总结.

2 APL-SLAM算法的总体框架

本文提出的APL-SLAM算法融合了点线特征,使算法在低纹理环境下仍能够稳定运行.APL-SLAM算法分为3个主线程:跟踪、局部建图和闭环检测,其整体框架如图1所示.

图1 APL-SLAM系统的整体框架Fig.1 Overall framework of APL-SLAM

跟踪线程对每帧图像进行跟踪和计算,是SLAM系统的基本步骤.它的主要任务是在当前帧和局部地图之间寻找尽可能多的对应关系,以优化当前帧的位姿.初始化后,SLAM系统对相机新采集到的图像进行特征提取处理.在该阶段中,点特征使用ORB特征,而线特征则应用LSD算法和LBD描述符进行提取.针对低纹理和模糊区域,本文提出了一种基于区域特征丰富度的点线特征提取策略,充分利用环境中的结构信息,保证了跟踪稳定运行.将点线特征通过三角化映射到局部地图中,并对其进行匹配.本算法通过建立点线特征关联图来优化匹配结果.根据匹配关系,通过投影在参考帧中找到当前帧的匹配特征,优化各特征的投影误差即可得到位姿估计结果.本文建立了一个点线特征无缝融合模型,根据线特征在位姿空间各方向上的约束强度对点特征进行自适应加权.构造的目标函数使位姿估计模型能够适应相机的运动状态.最后,根据关键帧确定规则,将当前帧添加进关键帧集合中.

局部建图线程主要完成局部地图的构建.局部地图由关键帧和关键帧所对应的地图点线构成.在该线程中,将跟踪线程中的新关键帧插入局部地图,筛选并更新生成的地图点线.采用光束法平差进行局部位姿优化,光束法平差(Bundle Adjustment,BA)作为一个优化模型,其本质是为了最小化重投影误差.最后,对插入的关键帧进行筛选,剔除冗余关键帧.

随着相机的运动,即使采用局部或全局BA进行优化,计算得到的相机位姿和三角化得到的点云位置仍存在累计误差,寻找闭环并利用闭环对所有结果进行优化是消除误差的有效途径.闭环检测线程主要分为两个过程,即闭环检测和闭环校正.在闭环检测阶段,使用词袋模型检测并构建关键帧数据库,词袋模型(Bag-of-Words,BoW)的作用在于利用特征集合描述图像,进而通过比较描述的相似程度来检测闭环.接着,利用Sim3算法计算相似变换,进一步筛选相似关键帧.闭环校正阶段主要包括闭环融合和图优化.由于闭环检测线程对特征的密度、光照和尺度不变性有较高要求,因此本文在闭环检测线程中只使用点特征进行筛选,保证了算法的实时性.

3 点-线双模态特征的自适应融合

3.1 点线双模态特征的提取策略

在点特征提取算法中,考虑提取速度和稳定性等因素,本文选取具有旋转、尺度不变性的ORB算法进行点特征的提取和描述.对于线特征,采用可以在室内低纹理场景中稳定提取的LSD算法,基线描述符LBD用来描述所提取线段的特征信息,可以获取端点的三维坐标或2D坐标.

由于机载相机角度的限制,无人机在室内飞行过程中会摄入大量地面和白墙区域,给点特征的提取带来困难.此外,无人机还极易出现抖动或大角度转向,这也使点特征的表现不佳,进而对定位精度产生不利影响.相反,线特征受低纹理环境或模糊的影响较小,且在环境中数量足够丰富,有效准确的线特征匹配可以保证SLAM算法的稳定性.实验结果表明,当相机转动时,线特征起到重要作用[26].然而,线特征的实际匹配精度较差,误匹配的线特征反而给SLAM系统带来了更多的误差,在视觉纹理信息丰富的环境中表现得比点特征差.

基于以上分析,本小节使用特征丰富度表示单帧图像内特征数量的大小,设计了一种基于室内场景特征丰富度的点线双模态特征提取策略.针对不同区域采取对应策略的过程如图2所示.

图2 特征提取策略Fig.2 Feature extraction strategy

为了节省计算资源,保证系统的实时性,在点特征丰富度较高的区域只需要提取点特征.但当区域内点特征的丰富度较低时,点特征提取的数量不能满足位姿优化的最低要求.此时,添加线特征可以帮助系统有效克服算法崩溃的问题,如图3所示.此外,当机载相机处于不稳定运动状态时,即相机捕获到大量的模糊和旋转图像序列,线特征可以提供有关环境的重要结构信息,以弥补区域特征丰富度的不足.点线双模态特征提取策略充分利用点线特征各自优势,在保证运算速度的前提下,提高了系统的鲁棒性.

图3 低纹理场景下点线特征提取效果Fig.3 Point-line feature strategy extraction in low texture scene

3.2 点线双模态特征的关联匹配算法

文献[27]中提出了一种针对平面特征匹配的关联图结构,其结点表示平面特征,连接结点的边代表特征之间的几何关系.本小节对其进行扩展和改进,针对线特征匹配效果不佳的问题,提出了点线特征关联图(Point-Line Features Association Graph,PLFAG),同时参考了线特征之间的相似关系和点特征与线特征之间的几何关系,并建立线特征与线特征、线特征与点特征之间的关联关系,从而优化线特征匹配结果.

通过特征提取算法得到的线特征集合{Lj}j=1,…,NL与点特征集合{Pi}i=1,…,NP,建立的PLFAG可表示为G=(H,E).其中H表示特征结点集合,包括两种类型:线段特征结点HL,j=Lj和点特征结点HP,i=Pi.E表示连接边集合,也包括两种类型:线特征结点之间的边(LLE)ELL,jl、线特征结点和点特征结点之间的边(PLE)EPL,ij.由于点特征的匹配算法已经相对完善且准确率较高,处理过程可参考文献[3],故本文不再计算两个点特征结点之间的匹配关系,因而在PLFAG中点特征结点之间不进行连接.

那么,ELL,jl可定义为:

ELL,jl=(θLL,jl,dLL,jl),j,l∈1,…,NL,j≠l

(1)

其中θLL,jl为线特征方向向量vj和vl之间的夹角,如式(2)所示:

(2)

dLL,jl定义为线特征Lj和Ll的中点Mj和Ml的距离,如式(3)所示:

dLL,jl=|MjMl|

(3)

同样地,PLE的EPL,ij定义为:

EPL,ij=(θPL,ij,dPL,ij),i∈1,…,NP,j∈1,…,NL

(4)

其中θPL,ij为线特征Lj的方向向量vj和点特征Pi与坐标原点连线的方向向量ni之间的夹角,如式(5)所示:

(5)

dPL,ij定义为:

(6)

其中P0为线段Lj上一点.至此,该图像帧的PLFAG建立完成.

假设从相邻两帧图像中提取到的两种特征集合表示为{Pci,Lcj}i=1,…,NPc,j=1,…,NLc和{Prm,Lrn}m=1,…,NPr,n=1,…,NLr.对该相邻帧分别建立点线特征关联图Gc=(Hc,Ec)和Gr=(Hr,Er),并通过计算Gc和Gr中线特征结点之间的相似程度,构建两帧线特征之间的匹配关系.

首先,定义线特征结点之间的相似程度.相邻两帧的线特征结点HLc,j∈Hc和HLr,n,Hr之间的结点相似程度SL(HLc,j,HLr,n)由两部分组成,即两个线特征的LBD描述符相似程度和几何相似程度.

(7)

其中LBD描述符相似程度由该对线特征描述符的汉明距离

(8)

式中η接近1,κ充分小.δh为1.

接着,为了计算线特征结点的几何相似程度,需要先定义相邻两帧LLE和PLE之间的关系,如下式所示:

(9)

满足上式关系的LLE或PLE被称为一对相似边,其中阈值δd取0.1m.该对相似边表示其所连接的两个特征结点之间具有相似的几何关系.考虑到具有匹配关系的线特征与其所在帧中其它关联特征之间应具有相同的几何关系,基于此,通过以相似边连接的点特征结点或线段特征结点去计算该对线特征结点的几何相似程度SGEO(HLc,j,HLr,n).由于点特征的ORB信息具有较高的准确性,因此,通过与点特征结点的连接关系计算得到的线结点相似程度也具有较高的准确性.

SGEO(HLc,j,HLr,n)=

(10)

(11)

其中SORB(HPc,i,HPr,m)表示两个点特征结点之间ORB描述符相似程度,由点特征描述符的汉明距离求得,如式(11)所示.IPL,jn表示索引对的集合,索引到Hc和Hr中分别与结点HLc,j和HLr,n以相似边连接的点特征结点.|IPL,jn|则表示IPL,jn集合中元素的个数.SLBD(HLc,l,HLr,k)表示两个线特征结点之间LBD描述符相似程度.ILL,jn表示索引对的集合,索引到Hc和Hr中分别与结点HLc,j和HLr,n以相似边连接的线特征结点.|ILL,jn|则表示ILL,jn集合中元素的个数.

通过PLFAG进行线特征匹配时,根据式(7)对来自当前帧和参考帧的每一对线段特征结点之间的相似程度进行计算,通过比较结点相似程度的大小来寻找最佳匹配关系.本文以室内场景内某特征分布情况为例,绘制了PLFAG结构的示意图,如图4所示.其中虚线和实现分别表示线特征结点和点特征结点.对于图4中点线特征,假设有如下关系:

SORB(HPc,1,HPr,1)=SORB(HPc,3,HPr,3)=SORB(HPc,3,HPr,3)=η

SORB(HPc,1,HPr,2)=SORB(HPc,1,HPr,3)=κ

SLBD(HLc,1,HLr,1)=SLBD(HLc,2,HLr,2)=η

SLBD(HLc,1,HLr,2)=κ

(12)

以节点HLc,1和HLr,1为例,假设图4中特征之间的集合位置关系满足下式:

(13)

则HLc,1和HLr,1所对应的索引集合为:

(14)

根据式(7)可知:

(15)

图4 PLFAG结构示意图Fig.4 PLFAG structure schematic diagram

本文设置了阈值δs对误匹配进行剔除.由于匹配线特征与误匹配线特征所对应结点相似程度数值相差较大,因此阈值δs的取值对算法结果的影响非常小.本文实验中δs取为0.99.则根据式(15)结果可知{Lc1,Lr1}为一对匹配的线特征,{Lc1,Lr2}则为误匹配特征.基于PLFAG的特征匹配算法充分利用特征之间的几何关系,与PAG相比,PLFAG扩展了特征结点的类型,在图结构中加入了点线特征,并考虑了点线特征之间的约束关系,提升了算法的鲁棒性和适用性.

3.3 点线双模态特征对位姿求解的约束分析及自适应融合算法

由于点线两种特征的误差向量定义在不同空间,应该在总误差函数中区别对待.因此,本节提出了一种基于运动求解约束分析的点线特征自适应融合算法,首先分析线特征在位姿空间中各方向上的约束情况,并对线特征所提供的约束强度进行定量描述.接着,根据线特征的约束分析结果,定义并计算点特征的自适应权值和成本函数,完成点线特征的无缝融合.最后根据权值对点特征进行筛选,进一步提高算法的准确性和有效性.

相机运动求解的目标函数定义为:

(16)

其中,eLj和ePi表示线特征和点特征的误差向量,wPi为点特征的自适应权值.

3.3.1 线特征对位姿求解的约束分析

假设相邻两帧之间相机运动表示为ξ=[tT,ωT]T∈6,对应的旋转矩阵R∈SO(3)是反对称矩阵[ω]x∈SD(3)的指数映射,向量t∈3表示平移运动.

假设多对线特征{Lcj,Lrj}j=1,…,NL的参数为L=[uT,vT]T,其中向量u∈3的方向为该线段和坐标系原点构成平面的法向量方向,其大小为坐标系原点到该线段的垂直距离,v∈S2是线段的单位方向向量.误差向量定义为:

eLj=Lcj-T(Lrj,ξ)

(17)

其中,

(18)

接着,计算eLj对ξ的雅可比矩阵为:

(19)

相机运动的微分量dξ引起的误差向量eLj变化可以表示为:

deLj=JLjdξ

(20)

对于具有匹配关系的线特征集合{Lcj,Lrj}j=1,…,NL,有:

(21)

令:

(22)

矩阵ψL包含关于所有线特征所对应的雅可比矩阵分布情况的信息,对其进行特征值分解得到:

(23)

其中λLz(z=1,…,6)表示矩阵ψL的特征值,qLz(z=1,…,6)表示对应的特征向量.向量qLz构成了六维空间的一组正交基底,而λLz可以表示其对应qLz方向上的约束强度.那么,定义线特征约束向量λL为:

λL=[λL1,λL2,λL3,λL4,λL5,λL6]T

(24)

线特征约束向量λL是以qLz(z=1,…,6)为基底的六维位姿空间中的一个向量,λL在每个基底方向上的分量,即为线特征在该方向上所能提供的约束强度.具体来说,如果在qL1方向,即最大特征值λL1所对应的特征向量方向上施加一个运动的微分量,则会在误差向量上引起最大的变化量,而在最小特征值λL6对应方向qL6上的运动则会引起最小的变化量.

3.3.2 点-线双模态特征的自适应融合

由上节可知,通过计算矩阵ψL的特征值分解,可以得到线特征对相机运动估计的约束分析结果.对于点特征,定义优化式(16)中目标函数的误差向量ePi定义为:

ePi=pci-T(pri,ξ)

(25)

其中,

T(pi,ξ)=Rpi+t

(26)

计算ePi对ξ的雅可比矩阵为:

(27)

定义矩阵ψPi为:

(28)

计算{pci,pri}在qLz方向上所能提供的约束强度为:

(29)

定义点特征约束向量λPi为:

λPi=[λPi1,λPi2,λPi3,λPi4,λPi5,λPi6]T

(30)

λPi在每个基底方向上的分量,代表该对点特征{pci,pri}在该方向上所能提供的约束强度.那么,式(16)中点特征的自适应权值wPi定义为:

(31)

如式(31)所示,点特征在目标函数中的权值wPi并非人为设定,而是基于线特征在六维位姿空间各个维度上所提供的约束进行自适应计算得到的.对于任意z∈{1,…,6},点特征{pci,pri}在qLz方向上所能提供的约束强度与线特征在该方向所提供的约束强度相似,换言之,对于线特征无法提供约束的方向,点特征{pci,pri}也不能提供约束信息.此时,wPi的值会比较小,这表明点特征{pci,pri}在目标函数中的贡献也将比较小.而如果存在z∈{1,…,6},使得λLz较小的同时λPiz较大,即点线特征在对位姿求解的约束能力上存在互补性.此时,wPi会比较大,那么点特征{pci,pri}在目标函数中的贡献也会比较大,补充了线特征无法约束的位姿自由度,从而实现了点线特征的“无缝融合”,增强了位姿求解问题的适应性,进一步提高整体算法的精度和鲁棒性.

此外,wPi还用于对点特征进行筛选.既可以有效地减少特征的数量,又保留了对优化求解贡献较大的特征.进一步提升了算法的实时性.

4 实验与分析

本节使用TUM[28]以及ICL-NUIM[29]公开数据集对本文提出的点线双模态自适应融合SLAM算法进行实验验证.实验所用处理器为Intel Core i5(1.8GHz),运行内存为12G.使用的软件包括Ubuntu 20.04、OpenCV 3.2.0、Eigen 3.0等.

使用绝对轨迹误差(absolute trajectory error,ATE)的均方根误差(Root Mean Square Errors,RMSE)对APL-SLAM的性能进行测评,然后将其与6种先进SLAM算法进行对比分析.RMSE值由式(32)求得:

(32)

其中Xi为绝对轨迹误差向量,n为帧数.本节还在室内环境下对APL-SLAM进行了真实评测,进一步验证算法的性能.

4.1 TUM和ICL-NUIM数据集SLAM结果与分析

实验选择的10组TUM数据集全部来自真实室内环境,包括低纹理、运动模糊、旋转等典型状况,图像采集频率为30Hz,可以满足不同的测试要求.该数据集还包括由运动捕捉系统获取的相机位姿基准值,用于对SLAM算法得到的相机位姿的准确性进行评测.本节将APL-SLAM算法与6种先进的SLAM系统进行性能对比:ORB-SLAM2、RGBD-SLAM[30]、ORB-SLAM3[31]、PL-SLAM、edge-SLAM[32]以及PL-SVO[33].其中,ORB-SLAM2、RGBD-SLAM和ORB-SLAM3算法为影响广泛的基于点特征的SLAM系统,PL-SLAM、Edge-SLAM和PL-SVO则是基于点线特征的SLAM算法.表1列出了10组TUM数据集下各个SLAM算法ATE的均方根误差结果.

实验中提取的点线特征数量分别设置为1000和300.通过ATE来评价各算法的运行效果,实验结果如表1所示.“failed”表示算法崩溃.从表1可以看出,在10个图像序列中的6个,APL-SLAM的精度要高于另外6种SLAM算法.虽然APL-SLAM在另外4个图像序列上的精度略低于其他算法,但差距不大.

表1 TUM数据集下各SLAM算法的ATE均方根误差结果对比Table 1 Comparison of ATE RMSE[m]results of SLAM algorithms on TUM datasets

图5给出了APL-SLAM和ORB-SLAM2算法在部分图像序列上的ATE误差结果对比.从图中可以更直观地看出APL-SLAM算法精度取得了显著的提高.本文方法的ATE比ORB-SLAM2平均降低了27%.在低纹理和模糊场景(fr1/floor、fr3/str_ntex_near)中,本文方法性能提升平均为49%.

图5 TUM数据集上APL-SLAM(左)与ORB-SLAM2(右)的ATE结果对比Fig.5 Comparison of ATE results on APL-SLAM(left) and ORB-SLAM2(right) on TUM datasets

此外,实时性也是SLAM算法的重要评价指标.表2为APL-SLAM算法与ORB-SLAM2和PL-SLAM在TUM数据集上平均运行时间对比结果,包括了跟踪线程中的特征提取匹配部分、姿态估计部分、跟踪局部地图部分和局部建图线程的平均运行时间.从表中可以看到,在本文的运行平台上APL-SLAM算法每帧处理特征所需的运行时间为29.85ms,占跟踪线程的46%.由于APL-SLAM算法增加了线特征,特征处理时间超过了ORB-SLAM2的2倍,但其优化了点线双模态特征的匹配和融合,因此比同为基于点线特征的PL-SLAM算法所需时间短.由表5可知,3种算法在位姿估计部分上差别不大,但在跟踪局部地图部分和局部建图线程中,由于地图线特征的加入,APL-SLAM和PL-SLAM运行时间明显增加.

表2 TUM数据集下SLAM算法的运行时间对比Table 2 Comparison of running time[ms]results of SLAM algorithms on TUM datasets

图6给出了APL-SLAM算法每帧平均运行时间的箱线图.从图中可以看出,运行时间与环境结构密切相关.APL-SLAM算法的平均跟踪运行时间约为64.23ms,虽然高于ORB-SLAM2算法,但仍然满足实时性要求.

图6 APL-SLAM算法每帧平均运行时间的统计箱线图Fig.6 Statistical boxplot of average running time per frame of APL-SLAM algorithm

本文还使用ICL-NUIM数据集对APL-SLAM进行评估.ICL-NUIM数据集包括了起居室场景和办公室场景,可用于评测算法的精度.使用ATE的均方根误差来比较APL-SLAM和ORB-SLAM2的性能,结果如表3所示.本文算法的ATE比ORB-SLAM2算法平均降低了54%,在其中的5组数据中结果优于ORB-SLAM2算法.

表3 ICL-NUIM数据集下SLAM算法的ATE RMSE结果对比Table 3 Comparison of ATE RMSE[m]results of SLAM algorithms on ICL-NUIM datasets

4.2 真实室内环境数据集SLAM结果与分析

与视觉点特征相比,线特征对低纹理环境和光照变化场景具有更强的鲁棒性.在APL-SLAM中,由于加入了线特征,系统对各类场景都具有更好的适应性.本小节通过在真实室内环境下的SLAM实验验证了本文算法的性能.

选用Intel RealSense D435i作为实验相机,实验数据集是一个包含了运动模糊、旋转和低纹理等室内场景的照片序列.该数据集模拟了无人机室内飞行的各种典型情况,如机载相机拍摄的大量低纹理场景以及无人机不规则抖动或大角度转向导致的模糊图像.图7展示了数据集序列的部分示例,它是一个具有挑战性的图像序列,会极大地影响SLAM算法的精度.

在本实验平台上ORB-SLAM2算法在该数据集上的表现并不理想,系统崩溃时有发生.而APL-SLAM算法能够克服低纹理场景带来的不利影响,有效延长系统跟踪时间.跟踪效果也优于ORB-SLAM2,其建立的室内稠密点云地图如图8所示.该稠密点云图较完整地重建了室内环境,特别在地板、白墙和窗户等低纹理场景上有明显改善.然而,环境中强光照带来的不良影响仍无法消除,部分区域的APL-SLAM建图精

图7 D435i相机在室内房间拍摄的图像实例Fig.7 Example of images captured by D435i in an indoor room

度仍不理想,其原因在于,APL-SLAM算法虽然使用了点线特征,但在强曝光的图像帧中,提取有效特征十分困难,导致里程计无法实时跟踪,进而影响了定位和建图效果.但是,上述不足对整体地图重建效果的影响有限,APL-SLAM算法仍可以达到室内困难环境下运行的基本要求.

图8 APL-SLAM算法的整体实验结果Fig.8 Overall experimental result of APL-SLAM algorithm

表4总结了各SLAM算法在不同环境下整体表现,可以看到,本文算法可以在室内环境、机身抖动和昏暗环境等条件下稳定运行,解决了当前方法在困难环境下性能不佳的问题,而且运行速度得到提高.但在遇到强烈光照时,这4种基于特征的SLAM算法均表现不佳,原因在于强光照导致特征无法提取,直接影响SLAM的运行,因此SLAM算法未来仍有提高的空间.

表4 各SLAM算法在不同环境下的表现Table 4 Performance of SLAM algorithms in different environments

5 结 论

本文提出了一种室内点线特征自适应融合SLAM算法.本文算法主要有如下创新点:1)提出了一种基于特征丰富度的特征提取策略.针对低纹理、模糊和旋转区域采用点线特征提取策略,不仅显著降低了系统运行时间,而且充分保证了各特征的鲁棒性;2)采用PLFAG解决线特征误匹配问题.PLFAG不仅考虑了线特征之间的匹配关系,而且利用点与线特征之间的几何关系消除了误匹配.虽然增加了匹配计算,但位姿估计精度明显提高;3)根据线特征约束分析结果,建立了成本函数点线自适应加权模型.根据线特征的约束强度计算点特征的自适应权重,完成点与线特征的无缝融合.实验部分中,在TUM和ICL-NUIM公共数据集上对APL-SLAM算法进行评估,并与其他先进算法进行比较.实验结果表明,APL-SLAM算法平均精度提高了27%,在低纹理和模糊数据集中平均提升49%.此外,本文还在真实的室内场景中进行了实验.APL-SLAM在运动模糊和低纹理区域取得了更好的鲁棒性和准确性.在未来的研究中,将APL-SLAM应用于真实无人机平台,验证算法的可行性.