开曲线主动轮廓演化路面激光线鲁棒识别方法

杜英魁, 刘 成, 田 丹,2, 韩晓微, 原忠虎

(1.沈阳大学 信息工程学院,辽宁 沈阳 110044; 2.中国科学院 沈阳自动化研究所,辽宁 沈阳 110016)

开曲线主动轮廓演化路面激光线鲁棒识别方法

杜英魁1, 刘 成1, 田 丹1,2, 韩晓微1, 原忠虎1

(1.沈阳大学 信息工程学院,辽宁 沈阳 110044; 2.中国科学院 沈阳自动化研究所,辽宁 沈阳 110016)

复杂动态路表和室外光照条件下,鲁棒精确地识别图像中的激光线是激光结构光在公路平整度测量应用中亟需解决的一个基础性关键问题。针对公路表面的强反光特性地标线和复杂光照的条件,文章提出了一种基于刚性项约束主动轮廓模型的复杂路面激光线鲁棒识别方法。采用三次样条曲线进行更为精细的激光结构光光条曲线初始拟合,以降低主动轮廓模型对于初始值的敏感性,并在能量泛函中加入了以曲线弧长二阶导数表示的刚性项,保证曲线光滑演化的同时能够有效抑制曲线拉伸。在有效性验证实验中,不改变算法参数的情况下,分别选取了包含车辆阴影、白色标志线以及平整度极差路面共3种主要扰动因素的路面实际图像,与已有算法进行对比测试,实验结果表明该文方法具有良好的识别精度和鲁棒性。

平整度;激光结构光;各向异性扩散;三次样条;主动轮廓模型

近年来,国内公路体系建设飞速发展,2015年公路网里程已达450×104km,与之相适应的公路检测和养护问题亦日益凸显,平整度测量是其核心任务之一[1-2]。我国仍普遍采用人工3米尺测量方式,效率极低,显然已不合时宜。目前国内外均以融合了激光位移传感器和加速度传感器的车载式系统为主流[3]。该方式属于稀疏点抽样测量,不仅价格昂贵且不能完整反映路面纵断面曲线形态。在工业测量领域已普遍应用的光切法,由于其高效和低廉的特性,开始进入公路平整度测量领域[3-5]。

国外在20世纪20年代,已开始研究路面平整度的测量问题,我国始于60年代,起步相对较晚。关于非光切法类的公路平整度测量研究成果和进展可参见文献[3-4],此处不再赘述。国外利用光切法原理,将激光结构光测量应用于公路平整度的研究工作始于1997年,Bursanescu等人运用BIRIS激光传感器研发了一套测量系统[6]。时至今日,国外已经形成了一系列成熟产品,主要包括美国Way link、英国TRRI、瑞典RST、丹麦DYNATEST等,但由于采用的均为专用器件,成本仍然很高[4-7]。国内关于光切法的路面平整度测量研究起步虽晚,但亦取得了重要的进展[4,8-10],其中,文献[4]研究了公路平整度激光视觉测量系统,提出了一种新型全局平面靶标和颠簸幅值修正的方法,达到了很高的精度。但由于光照、地标线、车辆阴影等室外路面条件的动态非结构化扰动特征,基于通用低成本视觉和激光光源器件的激光线鲁棒识别,仍是一个尚未很好解决的基础性问题。特别是由于地标线的强反光特性,其造成的扰动影响尤为突出。

本文提出了一种基于三次样条曲线和开曲线主动轮廓模型的路面激光线鲁棒识别方法,利用采集的多种类型白色标志线扰动路面实际图像,与最新发表的同类算法进行了算法鲁棒性实验对比。主要贡献包括:

(1) 有限尺度约束下的高斯二阶导数和边缘特征抑制联合滤波器,从复杂路面背景中快速准确地提取激光线的有效点集。

(2) 采用Snake模型进行曲线演化,考虑到其对于初始值的敏感性,运用三弯矩法构造三次样条函数,获得更为精确的激光线有效点集初始曲线拟合。

(3) 在Snake模型的能量泛函中,以曲线弧长的二阶导数表示刚性项,能够有效保证曲线的光滑演化和拉伸抑制。

1 激光线有效点集提取

1.1 细碎纹理的平滑处理

首先要解决的问题是滤除路面背景中的细碎纹理。针对常规中值和高斯滤波算法在图像平滑与细节模糊方面的矛盾性[11-13]，从保护激光线细节的角度出发,本文提出了一种梯度矢量驱动的各向异性扩散PM滤波算法,将扩散方向约束为垂直于图像梯度的矢量方向,从而有效保护边缘细节，如图1所示。基于此约束,提出的扩散方程如下:

(1)

其中,θ为图像梯度I垂直单位矢量与图像坐标系横轴的夹角。

图1 本文算法和中值滤波的图像平滑与细节保持对比

1.2 细碎纹理的平滑处理

相对于路面地标线等背景扰动,路面激光线具有线状目标的典型几何特征,这是两者之间最为显著和稳定的差异性特征[4-5,14-16]。此外,本文在研究中发现激光线在图像中的灰度值呈管状分布，且尺度空间的变化范围非常有限。基于这2点先验知识,本文认为经典多尺度高斯二阶导数增强算法[16]可用于本研究。

从实时性的角度考虑,本文对文献[16]的方法进行了有限自适应尺度范围约束的改进。在初始化时,根据不同高斯算子建立多尺度空间,将最大响应尺度空间邻域[-2σ,2σ]作为尺度范围,响应函数为:

(2)

激光线增强结果如图2所示,由图2可看出,尽管背景得到了有效抑制,但地标线的边缘影响仍未完全克服。故在增强算法中,加入了基于边缘特征响应的增强修正系数δ,其表达式为:

(3)

其中,c1和c2分别为固定矩形模板上下2个半区内的像素灰度均值。

图2 包含部分路标线边缘的激光线增强结果

由(3)式可知,当非边缘像素位于线状目标区域内时,c1≈c2,δ值较大,强化增强;反之,则抑制增强,如图3所示。采用文献[15]中的兴趣区域检测和经典积分图方法[17]加速。

图3 加入边缘特征响应修正的激光线增强结果

2 三次样条初始拟合

常见的曲线插值算法有线性插值[18-20]、三次多项式插值[19,21]、最近邻点插值[22]以及三次样条插值[23-25]。其中,线性插值对曲率不敏感,在曲率较大处会造成较大插值误差；三次多项式插值法执行速度较慢,实时性很差；最近邻点插值法仅依赖距离待测点最近的像素灰度值,会产生明显的锯齿和马赛克现象。本文采用三弯矩法来构造三次样条函数,使用导数连续和边界条件作为约束,对比实验结果如图4所示。

图4 不同插值条件下的拟合结果

不妨设三次样条插值函数为S(x),则其二阶导数可表示为:

(4)

其中,Mi为xi处弯矩；hi=xi+1-xi。

由二次积分和插值条件可得三次样条插值函数表达式为:

(5)

3 Snake模型演化精确拟合

主动轮廓模型是通过设定的演化规则,驱动曲线主动演化到特定的目标边缘。通常根据实际需求建立能量泛函模型,通过变分原理求取演化方程,利用偏微分方程数值求解方法进行轮廓演化的数值求解。二维轮廓通常称为曲线,主动轮廓曲线有显式[26]和隐式[27]2种表示方式。因为水平集方法对于曲线轮廓的闭合性先验要求,而本文需要精确识别的激光线是一条开曲线,所以采用显式参数化模型。

Snake模型[26]采用显式参数化曲线,根据曲线光滑特性和目标灰度特性建立能量泛函,最小化能量泛函的同时驱动曲线的运动,当能量泛函达到极小,曲线停止演化,从而将任意曲线的拟合问题转化为微分方程的求解问题。

不妨设期望获得的精确拟合激光线曲线为y=f(x),x∈[0,w]。其中,w为图像的宽度。根据激光线的线状目标几何特征,利用曲线曲率及其灰度管状分布特征,可建立能量泛函如下:

(6)

其中,u(x,f(x))为图像(x,f(x))处像素的灰度值；λ为校正系数。第1项为弹性项,抑制曲线的拉伸;第2项为刚性项,抑制曲线弯曲;第3项为外部能量项,驱动曲线演化直到目标边界。设φ(x)为能量最小解,令f(x)=φ(x)+εη(x),η(x)为任意函数。根据变分法求解,则有:

(7)

根据分部积分,可得欧拉方程如下:

(8)

设t为时间变量,最小能量函数为φ(t,x),则有:

(9)

初始条件为:φ(0,x)=φ(x),其中φ(x)为初始曲线。

不妨设h为空间步长,Δt为时间步长,离散化可得:

(9)式差分可得:

(10)

可得曲线演化方程如下:

(11)

4 实验结果

4.1 实验条件与数据

本文算法程序的运行环境为Matlab 2011a,算法的运行平台为台式计算机,系统为Windows7,CPU主频2.9 GHz,2 G内存。算法验证实验所采用的全部图像均为由企业提供的含车辆阴影、白色地标线和激光线实际路面图像。

在实验设计中,主要包含2个方面:① 路面较为平整且仅包含车辆阴影的图像,主要是针对一般路面条件和光照等扰动条件下的本文算法和文献[15]算法的激光线识别精度对比实验;② 路面平整度较差条件下,图像中的激光线会呈现局部曲率变化较为剧烈的自由曲线。其中,相对于光照和车辆阴影等其他扰动因素,由于白色地标线的强反光特性和几何结构特征的随机性,其对激光线识别的连续性和鲁棒性影响极大,特别是对于通用类激光器件和视觉器件构成的公路平整度检测系统而言,属于强不确定性扰动因素。

需要说明的是,文中所有实验结果均为2种方法在固定参数条件下获得的,即满足实验条件和数据输入的一致性。本文算法GUI程序界面如图5所示。

图5 激光线识别及平整度计算GUI界面

4.2 实验结果与分析

对比结果如图6所示,由图6可以看出在路面平整度较好的条件下,激光线曲率变化较小,2种方法的识别结果较为接近,均具有良好的鲁棒性。但从方框区域等局部区域的识别细节可以看出,本文算法结果更接近激光线中心线,识别精度更高。

图6 含车辆阴影平坦路面图像的对比实验结果

共选取了9组路面平整度差、存在大量地标线以及强、弱2种恶劣光照条件的极端路面情况实际图像,与文献[15]算法进行了精度和鲁棒性的对比实验，其结果如图7所示。

(a) 文献[15]算法结果 (b) 本文算法结果

图7中，左侧列为文献[15]算法结果，右侧列为本文算法结果。从图7的2列组图中所标注的矩形框对比区域内的激光光条中心线拟合结果可以看出,对于局部曲率变化较大的激光光条曲线,本文算法的精度和鲁棒性明显优于文献[15]算法。特别对于白色地标线区域的激光线识别精度上,本文算法能够精确地识别和拟合激光结构光的图像光条线中心线,而文献[15]算法则会出现由于拉伸抑制项单一作用导致的较大偏移。

5 结 论

低成本通用器件构成的自动测量系统是公路平整度测量技术的发展趋势。但是由于公路平整度状况以及光照、阴影和强反光特性地标线等不确定性因素的影响,激光线的鲁棒精确识别问题仍然具有挑战性。本文从背景抑制、激光线增强、有效点集提取和精确曲线拟合4个方面,在原有的工作基础上,开展了进一步的研究工作。利用一般性和极端苛刻情况下的路面实际图像,在固定算法参数的条件下,与相关的近期研究成果进行了对比实验。从实验结果来看,在激光线识别的鲁棒性和精度方面,均有较大的提高。但是,从实际应用的角度来看,尽管采用了积分图、尺度空间约束等诸多办法,以期尽可能地提升处理速度,但尚无法满足实时处理的要求,这也是本文下一步研究工作的重点,期望通过在算法硬件化以及算法简化方面的努力,获得更好的鲁棒性和在线处理的能力。

[1] 徐文斌.高速公路路面平整度检测控制技术[J].公路,2014(9):150-151.

[2] 朱万红.沥青路面平整度检测技术探析[J].城市道桥与防洪,2012(4):40-45.

[3] 杜豫川,刘成龙,吴荻非,等.基于车载多传感器的路面平整度检测方法[J].中国公路学报,2015,28(6):1-5.

[4] 马玉坤,王中亚,杨国威,等.基于线结构光传感器的公路平整度测量系统[J].传感技术学报,2013,26(11):1597-1603.

[5] KUMAR P,LEWIS P,MCELHINNEY C P,et al.An algorithm for automated estimation of road roughness from mobile laser scanning data[J].The Photogrammetric Record,2015,30(149):30-45.

[6] HASSAN R H,EVANS R.Road roughness characteristics in car and truck wheel tracks[J].International Journal of Pavement Engineering,2013,14(8):736-745.

[7] 张鹏.路面平整度检测技术与其发展现状[J].交通世界(工程技术),2015(14):140-141.

[8] YAN Suo,LI Dinggen,YU Zhaoliang.Analysis of laser triangulation displacement sensor and parameters optimization design[J].Electronic Measurement Technology,2012,35(10):21-24.

[9] LIU K,WANG Q Q,WANG Y,et al.Research on Image processing in laser triangulation system[J].Journal of Physics:Conference Series,2011,276(1):12-25.

[10] LI Xiaojie,ZHAO Kai,ZHENG Xingming.Development of surface roughness tester based on laser triangulation method[J].Transactions of the Chinese Society of Agricultural Engineering,2012,28(8):116-121.

[11] 贾迪,孟祥福,张一飞,等.梯度矢量扩散控制实现边缘保持的彩色图像去噪[J].中国图象图形学报,2014,19(4):493-501.

[12] TIAN Dan,XUE Dingyu,WANG Dianhui.A fractional-order adaptive regularization primal-dual algorithm for image denoising [J].Information Sciences,2015,296:147-159.

[13] ZHOU Changxiong,LIU Shufen,YAN Tingqin,et al.Noise removal using fourth order PDEs based on nonlocal derivative[M]//Intelligent Computing Theory.[S.l.]:Springer International Publishing,2014:675-683.

[14] YUAN Zhonghu,ZHANG Xuelian,LIU Sa,et al.Laser line recognition for autonomous road roughness measurement[C]//IEEE International Conference on Cyber Technology in Automation,Control,and Intelligent Systems (CYBER).[S.l.]:IEEE,2015:436-440.

[15] FAN Huijie,ZHAO Lipo,HE Siyuan,et al.A new open curve detection algorithm for extracting the laser lines on the road[J].Advanced Engineering Forum,2011,2/3:205-210.

[16] FRANGI A F,NIESSEN W J,VINCKEN K L,et al.Multiscale vessel enhancement filtering[C]//Medical Image Computing and Computer-Assisted Interventation-MICCAI’98.Berlin Heidelberg:Springer,1998:130-137.

[17] PAUL V,JONES M.Rapid object detection using a boosted cascade of simple features[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,2001:511-518.

[18] ZHAO YU,LIN Hongwei,BAO Hongjun.Local progressive interpolation for subdivision surface fitting[J].Journal of Computer Research and Development,2015,49(8):1699-1707.

[19] AKIMA H.A new method of interpolation and smooth curve fitting based on local procedures[J].Journal of the ACM (JACM),1970,17(4):589-602.

[20] ATHAWALE T,ENTEZARI A.Uncertainty quantification in linear interpolation for isosurface extraction[J].IEEE Transactions on Visualization and Computer Graphics,2013,19(12):2723-2732.

[21] CHKIFA A,COHEN A,SCHWAB C.High-dimensional adaptive sparse polynomial interpolation and applications to parametric PDEs[J].Foundations of Computational Mathematics,2014,14(4):601-633.

[22] HU Shunbo,SHAO Peng.Improved nearest neighbor interpolators based on confidence region in medical image registration[J].Biomedical Signal Processing and Control,2012,7(5):525-536.

[23] HONG S H,WANG L,TRUONG T K,et al.Novel approaches to the parametric cubic-spline interpolation [J].IEEE Transactions on Image Processing,2013,22(3):1233-1241.

[25] 孙秋成,周亚洲,宁闯,等.基于三次样条插值的亚像素边缘检测方法[J].控制工程,2014,21(2):290-293.

[26] KASS M,WITKIN A P,TERZOPOULOS D.Snakes:active contour models[J].International Journal of Computer Vision,1987,1(4):321-331.

[27] OSHER S,SETHIAN J A.Fronts propagating with curvature dependent speed:algorithms based on Hamilton-Jacobi formulations[J].Journal of Computational Physics,1988,79(1):12-49.

(责任编辑 闫杏丽)

Pavement laser line robust recognition via open active contour evolution

DU Yingkui1, LIU Cheng1, TIAN Dan1,2, HAN Xiaowei1, YUAN Zhonghu1

(1.School of Information Engineering, Shenyang University, Shenyang 110044, China; 2.Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China)

Under the unstructured outdoor lighting environment, robust recognition and accurate interpolation of structured laser light were still challenging in the application of road flatness measurement. For obtaining more robustness to the disturbance of shadow and landmarks, a laser line recognition method was proposed by utilizing rigid item constraint active contour model. To reduce the sensitivity of the initialization of the active contour model, the cubic spline algorithm was employed for more accurate curve interpolation. A rigid item constraint described by the second derivative of arc length was appended to the energy functional definition to ensure the smooth curve evolution and effectively restrain the curve stretch. With fixed parameters, the experimental results of real images that included the extreme disturbances of shadows, white indicator line and poor road flatness validated the efficiency and robustness of the proposed method.

flatness; structured laser light; anisotropic diffusion; cubic spline; active contour model

2016-08-09；

2016-12-16

国家自然科学基金面上资助项目(71672117)；辽宁省自然科学基金资助项目(2015020158；2015020037)；机器人学国家重点实验室开放基金资助项目(2015008)；辽宁省高等学校创新团队资助项目(LT2013024)；辽宁省博士启动基金资助项目(201601213)和沈阳市社会发展科技攻关资助项目(F16-155-9-00)

杜英魁(1980-),男,吉林临江人,博士,沈阳大学副教授,硕士生导师； 韩晓微(1969-),男,辽宁西丰人,博士,沈阳大学教授,硕士生导师； 原忠虎(1962-),男,辽宁庄河人,博士,沈阳大学教授,博士生导师.

10.3969/j.issn.1003-5060.2017.03.007

TP391.4

A

1003-5060(2017)03-0321-06