基于特征融合的视觉导航智能车辆的车道识别*

李 进，陈杰平，易克传，徐朝胜

(安徽科技学院机械工程学院，滁州 233100)



2015105

基于特征融合的视觉导航智能车辆的车道识别*

李 进，陈杰平，易克传，徐朝胜

(安徽科技学院机械工程学院，滁州 233100)

为兼顾车道识别的实时性和鲁棒性，有序融合了图像中车道线边缘、边缘方向、车道宽度和边缘灰度等特征信息。同时，在识别第1帧车道图像时对整帧图像进行处理；在识别后续各帧车道图像时，根据上一帧图像的识别结果确定动态约束区，并在约束区域内完成识别。实车道路试验结果表明，通过有序融合各种特征信息和合理设置动态约束区能有效识别路面车道线，且车道跟踪具有较好的精确性和可靠性。

智能车辆；车道识别；特征融合；动态约束

前言

基于视觉导航的智能车辆车道保持系统包括车道路径的识别和跟踪控制两个关键技术[1]。在路径识别方面，国内外相关研究者已做了大量的研究工作[2-7]。这方面研究目前面临的主要问题是机器视觉对各种路面环境的快速识别和理解能力较差，尤其是复杂情况下识别难度较大。如文献[8]中提出了连通区域搜索和道路边界霍夫检测相结合的方法；文献[9]中先用模板匹配获取候选车道线，再采用随机样本一致算法和卡尔曼滤波计算车道线方程；文献[10]中提出一种基于动态阈值的车道路径识别方法，能够动态调整二值化阈值以适应外界光照的变化；文献[11]中提出了一种鲁棒的非平坦路面车道线检测算法，在弯道和非平坦路面上具有较强的鲁棒性；文献[12]中在机器视觉基础上根据识别出的锥形标间的拓扑关系构建虚拟车道线的方法。

智能车辆车道识别的关键在于要同时保证识别的可靠性和实时性。要做到这一点，除认识到可靠性和实时性相对立的一面外，更重要的是认识到它们相辅相成的一面，即局部范围内的高可靠性能够有效排除干扰因素，从而减小后续数据处理量，利于整体实时性的提高；整体意义上的高实时性能够在总体上减少数据处理量，从而为保证局部的可靠性赢得宝贵时间。

为此，提出一种基于路面特征融合的车道识别方法。其思路是：(1)对车道图像进行纵向分区和分段识别；(2)在识别第1帧图像时对整个图像区域进行处理，而在识别后续各帧图像时则根据上一帧图像识别结果确定一个动态约束区域，并仅在该区域内完成车道识别以降低数据计算量；(3)在识别车道时有序地融合各种路面特征以有效排除非车道线，得到兼顾实时性和可靠性的识别结果。

1 第1帧图像识别

对整幅图像进行纵向分区，先通过融合各种路面特征完成第1分区识别，再依次对临近待识别分区的车道位置进行跟踪识别，并完成各分区识别以得到该帧图像的完整车道线。

1.1 第1分区识别

确定距离智能车辆最近的一个分区为第1分区，首先对该区域进行识别。

1.1.1 特征信息选取

在识别时，特征信息的选取需要考虑以下3个方面。

(1) 特征功效 即选取的特征应能够在某些方面有效地区分车道线和非车道线。

(2) 特征数量 即选取的特征数量应适当。数量过多导致数据计算量过大，数量过少在复杂环境下难以有效识别出目标车道。

(3) 使用次序 特征的使用应按照一定的顺序。一般来说，过滤非车道线能力较强的特征其实现算法也较为复杂；反之，亦然。而实际道路环境中非车道线的干扰时大时小，故在使用各种特征时采取先使用算法较为简单的特征(过滤非车道线能力较弱)，再使用算法较为复杂的特征(过滤非车道线能力较强)。其原因是：在外界干扰小时，仅采用较简单的算法、较少的特征即可完成车道的有效识别，从而提高实时性；而在外界干扰较强、已使用的特征无法有效识别时才使用更为复杂的算法和更多的特征，从而在整体上兼顾实时性和可靠性。

这里选取的特征依次为：边缘特征、边缘方向特征、车道宽度特征和边缘灰度特征，如图1所示。

1.1.2 识别步骤

(1) 边缘特征检测 采用Sobel算子初步得到包括车道线边缘和非车道线边缘的边缘信息。

(2) 边缘方向特征检测 对于车道线上的各边缘点，其3×3邻域的0°和±45°方向上一般至少存在2个车道线边缘点，故根据这一边缘方向特征可以过滤掉部分非车道线边缘点。

(3) 车道宽度特征检测 检验任意两个相邻边缘点之间的距离是否满足定宽条件，即路面车道线在获取图像中的横向宽度应该在一个限定的合理区间内。因此，对边缘图像按行进行扫描，当检测到一个边缘点时，继续扫描直至检测到下一个边缘点；判断这两个边缘点之间的距离是否在车道宽度合理区间内，如果是，则保留，反之则将前面检测到的边缘点视为非车道边缘点，将其排除。

(4) 边缘灰度特征检测 计算剩余边缘点左右一定宽度(即车道宽度合理区间)内的原始图像灰度均值，如果左右两边均值的差值大于一定阈值，则该边缘点为车道边缘点，反之不是。阈值选取方法参见文献[13]。

1.1.3 车道宽度合理区间的确定

上述识别方法的步骤(3)和步骤(4)需要用到车道宽度合理区间[dmin,dmax]。dmin和dmax取值与前述初始条件有关。在识别第1帧车道图像时，其取值以离线标定方式确定。之后根据上一帧图像识别结果在线调整，具体见文献[10]。

1.2 后续分区跟踪识别

根据车道线的纵向连续性特征，利用已识别分区车道跟踪相邻待识别分区内车道线的候选位置。

1.2.1 连续车道线跟踪

如图2所示，以车道图像中的已识别i分区和相邻的待识别i+1分区为例。i分区已识别车道线为图中阴影区域。在识别i+1分区时，先确定i+1分区的车道候选位置为图中i+1分区内封闭的矩形区域。其纵向宽度为i+1分区的纵向宽度，其横向宽度Li+1为

Li+1=ERi-ELi+DLi+DRi

(1)

式中：ELi、ERi分别为i分区与i+1分区相邻处i分区的车道线左右边缘点；DLi、DRi分别为i+1分区车道线向左和向右的最大预计变动量，它们确定了i+1分区车道线的候选区域，这里均取ERi-ELi。

1.2.2 间断车道线跟踪

2 后续各帧图像识别

因两帧图像之间车道位置变化不大，故根据前一帧图像中已识别车道位置可以对当前帧图像中的车道位置进行约束，并在约束区域内完成识别。

2.1约束区的确定

2.1.1 确定纵向约束区

如图4所示，其中各纵向虚线段为上一帧图像的已识别车道线。纵向约束区为包含该虚线车道线及其左右各Sn宽度的图像区域(n为图像像素行数)。Sn应大于相邻两帧图像中第n像素行车道线横向位置变化量的最大值。其取值由车道线横向宽度、摄像机安装方位和最高车速等决定。实车试验时，车道线横向宽度约为4.8cm，摄像机安装高度为1.08m，摄像机轴线与水平面呈18°，最高车速为10m/s。经试验测试，Sn取值为上一帧图像中第n行已识别车道宽度的0.7倍较为合适。

2.1.2 确定横向约束区

车道识别的目的在于为车道跟踪控制提供控制参数，通过合理识别图像中的部分车道线就能够提取到满足控制要求的车道线，即没有必要对摄像机获取的整个图像范围内的车道线都进行识别。故在路面图像中确定远近两个横向矩形区域(远检测区和近检测区)，形成横向约束区。

对于每条待识别车道，在纵向约束和横向约束共同限定下的两个区域为下一帧图像的动态约束区域，见图4中各阴影区域。

2.2 约束区内车道识别

在约束区内按照上述识别方法完成该分区车道的识别。需要指出的是，因为仅在候选区域内进行车道识别，实际检测区域已经很小，故上述4个步骤的识别方法(4个特征信息)未必都须进行即可完成该分区的识别任务。

3 导航参数动态提取

车载摄像机采集的路面车道图像如图5所示。远检测区和近检测区的已识别车道近似为直线l1和l2。文献[14]中给出了采用固定导航参数法提取角度偏差α和位置偏差d的方法。

为使α和d能够适应实际行驶路况的变化，让图5中y1轴位置可沿纵向移动，其实际位置由l1与l2之间的方位偏差量E决定。E由车道l1和车道l2计算，其值为

E=q|α1-α2|+|d1-d2|

(2)

式中：α1、α2分别为l1、l2的角度偏差，(°)；d1、d2分别为l1、l2的位置偏差，cm；q为角度偏差与位置偏差的换算系数。

当E较小时，可以理解为此时图像窗口内的车道路径整体上较为平直，可以更多地关注远处路况以增大视野，故此时沿纵向适度上移y1轴位置，提取的车道l更趋向于远处路面车道位置；反之，当E较大时，说明此时车道路径变化较为剧烈，应更多地关注近处路况以保证车辆可靠地沿车道行驶而不偏离，故沿纵向适度下移y1轴位置，则提取的车道l更趋向于近处路面车道位置。可见，以l1与l2的方位偏差量为依据实时调整y1轴纵向位置，能够使提取的车道l及其导航参数随实际道路动态变化。

在确定导航参数后，智能车辆的速度v也根据E值实时计算。车道跟踪控制器则根据实时导航参数和车速进行跟踪控制[5]，如图6所示。

4 道路试验

智能车辆车道保持系统主要由智能车辆、车道图像识别系统和车道跟踪系统组成，具体见文献[15]。

4.1 车道识别

图7为采用上述车道识别方法识别第1帧车道图像的结果。图7(a)为原始图像，经Sobel算子处理后得到许多非车道线边缘点；经过边缘方向特征处理后消除了部分非车道线边缘，但仍有不少干扰点存在；经过车道宽度特征处理后，仅存在很少干扰点；最后经边缘灰度特征处理后得到有效识别结果。由图7可知，按照上述4种特征进行有序处理后，非车道边缘点逐步被剔除；且各种特征对非车道边缘点的过滤效果逐渐加强，并最终得到理想的识别结果。

4.2 动态约束下识别结果

识别后续各帧图像时，在横向约束区和纵向约束区共同限定的实际检测区内进行。识别结果见图8。在各检测区内同样进行纵向分区，在各分区内采用上述识别方法完成各自车道识别。远检测区大小为上帧图像中整个车道线纵向宽度的20%，近检测区大小为40%。

4.3 特征信息使用情况统计

为分析实际道路环境中车道识别时各种特征信息的使用情况，分别对连续采集的500帧车道图像进行整帧图像识别和约束区域内图像识别，并统计各帧图像中实际使用的特征数量，结果见表1。

由表1可知：在对整帧图像进行识别时，大多数情况下使用3种特征信息可以完成车道的有效识别，在路面干扰较小的情况使用2种特征即可，还有13.8%的情况下干扰较大，需要使用4种特征信息；在对约束区域内进行车道识别时，大多数情况下使用2种特征信息即可完成识别。可见通过合理设置约束区，在识别效果良好的同时，特征信息的使用数量大大降低，兼顾了识别的可靠性和实时性。

4.4 车道跟踪结果

采用上述导航参数提取和车道跟踪控制方法，对直线和弯曲车道进行车道保持试验。车速在6m/s时，其跟踪直线车道的平均误差为0.04m，跟踪弯曲车道线的平均误差为0.07m，能够满足实际要求。

表1 特征信息使用情况统计

5 结论

为保证智能车辆车道识别的实时性和鲁棒性，在识别第1帧车道图像时，首先有序融合多种图像特征以识别第1分区；再根据车道连续性特征跟踪识别后续各分区。在识别后续各帧车道图像时，实时计算动态约束区，并在约束区内完成识别。道路试验结果表明，通过有序融合各种特征信息和合理设置动态约束区，能够得到具有较好鲁棒性和实时性的车道识别及跟踪控制结果。同时，为实现车道线模糊不清、前方车辆干扰等复杂情况下的车道有效识别，下一步将结合机器学习算法以提高识别鲁棒性。

[1] 李庆中,顾伟康,叶秀清,等.移动机器人路径跟踪的智能预瞄控制方法研究[J].机器人,2002,24(3):252-255.

[2] Kadakkal V, Cook G. Use of a Preview Control Scheme with Knowledge of Future Trajectory Information for a Lane Tracking Controller on a Wheeled Mobile Robot[C]. 34th IEEE Annual Conference on Industrial Electronics,2008:1692-1697.

[3] 李进.不同光照下基于自适应图像阈值的车道保持系统设计[J].机械工程学报,2014,50(2):146-152.

[4] Kim Z W. Robust Lane Detection and Tracking in Challenging Scenarios[J]. IEEE Transactions on Intelligent Transportation System,2008,9(1):16-26.

[5] 李进,陈无畏.基于自适应导航参数的智能车辆视觉导航[J].农业机械学报,2012,43(6):19-25.

[6] Fierro R, Lewis F L. Control of a Nonholonomic Mobile Robot Using Neural Networks[J]. IEEE Transactions on Neural Networks,1998,9(4):589-600.

[7] Tangruamsub S, Tsuboyama M, Kawewong A, et al. Mobile Robot Vision-based Navigation Using Self-organizing and Incremental Neural Networks[C]. Proceeding of International Conference on Neural Networks, Atlanta,2009:3094-3101.

[8] 周罗善.基于单目视觉的车道保持预警系统研究[D].上海:华东理工大学,2011.

[9] Choi H C, Park J M, Choi W S, et al. Vision-Based Fusion of Robust Lane Tracking and Forward Vehicle Detection in a Real Driving Environment[J]. International Journal of Automotive Technology,2012,13(4):653-669.

[10] 李进,陈杰平,徐朝胜,等.基于动态图像阈值的智能车辆路径导航[J].农业机械学报,2013,44(4):39-44.

[11] 高志峰,汪渤,周志强,等.一种鲁棒的非平坦路面车道线检测算法[J].北京理工大学学报,2013,33(1):73-78.

[12] 卢远志.智能车测试环境中虚拟车道线的快速构建方法[J].中南大学学报(自然科学版),2013,44(3):985-991.

[13] 郑烨.基于单目视觉反馈的智能车导航研究[D].长沙:中南大学,2011.

[14] 李进.基于DSP的视觉导航智能车辆路径识别[J].安徽科技学院学报,2012,26(1):46-50.

[15] 李进.视觉导航智能车辆的路径识别和跟踪控制[D].合肥:合肥工业大学,2008.

Lane Identification of Vision-Guided Intelligent Vehicle Based on Feature Fusion

Li Jin, Chen Jieping, Yi Kechuan & Xu Chaosheng

SchoolofMechanicalEngineering,AnhuiScienceandTechnologyUniversity,Chuzhou233100

For achieving both the robustness and real-time performance of lane idenfication, the feature information on the edge and its direction and gray scale of lane markings and lane width in the image are sequentially fused. In identifying the first frame of lane image, the whole image frame are processed, while in identifying the following frames, dynamically constrained areas are determined according to the identification results of previous frames, within which identification completes. The results of real vehicle road tests show that by orderly fusing various feature information and properly setting dynamically constrained areas, lane marking identification can be effectively achieved with better accuracy and reliability in vehicle lane tracking.

intelligent vehicle; lane identification; feature fusion; dynamic constraints

*国家自然科学基金(51075112)、安徽高校省级自然科学研究项目(KJ2013B074)和安徽科技学院自然科学研究项目(ZRC2014409)资助。

原稿收到日期为2013年8月22日，修改稿收到日期为2013年12月11日。