基于视觉的非结构化道路识别综述

张轩铭

（重庆交通大学机电与车辆工程学院，重庆 400074）

0 引言

无人驾驶技术作为现代交通领域的前沿研究方向，正在迅速发展和演进，无人驾驶汽车成为未来交通系统的重要组成部分[1]。无人驾驶技术分为环境感知、决策和控制等领域，环境感知系统为无人驾驶车辆提供车辆周围环境信息，其中非常重要的一项功能是对道路进行检测[2]。目前可将道路划分为结构化与非结构化2种道路类型。结构化道路一般是指高速公路、城市干道等结构化较好的公路，这类道路具有清晰的车道线，道路的背景环境相对单一，且有明显的道路几何特征，且路面的颜色通常较为固定，易于识别，如图1a所示。而非结构化道路的情况则千差万别，缺乏明确的路线和驾驶指示，如路标、交通信号等。其中越野场景更是复杂多样，一些典型的场景是森林、乡村道路、泥泞或沙质道路，或被茂密植物覆盖的地形[3]。非结构化道路环境可以是任何没有基本驾驶设施、道路指示和比通常条件更具挑战性的环境，如图1b所示。

目前非结构化道路检测存在许多问题：

（1）由于非结构化道路本身类型不固定，可能是泥土、沙子、碎石等组成；

（2）非结构化道路表面不平整，大部分道路存在凹凸不平的情况；

（3）非结构化道路边界模糊，道路与周围自然植物相交而成，没有明显的道路边界；

（4）非结构化道路形状不规则，道路宽窄变化频繁。除了道路本身的挑战外，还存在外界干扰因素，如光照条件的变化、周围环境的干扰、图像噪声的产生以及由于汽车行驶中的颠簸导致的图像模糊。以上问题都给非结构化道路场景无人驾驶算法的准确性和鲁棒性带来很大的挑战[4]。

目前，基于视觉的非结构化道路检测主要分为3种方法：（1）基于道路特征的方法，（2）基于道路模型的方法，（3）基于机器学习的方法。本文将分别对这3个方法进行综述。

1 基于道路特征的方法

非结构化道路检测最常使用的方法就是基于道路特征的检测方法，其主要是根据道路自身的明显的特征来检测道路，道路本身特征包括道路的颜色、纹理、边缘等，依靠这些特征来区分可行驶的道路区域和非道路区域，再根据聚类或者区域生长的方法来获取道路可行驶区域。基于道路特征的检测方法其优点在于需要的先验知识少，而且对道路的形状不敏感，可以用于检测形状不规则的非结构化道路。但其缺点也非常明显，由于是基于道路特征来进行检测，当道路特征发生变化或受外部环境因素影响时，其检测效果会非常差，如对路面阴影或水迹等比较敏感[5]。目前基于道路特征的非结构化道路识别方法分为基于颜色特征的方法、基于边缘特征的方法、基于纹理特征的方法3种。

1.1 基于颜色特征的方法

一般情况下，在非结构化道路可行驶区域内的道路颜色基本一致，可将道路检测问题转化为基于颜色特征的道路提取问题，然后再利用阈值分割或区域生长等方法来获取非结构化道路的可行驶区域。

Sotelo[6]提出基于HSV（Hue，Saturation，Value）颜色空间和二维空间约束的道路分割算法，并成功地在不同环境和天气条件下对非结构化道路的边缘和宽度进行正确估计。但是，在日出后和日落前阳光较强的时段，使用该道路跟踪算法存在一定的局限性。李大杰等[7]根据非结构化道路的颜色特征提出一种基于色度差的边缘检测算法。该算法是将输入原始图像的RGB 颜色空间转化为L*a*b*（L 代表明亮度，a 和b为两个色度通道）颜色空间，结合L*a*b*颜色空间的明度与色度分离的特点，对色度差的信息进行融合后，通过霍夫（Hough）变换提取出图像边缘得到非结构化道路边缘信息。该算法能够减小阴影、水渍等外部因素对真实道路边界的干扰。钟鹏飞[8]将原始图像的RGB 颜色空间转化为HSV 颜色空间进行颜色分析。结合梯度幅值算法和大津法（OTSU）对图像的非结构化道路区域进行分割，再利用形态学算法和路面与背景区域灰度值差异的特点，对道路边缘进行提取。但该方法对于颜色差异较小的非结构道路检测效果较差，特别是沙漠、雪地和山地等道路环境。Huang[9]提出了一种基于HSV 颜色空间和道路特征的非结构化道路检测方法。该方法主要使用Hue 分量作为估计标准，因为它对阴影和水域不敏感，针对道路的色调组件可能会出现不稳定的情况，该方法将饱和度和值组件结合起来，以保证鲁棒性。除此之外，该方法没有一个一个地处理所有的帧像素，而是选取了一些像素进行处理，从而保证了处理速度。

1.2 基于边缘特征的方法

图像中的边缘信息具体表现为其周围像素灰度变化不连续的那些像素的集合，局部图像颜色强度发生明显变化的位置即是图像边缘。非结构化道路中的道路区域和非道路区域有明显的边缘特征，因此可以利用此边缘检测算法来提取图像的边缘特征，从而分割出非结构化道路的可行驶区域。

目前常用的边缘检测方法有小波变换[10]，常用的边缘检测算子有：一阶的Roberts 算子[11]、Sobel 算子[12]等；二阶的拉普拉斯算子[13]、康尼（Canny）边缘检测算子[14]等。王燕清等[15]根据非结构化道路存在边界不规则问题，提出加权Canny 边缘检测方法和面向加权Canny 边缘图像的启发式概率Hough 变换方法。经过试验证明，该方法能够在不同非结构化道路环境下进行道路边界检测，提高了算法的准确性和实时性。卢才武等[16]针对传统图像处理方法对噪声敏感且容易误判和漏判的问题，根据Canny 边缘检测的方法，利用一种平滑尺度自适应的高斯滤波方法对遥感影像进行降噪，在降低噪声干扰的同时还保留了边缘细节。该方法能明显改善边缘检测的准确度和定位精度，且完整度和连续性显著增强。其检测结果如图2 所示。郑欢欢[17]将Sobel 算子的边缘检测算法进行改进，通过扩大构造5×5的梯度权值模板计算出图像边缘信息，然后利用K-means 聚类算法获取最佳自适应阈值来完成图像分割。该方法使得边缘信息保留的更加完整。

图2 边缘检测结果

1.3 基于纹理特征的检测方法

纹理特征是广泛存在于自然界中的物体表面的特征，非结构化道路也有属于其独特的纹理特征，如图3所示。基于纹理特征的检测可根据其纹理特征来提取非结构化道路可行驶区域。

图3 非结构化道路纹理

Tuceryan[18]将提取纹理特征的方法分为5种：结构分析法、统计法、几何法、模型方法和信号处理法。

（1）结构分析方法主要是研究纹理基元的类型和数目以及基元之间复杂的空间位置排序和组织结构，先假设纹理基元是分离状态，然后以基元特征和规则排序识别图像纹理。

（2）统计法的原理是利用概率来反映图像的灰度方向、相邻像素间隔和变化幅度等整体信息。

（3）模型法的研究重点是模型参数估计。该方法在对图像进行分割处理时需要以模型参数为特征，或者采用某种分类法实现图像分割。

（4）信号处理法的本质是对时域、频域以及多尺度的分析。该方法对道路图像进行处理是通过透视变换来实现的，提取出图像中存在于某个区域的像素特征点，获取其特征值，这种方式可体现出某个区域或者区域外的等同性和互异性。信号处理的算法在提取图像纹理特征时，主要是利用线性变换、滤波器或者滤波器组将纹理转换到变换域，然后利用一种能量分布准则提取纹理特征，这种准则是在频域上给与一定的假设，即能量分布可以识别出图像纹理。信号处理法的经典算法又分为：Tainura 纹理特征、自回归纹理模型、Gabor小波变换。

在一些非结构化道路场景中，例如泥地、荒漠和戈壁等，由于纹理特征对这些可行驶区域图像的颜色和光照鲁棒性高，所以基于纹理特征的非结构化道路检测是当前较常用的方法，其中基于消失点检测的方法已逐渐成为主流。消失点是透视图图像平面上的一个点，三维空间中平行线的二维透视投影（或图形）似乎会汇聚，图像中的所有东西似乎都汇聚在一个点上，这个点被称为消失点。如图4 所示，图4（a）是直线道路上的消失点检测，图4（b）是弯曲道路上的消失点检测。基于消失点的道路检测方法一般又分为3种:（1）基于道路边缘线的方法；（2）基于空间变换技术的方法；（3）基于纹理特征的方法。最常用的就是基于纹理特征来检测道路的消失点。利用纹理方向来估计消失点最初是由Rasmussen[19]提出。

图4 不同道路上的消失点

Shi[20]提出了一种以较低的计算代价提高消失点估计精度和鲁棒性的新算法，利用4 个Gabor 滤波器的联合活动和置信度来加快纹理方向估计的过程。该算法采用粒子滤波器降低了算法的误识别率和计算复杂度，它限制了消失点搜索范围，并减少了要投票的像素数量。该算法将投票累加器空间的峰性测度与观测值的移动平均位移相结合，调节候选消失点的分布。Yang[21]提出了一种用于检测道路图像中消失点的新算法。首先使用轮廓小波纹理检测器加速像素检测。然后通过响应调制线投票方案对可靠主导向量的像素进行调制，为每个像素赋予适当的投票权重。与以往纹理方法不同，考虑了道路像素的纹理响应，增强了鲁棒性并抑制与道路无关的纹理响应。最终候选的消失点由获得最多投票的可靠调制投票点来确定。

2 基于道路模型的方法

基于道路模型的道路检测方法的前提条件是假设非结构化道路具有较规则的边缘，再利用道路边缘的结构建立相匹配的道路模型，然后对道路模型进行拟合匹配得到道路区域与非道路区域的边界[22]。道路模型的优点是在路面水迹、阴影和光照不均等环境下鲁棒性较强。但缺点也很明显，由于道路模型是基于道路形状建立，所以当道路形状发生变化而不符合预先假设时，模型的检测精度会急剧下降。常用的道路模型有直线模型、抛物线模型和样条曲线模型[23]。

直线模型基于直线道路建模，在减少内存限制的情况下，最有效的直线车道检测和估计技术是霍夫变换（Hough Transform）[24]。这一步通常在使用投影模型获得的原始图像上执行，或者在应用反透视变换后执行[25]。Hough变换算法的性能在很大程度上取决于数据量。在大多数方法中，Hough 变换与其他方法如线分类相结合。Cela等[26]提出了一种基于无监督和自适应分类器的道路车道检测算法。获得车道需要3个步骤：第1步，在输入图像中使用亮度来了解环境条件，并突出颜色通道；第2步，采用无监督分类器和HT对左右道路线进行识别；第3步，应用卡尔曼滤波器估计车辆位置，跟踪车道。

基于抛物线模型的方法，Kluge[27]提出了曲线道路模型。假设在平坦的地面上，车道边界可以用抛物线曲线表示。虽然它可以近似正常的道路结构，但它仍然不能描述某些情况，如“T”型转弯。在此基础上，通过优化似然函数，提出了一种可变形模板算法。但是，该算法不能保证全局最优和精度，且不需要大量的计算资源。Jung[28]提出了一种车道偏离检测技术。首先，使用边缘分布函数和改进的霍夫非结构化道路检测，目前主要是基于视觉或者视觉和激光雷达的多传感器融合方法检测车道边界，在跟踪阶段，采用线性抛物线车道模型。在近场，采用线性模型获得车道方向的鲁棒信息。在远场，采用二次函数，可以有效地跟踪道路的弯曲部分。对于车道偏离检测，使用两个车道边界的方向来计算每一帧的车道偏离测量，当该测量超过阈值时触发警报。

基于样条曲线模型的方法，Wang[29]提出了一种基于B-Snake 的不需要任何摄像机参数的车道检测与跟踪算法。与其他车道模型相比，基于B-Snake 的车道模型能够描述更广泛的车道结构，因为b样条可以通过一组控制点形成任意形状。利用透视平行线的知识，将检测车道标记（或边界）两侧的问题合并为检测车道中线的问题。此外，提出了一种名为CHEVP的鲁棒算法，为B-Snake模型提供良好的初始位置。

3 基于机器学习的方法

近几年，机器学习和深度学习因其强大的自学习能力而迅速发展，被广泛地应用于各个领域。在无人驾驶的环境感知方面，利用机器学习和深度学习来学习大量的样本，训练出鲁棒性较强的模型。机器学习算法基于样本数据（称为训练数据）构建模型，以便在没有明确编程的情况下做出预测或决策。非结构化道路检测也基于此方法做了大量研究。本文将基于机器学习的非结构化道路检测方法分为传统机器学习和深度学习的方法并分别进行综述。

3.1 基于传统机器学习的道路检测方法

机器学习的道路检测程序无需明确编程即可执行任务。它涉及计算机从提供的数据中学习，以便它们执行某些任务。对于分配给计算机的简单任务，可以编写算法告诉机器如何执行解决问题所需的所有步骤。在存在大量潜在答案的情况下，一种方法是将一些正确答案标记为有效。然后，这可以用作计算机的训练数据，以改进它用于确定正确答案的算法。学者们基于传统机器学习方法对非结构化道路检测进行了大量的研究。

Shang[30]试图找到一种选择特征描述符的道路检测方法。利用支持向量机技术分析了这些常见特征描述符在道路检测过程中的重要性。在此基础上，提出了一种基于混合特征的道路检测算法。通过对一系列特征的分析，证明了其从背景中检测路面的能力，其检测结果如图5所示。Wang[31]针对智能无人车辆在非结构化道路识别中需要采用众多的特征参数，从而增加了特征融合识别难度与计算复杂度，以及部分背景与道路区域存在相似性会产生道路识别的误分、误判的问题，提出了一种基于主成分分析的支持向量机（Principal Component Analysis- Support Vector Machine, PCA-SVM）准则改进区域生长的非结构化道路识别算法，该算法能够缩短识别时间和排除背景干扰。王晓彬等[32]在非结构化道路检测中引入了感兴趣区域（Region Of Interest,ROI）来消除环境噪声，将HSV 图像模型作为支持向量机分类算法的输入，借助霍夫变换检测道路边缘。Ekhti 和Kobayashi[33]训练高斯过程回归器（Gaussian Process Classification,GPR），以预测车辆在地形上移动时的振动（作为地形可行驶性的衡量标准），结合车载RGB 摄像机处理图像检测到的地形纹理特征。同样在这种情况下，回归器使用遍历过程中获得的本体感觉数据（即加速度计数据）进行训练，而在线遍历成本回归仅基于传入的RGB图像。

图5 基于混合特征的检测结果[30]

3.2 基于深度学习的方法

传统的机器学习一般是用浅层模型，对于线性可分或者简单的非线性比较有效。当输入数据（样本）和输出数据（标签）之间存在复杂度高、难以理解的非线性关系时，很难找到合适的浅层机器学习方法。在机器学习中，大多数应用程序的特征需要由专家识别，然后根据领域和数据类型、机型手工编码。对于多变的道路类型、复杂环境背景的非结构化道路来说，这个过程在时间和专业知识方面是困难和昂贵的。因此基于深度学习的方法迅速发展，由于其神经网络层数很深，所以非线性的建模能力很强，处理复杂任务性能较强。深度学习模型（如卷积神经网络）可以自动学习数据的层次特征表示，从而减少了特征工程的需求。深度学习允许直接从原始数据到目标任务的端到端学习，减少了中间步骤和假设，这有助于简化模型的训练和调优过程。

在非结构化道路检测中，基于计算机视觉的语义分割方法（Semantic Segmentation）最为常用，语义分割是计算机视觉中的一个分支，其主要是将一些原始数据（例如图像或视频）作为输入并将它们转换为具有突出显示的感兴趣区域的掩模。其中图像中的每个像素根据其所属的感兴趣对象被分配类别ID。

Wang[34]提出了一种名为RD-Net 的语义分割网络，实现了非结构化道路的语义分割。该网络包括用于特征提取的反射填充和“卷积+池化”堆栈，用于加深网络的扩张残差过渡单元和用于大小恢复的上采样，该网络整体结构如图6所示。Rasib[35]等提出了一种结合deeplabV3+的道路区域检测和转向角度估计机制的新型自动驾驶汽车模型，以确保在非结构化路况下的自动驾驶，将非结构化道路分割为可行驶区域和不可行驶区域，如图7所示，第1列和第2列分别显示原始测试图像和地面真实图像，第3列为预测图像，第4列为将分割后的掩码叠加在原始图像上的预测结果。而王雪玮[36]等将非结构化道路场景分割为强推荐行驶区域、弱推荐行驶区域、不推荐行驶区域和背景区域，针对非结构化道路存在边界模糊和路况多变等问题，提出一种基于M 形深度架构的语义分割模型，其模型融合了多尺度交互策略并引入了双重注意力机制。

图6 RD-Net网络整体结构[34]

图7 基于DeeplabV3的非结构化道路分割结果[35]

3.3 非结构化道路开源数据集

基于深度学习的语义分割方法之所以能展现其强大的能力，是因为需要大量的数据驱动，需要从海量的数据中进行学习。但如果研究者从头采集数据集并制作，需要耗费大量的时间成本和人力成本。本文介绍一些常用的开源非结构化道路数据集，如表1所示。

表1 常用的非结构化道路数据集

IDD 数据集[37]由10004 张图像组成，从印度道路上182 个驾驶序列中收集的34 个类别进行了精细的标注，其混合了城乡、高速公路、单车道和双车道道路等多种道路场景。该数据集特点在于道路附近有很多建筑物、道路边界不明确、行人和乱穿马路的人很多以及道路上的摩托车和载货车密度很高。CARL[33]在巴基斯坦100 多个城市的视频序列上构建。因此，该数据集包含道路类型的多样性，例如高速公路、农村道路、城市街道、丘陵和破旧道路。该数据集只有2个类别，即可行驶区域和不可行驶区域。

非结构化道路种类繁多，除了与人们生活相关的城乡道路和农村道路等，其次就是越野道路，无人特种车辆或野外作业机器人需要穿越环境复杂多变的越野道路执行特定任务，因此越野道路的识别也广泛受到关注。关于越野道路的数据集也被提出，下面对常用的越野数据集进行介绍。

RELLIS-3D 数据集[38]是在越野环境中收集的多模态数据集，包含13556 个激光雷达扫描和6235 个图像的注释。对于图像注释，天空、草、树和灌木占总标记像素的94%。在LiDAR 数据中，草地、树木和灌木占总点标签的80%。这对于当前最先进的深度学习模型存在的类别不平衡问题提出了极大的挑战。

费格堡数据集[39]研究了使用多光谱和多模态图像进行语义分割，并开发了从RGB、近红外通道和深度数据中学习的融合架构，引入了一个史无前例的多光谱分割基准，该基准包含15000 张图像和366 个非结构化森林环境的像素级地面真值注释。

ORFD 数据集[40]是由北京大学团队提出的数据集。采集于不同场景（林地、农田、草原、乡村）、不同天气条件（晴、雨、雾、雪）和不同光照条件（亮、白天、黄昏、黑暗）下，共包含12198张LiDAR点云和RGB图像对，并将图像类别分为可行驶区域，不可行驶区域和不可到达区域。

CaT数据集[41]认为越野道路的可穿越性是取决于车辆的类型，比如对于灌木丛来说，轿车是无法穿越的，而越野车是可以穿越的。因此将标注类别根据车辆类型分类，分为轿车、多用途货车和越野车。

4 结束语

本文介绍了基于道路特征和传统图像处理方法的非结构化道路识别方法，以及目前鲁棒性较高的基于深度学习的语义分割方法。由于非结构化道路复杂多变，当道路特征和类型发生变化时，基于传统图像处理方法的识别准确性会下降。而基于深度学习的方法由于其强大的学习能力，能够从大量的样本中学习到如何准确识别各种类型的非结构化道路，其缺点是需要大量的数据驱动,且训练时间长和可解释性差。由于激光雷达成本高昂，所以目前基于视觉的非结构化道路识别成为主流方法，但非结构化道路环境复杂多变，基于纯视觉的识别方法也存在缺陷，受环境亮度影响较大，且无法测量距离。随着技术日趋成熟，激光雷达成本下降，视觉加激光雷达的多传感器融合会成为主流方法。