基于粒子群算法的多尺度反卷积特征融合的道路提取

潘峰，安启超，刁奇，王瑞，冯肖雪

(1.北京理工大学 自动化学院,北京 100081；2.昆明北理工产业技术研究院有限公司,云南，昆明 650101)

基于航拍图像的道路提取研究在自然灾害急救、车辆导航、智能交通[1]等方面具有广泛的应用[2-3].近年来，随着计算机视觉技术的快速发展，基于视觉的道路提取技术成为机器视觉领域的重要热点，得到国内外学者的广泛关注.关于道路提取方面的研究，已经有很多相关的方法提出.王鑫[4]提出使用最小二乘匹配算法，并融合模板匹配等算法来提取道路，该算法有较快的提取速度，但是对于道路数据集质量要求较高.基于Canny边缘提取算法进行道路的提取[5]，该方法对算子的依赖程度较高，对具有复杂背景的道路数据集没有较好的适应能力.基于光谱分析的主成分分析方法[6]，由于存在窗口选择最优化的问题，道路的提取缺乏较好的泛化能力；将光谱分析与几何特征相结合的方法应用到道路提取任务中[7]，虽然解决了部分道路的分离，但是对于细小道路的提取，效果依旧不理想.近年来，随着深度学习技术的不断发展，将深度学习方法应用到道路提取任务中也越来越多.利用卷积神经网络(CNN)进行道路提取[8-9]，展示了卷积神经网络在道路提取方面的巨大潜力，但由于卷积神经网络需要对海量数据进行计算，资源消耗非常巨大，而目前的数据标注主要依靠人工来实现，需要耗费大量的时间和精力.

因此，目前对于道路的提取大都针对于结构清晰的城市道路.该类型的城市道路作为结构化道路，路面整洁，宽度较为统一，其光谱特征和几何特征都较明显，因此特征提取难度较小，数据标注相对简单.而针对于复杂交错的城市道路，其道路存在严重的交叉现象，而且路面相对狭长，受制于光线的原因，道路的颜色特征与周围建筑相似度极高，不利于道路的提取.农田道路结构复杂多变，道路结构化程度较低，与周围田地的颜色特征相似度极高，有时会存在树木遮挡道路等干扰情况.多变曲折的道路类型，复杂的环境背景，还有小分辨率的狭长道路，不利于特征提取，不仅数据标注的难度随之提高，也给道路的提取带来困难.图1(a)1(b)为Massachusetts城市道路，其道路具有狭长、颜色特征不清晰等特点;图1(c)1(d)为中国云南省昆明市的农田道路，其具有遮挡严重，边界模糊，形状不规则等特点.以上两类复杂的道路场景使得传统的图像处理算法无法较好的提取出道路，而采用深度学习技术可以更好的发掘图像的上下文信息，自动提取图像特征信息，摆脱了传统算法手动提取特征复杂、繁琐并且容易出错等弊端.因此，本文使用深度学习的方法解决复杂场景下的道路提取工作.

深度学习是基于图像特征进行分类的算法，特征的准确性直接影响到分类的正确率.全卷积网络(fully convolutional networks，FCN)[10]作为深度学习领域中最为经典的语义分割网络，已经取得了非常广泛的应用[11-12].全卷积神经网络以深度学习领域中经典的分类网络为基础，例如VGGNet[13]、ResNet[14]，将分类网络中的全连接层替换为卷积层，从而保留了图像的空间结构信息.与经典的卷积神经网络不同，输入FCN网络的图像尺寸可以改变.FCN网络通过不断的下采样来提取图像的语义信息，并在上采样的过程中不断地恢复空间信息.FCN通过编码-解码的结构形式，使得输入图像能够得到相同分辨率的预测输出，对于每一个像素都产生了一个预测，实现了端到端的训练.FCN网络模型结构如图2所示.

如图2所示，FCN对输入图像进行5次的卷积+池化的组合操作，特征图的尺寸缩小为原图像的1/32，然后把CNN网络中的全连接层替换成卷积层，此时特征图的数量改变但是尺寸大小不变，依然为原图的1/32，但图像不再称为特征图而是为heatMap(热图)，最后FCN进行上采样操作，共有3种上采样方式：

① FCN32s：对于卷积层7进行32倍的上采样得到输出；

② FCN16s：将卷积层7进行2倍的上采样，与池化层4进行1∶1融合后再进行16倍的上采样得到输出；

③ FCN8s：将FCN16s的特征图进行2倍的上采样，与池化层3进行1∶1融合后进行8倍的上采样得到输出.

全卷积网络采用了跳跃连接的方法，在上采样的特征融合过程中，将下采样过程中得到的不同特征图按照相同的融合系数，等比例叠加，并通过反卷积得到与输入图片相同尺寸的输出，来得到更加准确的分割效果.图3是由传统的FCN8s卷积神经网络提取的道路结果，可以看出，FCN8s对于农田道路或者是城市道路的整体提取有不错的效果，但是对于细节的处理却并不好，存在道路提取断裂、细节处理粗糙等问题.通过对于卷积层的可视化展示[15](如图4所示)，可以明显发现，不同的卷积层对于道路的语义信息提取有很大的差异.深层网络带有更多的语义信息，而浅层网络更多展示的是空间信息[16].在下采样的过程中，连续的卷积和池化操作，将特征图分辨率缩小的同时，也丢失了空间信息.采用空洞卷积的操作虽然可以保证特征图的分辨率[17-18]，但是会产生大量的高分辨率特征图，无论从计算量还是存储方面，都是巨大的负担.而由于传统的等比例融合方法对特征的处理过于简单，忽视了不同层级的卷积层提取的特征信息的差异.因此，本文对于不同特征图的模式特征，结合粒子群优化算法[19]，设计了不同比例的多尺度特征融合方法，更好地对空间信息和语义信息进行选择，以提高全卷积神经网络的表现性能.

1 Multi-Scale FCN算法结构设计

1.1 不同比例的多尺度反卷积融合神经网络

随着网络深度的增加，网络信息的提取逐步由空间信息向语义信息过渡.面对不同层之间提取的特征的差异，需要在上采样的特征融合过程中，对特征图的融合比重进行差异选择.因此，本文在基于传统的全卷积神经网络FCN8s的基础上，对其上采样过程中的特征图进行了不同比例的融合，将其融合比例系数作为超参数，引入粒子群算法来优化融合比例系数，来实现不同比例的多尺度特征融合.同时，对于FCN8s，采取了不同的上采样方式：传统的FCN是将FCN16s的特征图进行2倍的上采样后，与池化层3进行融合；改进后的FCN8s直接将池化层7进行4倍的上采样，将池化层4进行2倍的上采样后，与池化层3进行融合.

改进后的FCN模型如图5所示.

对于改进的FCN8s，融合方式如式(1)为

R8s=4p7φa+2p4φb+p3φc，

(1)

式中:

φa+φb+φc=1.

(2)

1.2 基于粒子群算法得到优化参数

粒子群算法是一种启发式优化算法[20]，源于鸟群捕食，充分利用个体信息的共享，使群体求解过程从无序转变成有序，最终找到问题的最优解[19].在粒子群算法优化迭代过程中，每一个粒子i都会计算自身的适应度，统计个体经历过的最佳位置pbesti和全局的最佳位置pbestg并不断地更新自身，一直到适应度的数值达到一定的设置要求或者是迭代的次数达到上限时粒子群算法的寻优结束.在任意k+1时刻，第i个粒子的第d维的速度更新公式定义为

(3)

位置更新公式定义为

(4)

利用粒子群算法来优化卷积神经网络参数，已经有许多成功的案例.Khalifa等[21]利用粒子群算法来优化卷积核初始化，提高了肺部肿瘤的识别准确率.Mnih等[22]利用粒子群算法来设计神经网络结构，实验证明取得了良好的效果.

实验以改进后的FCN8s网络为基础，将式(1)中的φa,φb,φc作为超参数，构成例子群算法的初始种群.采用不同规模数据集下的真实标签图像和预测图像的平均交并比mIOU(mean intersection over union)总和作为粒子群的适应度函数，设置速度区间为[-1,1]，对于例子的位置限制如式(2)所示.在速度和搜索空间上对种群个体进行随机初始化，种群规模设置为4.粒子群优化算法的具体内容如图6所示.

2 道路数据集设计

本次实验分别应用城市道路数据集和农田道路数据集来进行网络性能的验证.针对农田道路采集了500张航拍图像，每张航拍图像经过预处理后分辨率为1 500×1 500.由于计算资源的限制，对于预处理后的图片采用随机分割的方法，将每张航拍图像随机剪裁得到15张256×256大小的图像，并将其分为训练集、交叉验证集和测试集3部分，分别有9 895，334和286张，数据集命名为FROBIT农田道路数据集.

城市数据集采用的是Volodymyr Mnih所创建的城市道路数据集[23]，该数据集包含928张训练集，14张交叉验证集和49张测试集，图像的分别率为1 500×1 500.对于城市道路数据集，采取与乡村道路数据集相同的预处理操作.最终得到8 000张测试集和210张测试集.农田道路数据集和城市道路数据集展示如图7所示.

农田道路数据集的制作过程如图8所示.首先对采集到的图像进行尺寸调整，并利用labelme[24]软件进行二分类标签的制作，将标签中的道路部分的像素值置为255，其余的非道路部分像素值置为0.之后，整理好图像和标签，对图片和标签进行数据增强操作处理，随机将其划分为训练集、交叉验证集和测试集.至此完成了对于FROBIT数据集的初步建立.最后，将对于不同的神经网络和任务需求，可以对FROBIT数据集进行必要的修正和改动.

3 实验结果及分析

3.1 实验总体设计

本次实验中，改进的FCN8s算法采用TensorFlow[25]深度学习框架，粒子群算法采用Python编写.采用PyCharm作为编辑器，实验平台的配置如下：CPU为Intel(R)Core(TM)i7-7800X 3.50 GHz，RAM为16.0 GB，GPU为Nvidia 1080Ti(11 GB).实验数据集包括上述的FROBIT农田道路数据集和城市道路数据集.其中FROBIT数据集中训练集有9 895张，验证集有334张.城市道路数据集采用与FROBIT数据集相同的预处理操作，其中训练集为8 000张，验证集为210张.网络的输入图像大小是256×256，网络采用交叉熵损失函数，A-dam算法优化损失函数[26],采用Relu函数[27]来作为激活函数.评价指标采用mIOU，计算2个标签真实值(集合A)和预测值(集合B)的交集和并集的比值，计算公式为

(5)

实验第一阶段，采用粒子群算法得到优化参数；实验的第二阶段是以实验得到的优化参数作为融合比例系数与传统的FCN8s网络来进行实验对比.

3.2 基于粒子群算法的参数优化

实验采用2.2设计的算法，实现并得到了基于粒子群算法的优化参数.优化参数如表1所示.

表1 经过粒子群算法得到的优化融合比例系数

Tab.1 Optimized fusion scale factor obtained by particle swarm optimization

数据集φaφbφcFROBIT0.500.290.210.570.280.150.510.320.17Massachusetts0.210.260.530.500.300.200.320.240.44

表1中，分别针对于FROBIT数据集和城市道路数据集，选取了经过PSO优化后，适应度排名前3的3组融合比例系数作为展示，同时，表1中的参数也将作为后续的对比实验参数.

3.3 实验结果对比分析

实验首先以基础网络分别对上述的道路数据集进行道路提取[28].然后以改进的FCN网络进行道路提取.融合比例系数及其mIOU如表2所示.

表2 融合系数与mIOU对比

表2展示的是在不同的数据集下，通过粒子群算法优化得到的较好的融合比例系数与基础模型的mIOU结果，测试结果是在154张测试数据集下得到的结果.表2中mIOU表明，通过粒子群算法优化反卷积层的融合比例，可以有效提高FCN网络的表现.得到的测试效果如图9所示.

图9同样显示出，通过粒子群算法进行不同比例的融合，能够有效利用不同特征图提取的不同特征，从而提升基础网络模型的预测效果.相对于传统的FCN8s网络模型，改进后的网络对于道路的预测效果更佳出色，提高了道路提取的延续性，对于道路的细节提取也更加完善.针对于乡村道路改进后的模型预测效果不仅更加出色，而且能够对标签集当中没有标注的道路，起到进一步优化提取的效果，如图10所示.

图11,图12展示的是mIOU的对比结果图，横坐标为测试数据集的数量，纵坐标为mIOU的准确率.图中最右端的结果即为表2中的测试结果，也即图11,图12中的最右端结果是在154张测试集下取得的结果.

由图11，图12可以看出，相比于传统的等比例融合的FCN网络，不同比例融合的FCN网络模型准确率有了明显的提高.经过粒子群算法优化得到的融合比例系数模型的表现要优于传统的FCN模型.综合以上实验结果，本文对其背后的原因进行了分析，由于各个特征图所包含的特征信息量存在差异，如图4所示.而语义分割的核心点是对于提取目标的空间信息和分类信息的充分利用.针对于FROBIT数据集，如图4所示，卷积层7和池化层4对于农田道路的空间信息和分类信息的提取要优于池化层3，更加直观体现出道路的特征信息，因此融合比例系数偏向于卷积层7和池化层4，可以更好地利用卷积层7和池化层4所提取到的特征信息，进而得到更加出色的农田道路语义分割效果.而针对于城市道路数据集，池化层3与卷积层7对于城市道路特征信息的提取要优于池化层4，池化层4对于城市道路的特征提取体现的并不直观，因此，融合比例系数也偏向于池化层3与卷积层7，实现对于城市道路更好的语义分割效果.对比卷积网络对于城市道路数据集和FROBIT数据集特征提取的可视化结果(图4)可以看出，针对于不同的数据集，不同卷积层提取到的特征有很大差异，因此，对于上采样中的特征融合，不能够仅仅采用简单的等比例融合，而是要针对不同的特征进行差异化的融合.对于语义信息丢失严重的特征层给予较小的融合比例系数，而对于语义信息提取良好的特征层赋予较大的融合比例系数.将融合比例系数作为超参数，利用粒子群优化算法进行优化，将不同特征图之间所包含的差异体现出来，并针对不同的数据集采用不同的融合比例系数将特征信息进行融合，使得改进后的网络模型达到了更加出色的提取效果.

4 结 论

本文主要创新之处在于提供了一个新的非结构化农田道路数据集，并对于农田道路和复杂城市道路的提取复杂性给予了充分解释.对传统FCN神经网络的上采样过程进行改进，基于粒子群算法设计了不同比例的反卷积层进行融合算法，并结合卷积神经网络的可视化结果，分析了融合比例系数差异化选择的原因.通过将改进后的算法与传统的FCN神经网络在农田道路数据集FROBIT以及城市道路数据集上进行对比，实验结果表明改进后的FCN神经网络的有效性，并在某种程度上启发了特征比例融合的新的可行性.文中提出的多比例融合算法，与自注意力模型有着很多的共通之处，接下来文章也将围绕二者之间的关联展开进一步的研究与分析.