一种改进的基于卷积神经网络的绝缘子检测算法研究

吴君鹏，唐少博，李相磊，张师

(东北电力大学，吉林 吉林 132000)

0 引 言

绝缘子作为保障输电线路可靠工作的元件，其工况对电力系统的安全运行具有重要影响。目前针对绝缘子的检测主要是人工巡检，但有以下无法避免的问题:一方面是一些场合下人工巡检的危险系数较高，尤其是在高压、强电、气候恶劣等环境中；另一方面是人工巡检效率低下且存在较高的判断误差，由于人的视觉有限和精力衰减，导致存在误判。随着机器视觉中卷积神经网络的出现，针对绝缘子自动化检测的计算机判读方法的性能有了较大提升，使得针对绝缘子的工况检测变得简单高效，具有实际意义。可以代替人工现场巡检，为实现绝缘子的无人检测实施提供了可实现的技术基础；为绝缘子的后期的故障诊断工作提供图像素材；另外其灵活的检测方式可以在压缩成本的同时获取大数据，便于日后现场情况的分析和预测。

基于区域卷积神经网络(R-CNN)在2013年被提出[1]。R-CNN使用了一种相对简单的目标检测策略，利用选择搜索(Selective Search)算法产生推荐目标(Object Proposals)，把每个推荐目标缩放到相同大小，再使用由ImageNet训练好的网络模型进行特征提取，最后用SVM分类器判断类别和边框回归。虽然R-CNN在检测精度上进步很大，但也存在明显不足，如：目标检测受到算法的自身限制导致检测速度较慢；另外要接入全连接层，所以图片大小尺寸要固定，预选框经过剪裁或者拉伸扭曲会使图片形变以致失真。文献[2]提出SPP Net结构，该网络在卷积层和全连接层之间添加一个空间金字塔池化(SPP)层，用三个尺度的金字塔层分别池化后将结果进行拼接送入全连接层，使检测速度有一定提升。文献[3]提出的Fast R-CNN结构只对全图进行一次特征提取，使用选择搜索算法产生候选框的特征后通过原图中的位置映射到特征层，在特征图上根据候选框选取相应的区域，由于搜索选出来的候选框大小不一，故增加输出固定大小的感兴趣区域池化层(ROI Pooling)，从而提取每个区域推荐的固定长度特征(即ROI)，同时使用多任务损失函数，分别与softmax分类器和box bounding回归器相连，将边框回归整合进入R-CNN网络中，但仍需外部算法来提取侯选框。为解决候选框推荐问题，文献[4]提出了Faster R-CNN结构，Faster R-CNN结构采用了区域推荐网络，实现了目标检测的端到端处理。从R-CNN到Fast R-CNN再到Faster R-CNN，检测的速度与精度都不断提升。文献[5-6]提出的FPN网络对应着多尺度物体检测性能的提升。另外基于深度学习的回归的一体化卷积网络的目标检测方法，诸如YOLO[7]和DSSD[8]也得到了广泛地研究，这些方法有着较快的检测速度，但其检测精度却有待提高。

目前，随着图像检测算法性能的提升，R-CNN在电力设备图像检测中得到了大量应用。文献[9] 提出一种基于卷积神经网络的套管故障红外图像识别方法，并证明了在特征提取方面具有显著的优势。文献[10]基于改进U-net和卷积神经网络(CNN)模型,达到了有效识别绝缘子自爆故障的目的。文献[11]采用基于YOLO的目标分解及聚合表达的算法对绝缘子进行检测。文献[12]使用神经网络对变电站异物进行了有效检测。文献[13]采用了改进的卷积神经网络方法实现快速准确地辨识低频振荡信号。

文章对绝缘子的定位识别方法在Faster R-CNN的基础上，解决现场绝缘子图像检测过程中存在因成像距离、拍摄角度以及目标物体受到遮挡而造成的的误检和漏检问题。通过对Faster R-CNN算法中锚点选取的优化，提出了具有多阶段惩罚因子的NMS算法。运用改进后的Faster R-CNN方法可以有效提高对绝缘子识别和定位精度。

1 Faster R-CNN目标检测方法

Faster R-CNN由推荐区域网络(RPN)和Fast R-CNN检测器组成，二者共享卷积层，结构如图1所示。待检图像经过归一化的处理之后，进入卷积神经网络模型进行特征提取，随后由RPN负责寻找推荐区域，RPN可以大幅度缩减提取推荐区域的速度。最后经过一个共享卷积层，将卷积层输出数据通过两个分支进行回归和预测，并在其中设计了“多参考窗口(Anchor)”的机制，再由Fast R-CNN负责对RPN的结果进一步优化，最终输出目标的概率值和坐标。在网络的训练中，利用损失函数获得网络模型的预测能力和实际的差值，损失函数对于模型参数评判和调整起到至关重要的作用。损失函数由两部分构成，一部分为分类损失函数，另一部分为回归损失函数，如图1所示。

图1 Faster R-CNN的网络结构图Fig.1 Faster R-CNN network structure diagram

(1)

(2)

2 改进的Faster R-CNN绝缘子检测

2.1 轻量化的网络模型

神经网络模型是Faster R-CNN中最基础最重要的部分，一般选用VGG16网络，共有16个卷积层和3个全连接层，但由于网络层数较深，所以耗时较长。此外，网络对于GPU的要求也较高，更适用于多类别的分类任务。考虑到绝缘子检测中工业装置的GPU配备情况，以及绝缘子检测类别的单一性、检测速度的快速性，更适宜选用轻量型网络结构模型ZF，如图2所示。该网络由5个卷积层和3个全连接层构成，由于网络深度大大减小，故可以提高检测速度，另外在工业现场中的可实现性更高。

图2 ZF网络模型结构图Fig.2 ZF network model structure diagram

2.2 锚点选择

RPN作为Faster R-CNN的核心组成部分，在图像需要同时预测多个推荐区域。在RPN中采用了锚点的多尺度设计机制来实现推荐区域的选择问题。实际上，卷积池化后输出的特征图经由一个3*3大小卷积核卷积后再分别连接两个1*1大小的卷积核。其中，一个1*1大小的卷积核后接softmax函数进行二分类，另一个后接回归函数用以确定坐标。在这里，3*3大小的滑动窗口每滑动一次窗口，就会产生一个锚点(Anchor)，同时在原图上就会映射出3个尺度{128，256，512}和三种比例{1:1，1:2，2:1}共9个锚点框(Anchor boxes)。

由于预先设置了尺寸和宽高比，在实际运用中，对于一些特殊的检测情况就会出现不精准的现象。针对检测时绝缘子由于距离镜头远近不同而造成的大小不一的多尺度问题，根据实际情况，将尺度设置为{32，64，128，256，512}，用以解决小尺度的绝缘子的检测问题。针对检测时绝缘子由于镜头可能会倾斜、旋转等问题造成的形变影响长宽比等问题，选择为{1:1，1:2，2:1，1:3，3:1，1:5，5:1}七种比例以解决多比例问题。由此35个Anchor Boxes可以更好地适应于不同大小和比例的绝缘子的目标检测。

2.3 多阶段惩罚的ms-NMS

由于锚点机制，每个锚点都会产生大量的锚点框，故在后处理阶段会出现同一个绝缘子具有多个锚点框的结果，导致重复检测。Faster R-CNN中采用非极大值抑制(Non-Maximum Suppression, NMS)算法，以保证一个绝缘子有且仅有一个检测框。

传统的贪婪NMS算法先选定一个置信度最高的锚框M，然后遍历M与任一锚框bi的iou(面积的交并比)，然后直接删除所有与M的iou大于设定阈值的锚框，以此删除所有认为是同一目标且重复的锚框。但是当多个目标重叠时，即iou大于设定阈值但是并非是同一目标时，由于也同样直接删除了Anchor Boxes，就会造成漏检的情况。针对此情况，相关文献对NMS方法提出了改进[14-17]。

文中提出了一种改进的多阶段惩罚(Multi-stage Penalty NMS)算法，即ms-NMS。根据任一锚框bi与置信度最高的锚框M的iou和预设阈值来选择惩罚因子以降低锚框的置信度Si，且窗口间iou越大对应的惩罚越重，窗口间iou越小对应的惩罚越轻，而不是直接排除掉和已选框重叠大于一定阈值的框，从而不至于过多删除拥挤情况下定位正确的框。惩罚因子函数如式(3)所示：

(3)

根据iou动态变化，iou越大惩罚因子的值越大，iou越小惩罚因子的值越小。当iou大于阈值0.8时，有同一目标重复Anchor Boxes倾向，因此使其置信度越来越快的衰减，当iou趋近于1时斜率趋近于无穷大；当iou小于阈值0.2时，具有非同一目标的倾向，因此要使其置信度越来越慢的衰减，当iou趋近于0时斜率趋近于0；当iou介于0.2～0.8之间时，不再具有倾向性，故置信度线性衰减。

图3是各种惩罚因子的函数曲线，其中ms1、ms2、ms3为文中的多阶段惩罚因子，gaussian是均值为0、方差为1的高斯曲线，linear为线性曲线，nonlinear为非线性曲线。可以看出线性曲线的惩罚因子始终保持固定增长，gaussian曲线在iou为1时惩罚因子仍然很高，较为合理的是文中的分阶段惩罚因子和非线性惩罚因子，但由于文中的分阶段惩罚因子考虑到了iou过大或者过小时的倾向性，故效果较好。

图3 惩罚因子函数曲线图Fig.3 Penalty factor function graph

3 实验过程

3.1 数据集处理

为加快检测与训练速度，减少CPU时间消耗，要制作对于caffe实用性较好的数据集。样本库中所有图片通过可视化的图像标定工具软件LabelImg进行手动标签，达到符合PASCAL VOC 标准格式的XML标签文件。处理好的标签文件通过excel可以快速直观地查看到重要信息如图片宽度width、高度height、类别name以及框的坐标对xmin，ymin、xmax，ymax等。处理完成的数据集为适应较好的lmdb格式。由于训练类别只有绝缘子，故采用508张训练图片作为训练集，此图片为本校实训基地现场采集。

3.2 参数优化

Faster R-CNN采用ZF作为训练模型。其主要网络结构有Data layers(数据层)、Conv layers(卷积层)、Pooling layers(池化层)、Relu(激活函数)、Fully connected layers(全连接层)、softmax(分类函数)、bbox_pred(边框回归)。

使用深度学习caffe常用训练集PASCAL VOC 2007格式作为训练数据集格式，利用测试集数据对模型进行验证，最后生成检测模型。训练过程图片大小剪为500×375 px；批处理量设置为64；使用的训练的优化方法采用随机梯度下降法，学习率调整策略选为等间隔调整，初始学习率设置为0.002，下降间隔数设置为30 000，学习率单次调整倍数设为0.1，即每30 000次学习率下调为原来的0.1倍；动量参数(Momentum)设为0.9以减少迭代次数，加快优化速度；训练总次数调为70 000次，每10 000次保存一次模型，最后选定7个模型中位置误差表现最好的为使、用模型，训练时间为9 h左右。

3.3 实验环境配置

搭建的硬件环境CPU为3.0 GHz、16 GB内存的intel处理器;GPU为英伟达GTX 1080图形处理器;操作系统为Linux的ubuntu 16.04，用深度学习框架caffe对模型进行训练。

4 实验数据与分析

4.1 实际检测效果

运用改进后的Faster R-CNN检测器进行效果测试，效果如图4(a)所示，可以看出，两图中的所有绝缘子检测效果非常好。图4(b)中存在两个绝缘子由于距离较近，发生部分遮挡，所以改进前的Faster R-CNN未能成功检测；图4(c)中的检测结果表明改进后的Faster R-CNN可以很好的将遮挡的两个绝缘子分别检测出来；图4(d)左侧图片左上角的部分绝缘子由于像素信息较少、尺度较小、没有完整的图像特征和图4(d)右侧图片中远处的绝缘子由于距离镜头较远、尺度较小，都未能被改进前的Faster R-CNN成功检测；图4(e)中的检测结果表明改进后的Faster R-CNN可以很好地优化小尺度的物体检测，使距离稍远、像素信息不全的物体能够被检测得到。

图4 绝缘子检测效果图Fig.4 Insulator detection effect diagram

4.2 评价指标

文中采用Loss曲线、P-R曲线和AP等三种指标对实际检测效果进行了评价，以验证改进的效果。

(1)Loss曲线

图5为改进后的Faster R-CNN进行迭代70 000次的Loss曲线图和学习率曲线图，以每700次迭代进行一次参数输出，生成Loss曲线。可以看出，在约65 000次迭代时曲线已经趋近收敛，在迭代30 000次和60 000次前曲线震荡不下降，在调整了学习率为0.1倍后，Loss曲线继续下降，直至收敛。

图5 损失曲线和学习率曲线图Fig.5 Loss curve and learning rate curve

(2)P-R曲线

P-R为描述查准率(Precision)和查全率(Recall)之间关系的曲线。查准率指真正例占所有预测为正例的比例，查全率指预测为真正例占所有正例的比例。即：

Precision=TP/(TP+FP)

Recall=TP/(TP+FN)

(4)

式中TP表示被检索为正例同时也是正例；FP表示被检索为正例但却是负例；FN表示未被检索为正例，但实际是正例。

如图6所示，图6(a)为未改进前的P-R曲线，图6(b)为改进了锚框尺度比例的P-R曲线，图6(c)为改进了NMS后处理算法的P-R曲线，图6(d)为同时改进了尺度比例和NMS算法的P-R曲线。可以明显看出，图6(d)中曲线下面积最大，代表检测效果最好。

图6 P-R曲线图Fig.6 P-R graph

(3)AP比对

表1为不同的Faster R-CNN迭代70 000次的 AP。可以看出AP最高的为同时改进后的Faster R-CNN迭代70 000次时的0.908 5，这是由于改进后的Faster R-CNN在多尺度和重叠场下能更有效地进行绝缘子识别和定位，同时随着迭代次数的增加模型的检测效果也越来越好。在4.1中的检测图像使用的即为迭代70 000次后产生的模型zf_faster_rcnn _iter_70000.caffemodel。

表1 不同迭代次数的APTab.1 AP for different iterations

表2为只改进了尺度比例后的Faster R-CNN与未改进前的AP对比，可以看出其中Anchor boxes的数量由9增加到了35，AP由0.797 7变成了0.886 9，有了明显的提高，这是由于增加了尺度和宽高比，使得绝缘子的检测范围更加广范，检测到了原来未能检测到的绝缘子图像。

表2 不同尺度比例Anchor boxes的APTab.2 AP of different scales Anchor boxes

表3为改进了不同惩罚因子的MNS后处理算法的Faster R-CNN与未改进前AP对比，AP由0.797 7提高至0.854 4，这是由于改进的NMS算法对重叠的情况作了优化，减少了由于阈值选择不合理导致的漏检误检的情况使得重叠情况下的绝缘子能够被检出。

表3 不同NMS算法的APTab.3 AP of different NMS algorithms

表4为同时改进了MNS后处理算法和尺度比例后的Faster R-CNN与未改进前的AP对比，AP由0.797 7提高至0.905 8，由于同时改进了MNS后处理算法和增加了尺度比例，效果显著。

表4 改进的与未改进的Faster R-CNN的APTab.4 AP of improved and unimproved Faster R-CNN

5 结束语

提出了一种改进的基于卷积神经网络的绝缘子检测算法，该算法选择轻量化的ZF网络模型增加了工业灵活适应性；通过增加锚框的大小尺度和长宽比例，将anchor boxes的数量调整为35，可以检测到形态大小多样的绝缘子，AP由0.797 7提升为0.823 5；同时Greed NMS改为多阶段惩罚的ms-NMS后处理算法，改善了绝缘子重叠问题，AP再次提升为0.905 8;故改进后的算法使AP共计提升10.81%。通过对训练参数的优化选择后进行实验，实验结果表明，改进后的Faster R-CNN在现场的图片检测效果对比改进前有明显优势，AP得到大幅提升，可以有效地将绝缘子成功检测，使误检率和漏检率降低。