基于级联网络的输电线路螺栓故障检测

姚聪颖，申静，汤浩威，姚军财

（南京工程学院计算机工程学院，江苏南京 211167）

对输电线路进行定期巡检是保证电网安全稳定运行的重要条件[1]，无人机巡检因安全性高、不受地理条件限制等优势已经成为我国巡检的主要运维方式[2]。并且，利用深度学习方法对海量图像数据中的目标缺陷进行检测，其检测精度和效率均远超人工处理的方式，具有重要的实际研究意义。

螺栓作为输电线路上的紧固部件，因目标小、数量多、背景复杂、类间差异小等问题，其检测难度更大[3]。目前，国内外进行了大量研究，文献[4]使用改进Faster R-CNN 对电力设备以及杆塔异物进行识别，文献[5]使用改进YOLOv5s 算法对输电线路螺栓缺销故障进行检测，文献[6]提出了一种轻量级Mobile Net-SSD 和轻量级Mobile Net V2-Deeplab V3+网络相结合的绝缘子识别与分割方法。但这些算法在精度、复杂性和泛化性等性能上均存在一定不足[7]，需要进一步改进和提高。

针对螺栓目标较小、特征不明显、数据集背景复杂、噪声多的问题，提出了一种基于级联网络的输电线路螺栓故障检测方法。经过仿真实验，结果表明所提检测算法是有效的，且精度较高。

1 级联检测网络系统

1.1 级联检测网络系统整体框架

输电线路螺栓故障检测即是小目标检测，一般以无人机或直升机的巡检照片为输入，最终将螺栓的位置及状态作为输出。为此，提出一种级联检测网络NanoDet-YOLOv5-GN，其分为两个部分：一阶段网络和二阶段网络。

一阶段网络的主要任务是以边界框的形式尽可能多地定位巡检图像中的连接部位，并且要求相应地提高检测速度，以达到实时检测。一阶段网络的定位错误会增加输入到二阶段网络的分割图像数量，增加网络负担，影响整体检测速度；但一阶段网络的分类错误不会影响整体级联网络的性能，对于网络的连接部位分类问题则不做要求。由此第一阶段网络采用轻量级网络NanoDet，在满足定位要求的前提下提升检测速度。第二阶段网络的主要任务是尽可能准确地定位并检测分割图像中的螺栓。基于此，通过改进YOLOv5 网络（记为YOLOv5-GN），在尽量不影响检测速度的前提下提高检测精度。级联网络检测系统流程如图1所示。

图1 级联检测系统流程图

1.2 基于NanoDet的连接部位定位网络

NanoDet 是一种高速轻量级的一阶段Anchorfree 目标检测模型，其具有不亚于YOLO (You Only Live Once)等Anchor-based 模型的检测性能，且处理速度更快。同时其网络结构简单，模型参数较少，适合移动端和嵌入式设备的训练与移植。

1）NanoDet 网络结构

NanoDet 网络可分为三部分：骨干网络Backbone、颈部网络Neck 和检测头Head。为了保证模型参数尽可能地少，同时满足对连接部位的检测任务要求，将ShuffleNet V2 移除最后一层作为NanoDet 的骨干网络，提取8 倍、16 倍和32 倍的下采样特征，将其输入到路径聚合网络PAN（Path Aggregation Network）[8]中，以进行多尺度特征融合。

在Neck 部分，采用与YOLO 系列相似的PAN，优化concat 与conv 以实现网络轻量化。首先，移除PAN 结构中的所有卷积操作，仅保留从Backbone 完成特征提取后的1×1 卷积，以实现特征通道维度的对齐，上采样和下采样均使用插值算法完成。此外，不同于YOLO 的concat 堆叠操作，NanoDet 通过直接相加完成不同尺度特征图的融合。

Head 部分采用FCOS 系列检测头并优化，不同于FCOS 系列使用的共享权重的检测头，即对不同尺度的特征图使用同一组卷积来预测检测框，NanoDet使用不同卷积组完成特征提取。同时将FCOS 系列中的组归一化改为批归一化。此外，使用深度可分离卷积替代常规卷积，并减少了卷积数与通道数。

2）损失函数

NanoDet 采用GFL（Generalized Focal Loss）[9]作为损失函数，其优化和说明如下。

FCOS 损失函数包含三个方面：分类表示、检测框表示和检测框质量评估。

GFL 将原本的损失函数Focal Loss 从式（1）转换为QFL（Quality Focal Loss）表示：

其中，当y=1时，pt=p；当y=0时，pt=1-p。

式中，y为质量标签，取值范围为[0,1]，γ为标签质量得分，σ是通过将预测的分类表示与检测框质量评估相乘所获得的分数，β为比例因子，用于平衡易分类样本和难分类样本间的权重。

通过式（2），GFL 将分类表示与预测框质量评估相结合，解决了FCOS 训练和推理过程中分类与质量评估不一致的问题。

此外，GFL增加了DFL（Distribution Focal Loss）损失函数，以更快聚焦标注位置附近的数值，如式（3）所示：

通过将DFL 与QFL 相结合，最终得到GFL 的计算方法，如式（4）所示：

1.3 基于YOLOv5-GN的螺栓检测网络

YOLO 是一种典型的一阶段目标检测算法，其速度快、泛化能力强[10]，其将边界框的回归和目标的分类统一为回归问题。其算法的流程为：首先将图像分成S×S个网格，每个网格负责预测中心落在网格内的目标，并生成B个边界框，共S×S×B个边界框，每个边界框要预测目标的位置信息（x，y，w，h）和预测目标的置信度，此外，每个网格还要预测C个类别信息；然后将边界框置信度与类别概率相乘，得每个边界框的分数；最后通过非极大值抑制（NMS）过滤得到最终预测结果。

YOLOv5 有四个版本，综合考虑模型复杂性和精度，所构检测网络选取YOLOv5s 版本作为基础网络框架，针对巡检图像中螺栓的定位检测问题进行改进（所改进的检测网络记为YOLOv5-GN 网络），以进一步提高检测算法的精度，其具体描述如下。

YOLOv5 整体架构由五个部分组成：输入端（Input）、骨干网络（Backbone）、颈部网络（Neck）、检测头（Head）和输出端（Output），其网络结构如图2所示。

图2 YOLOv5网络结构

Backbone 部分通过一系列卷积操作从输入图片中提取特征信息；Neck 部分将收集到的特征信息进行融合，并生成三种不同比例的特征图；Head 部分利用三个检测头完成对大、中、小尺度目标的检测。YOLOv5 的Backbone采用CSPDarknet53网络，通 过CSP 模块和Focus 模块进行特征提取。在Neck 部分，采用特征金字塔网络FPN（Feature Pyramid Networks）[11]和路径聚合网络PAN，FPN 模块是自上而下的，将低级特征图与经过上采样的高级特征图融合，实现增强的语义特征；而PAN 模块是自下而上的，将定位信息由浅层传输到深层，实现增强的空间特征；两个模块结合共同强化了网络的语义信息和空间信息。Head 层用于生成边界框以预测类别，YOLOv5 采用GIOU_Loss 作为边界框的损失函数，相较于传统的非极大值抑制（NMS）方法更为有效。

1）引入CBAM 注意力机制

由于所定位连接部位的图像中，螺栓所占比例仍然很小，因此识别困难，影响检测精度。因此文中所构建检测网络中引入CBAM（Convolutional Block Attention Module）注意力机制（如图3 所示）。注意力机制源于人类视觉系统特性的研究，使用注意力机制可以增加网络的表征力，即关注重要特征，抑制不必要的特征[12]。CBAM 包含两个独立的子模块，分别为通道注意力模块CAM（Channel Attention Module)和空间注意力模块SAM（Spatial Attention Module)。相较于只关注一方面的注意力机制，CBAM 能同时兼顾两方面，达到更好的效果。

图3 CBAM结构

在CAM中，通过将输入的特征图进行最大池化及平均池化，之后输入到共享全连接层（Shared MLP）中，再将经多层感知机MLP（multilayer perceptron）输出的特征进行基于element-wise 的加和以及sigmoid激活操作，最终生成Channel Attention 特征图。通道注意力模块如图4 所示。

图4 通道注意力模块

在空间注意力模块中，将CAM 模块输出的特征图作为输入，首先做基于channel 的最大池化及平均池化，经concat 操作后进行卷积操作，最后使用sigmoid 激活生成Spatial Attention 特征图。空间注意力模块如图5 所示。

2）引入gnConv 递归门控卷积

经过第一阶段网络对连接部位的定位裁剪，螺栓在巡检图像中的所占比例有所提升，但所占比例仍然很小，网络对于螺栓特征的提取不充分。为此，引入递归门控卷积（gnConv）[13]重构YOLOv5的Neck 网络。

gnConv 模块通过门控卷积和递归设计实现高阶空间交互，使之具有高度灵活性和可定制性，将自注意力中二阶交互扩展到任意阶，并不会引入大量额外计算，且通过引入高阶交互，进一步增强模型容量，具有与自注意力相似的输入自适应空间混合功能。

由于非线性，深度学习模型两个空间位置间通常存在着复杂且高阶的交互，而普通的卷积操作并没有考虑到。而动态卷积操作通过引入动态权重，考虑周边区域的信息交互，以提高模型的性能。

gnConv 利用门控卷积与递归操作可以实现任意阶数的信息交互，进一步提高了模型的表达能力。其结构如图6 所示。

图6 递归门控卷积结构示意图

3）增加检测层

在卷积神经网络中，经过不同卷积层提取的特征图，其图像大小和特征信息都不同。通常浅层的特征图分辨率较高，但语义信息不明显；而深层的特征图分辨率较低，语义信息更加丰富[14]。

原始YOLOv5 模型只有三个检测层，当输入图像尺寸为640×640时，经Backbone 下采样后生成的特征图尺寸分别为80×80、40×40 和20×20，以检测小目标、中目标和大目标。当检测目标过小时通常检测效果不佳[15]，其主要原因是小目标样本的尺寸过小，而网络的下采样倍数比较大，较深的特征图难以学习到小目标的特征信息[16]。

因此文中加入极小目标检测层，在原始Backbone 的基础上加入经四倍下采样输入颈部网络的特征层，使网络更加关注对于小目标的检测，以提升对于螺栓的检测精度。

2 实验结果与分析

2.1 评价指标

为了评价检测网络的性能，采用准确率（Precision）、召回率（Recall）和mAP 值（mean Average Precision）作为评价指标对其进行评价[17]。

目标检测算法的预测结果通常有四种，即预测正确的正样本（True Positive，TP）、预测错误的正样本（False Negative，FN）、预测正确的负样本（True Negative，TN）和预测错误的负样本（False Positive，FP）。

准确率P（Precision）表示预测样本中正样本数占所占有的正样本数的比例，其计算如式（5）所示：

召回率R（Recall）表示预测样本中正样本占所有预测样本的比例，其计算如式（6）所示：

平均精度（Average Precision，AP）的计算如式（7）所示：

mAP（mean Average Precision）的计算如式（8）所示：

2.2 实验数据集

电塔作为电力部门的重要设施，主要对架空线路起支撑和保护作用。为了避免架空线路通过铁塔接地短路，导线和铁塔之间的绝缘主要靠绝缘子串来实现。而输电线路的螺栓主要存在于绝缘子串与铁塔和导线连接的部位，其部位分别为以均压环为主要特征的绝缘子串和导线连接的部位（Equalizing Ring，ER）、绝缘子串与铁塔塔身连接的部位（Tower Body，TB）、绝缘子串与铁塔塔臂连接的部位（Cross Arm，CA）、以屏蔽环为主要特征的绝缘子串和导线连接的部位（Hang Cable，HC）、绝缘子串和导线连接的部位（Cable Tower，CT）。对于各连接部位的螺栓分为正常螺栓（Normal Bolt，NB）和故障螺栓（Defective Bolt，DB）两类。其不同连接部位的两类螺栓样本示例如图7 所示。

图7 输电线路上不同部位的螺栓

实验共收集到输电线路无人机巡检图像共873幅，使用LabelImg 对正常螺栓和缺销螺栓进行标注。螺栓数据集通过一阶段网络的定位切割及额外扩充获得，共计1 364 幅图片，正常螺栓样本为3 023个，故障螺栓样本为1 126 个。

2.3 实验环境和参数设置

所提检测系统使用Python 完成程序编写，深度学习模型基于Pytorch1.11.0 搭建。所用GPU 为NVIDIA RTX A4000，CUDA 版本为11.6。

NanoDet 模型训练中输入的图片尺寸为416×416，学习率为0.001，权重衰减系数为0.05。共计训练500个Epoch，每次训练的Batchsize 为32。YOLOv5-GN 模型训练中输入的图片尺寸为640×640，学习率为0.01，权重衰减系数为0.000 5。共计训练500 个Epoch，每次训练的Batchsize 为32。

2.4 实验结果

通过对数据集进行80%作为训练集，20%作为测试集，不同部位的螺栓的检测实验结果如图8 所示。正常螺栓由螺钉、螺母和插销组成，文中将缺销螺栓定义为故障螺栓。

图8 输电线路螺栓检测结果图示

通过图8 的实验结果可以得出，采用所提级联网络能够较为准确地定位和检测连接部位的螺栓；文中主要针对无插销的故障螺栓的检测，图8 中的结果表明，所提网络可以较好地检测并区分故障螺栓和正常螺栓，其识别率高、误报率低。

2.5 结果分析

实验采用准确率P、召回率R以及mAP 值作为所提方法检测结果的评价指标，以反映其性能。使用NanoDet 对于各连接部位的检测结果及使用YOLOv5-GN 对于各连接部位的检测结果如表1所示。

表1 连接部位及螺栓数据集测试结果

表1 的数据表明，相较于单一网络对于输电线路小目标螺栓无法检测的问题，文中所提级联网络较为理想地完成了对于巡检图像螺栓目标的检测，其效果较好。

另外，利用NanoDet 网络检测连接部位平均每幅图像耗时17 ms，使用YOLOv5-GN 网络检测螺栓平均耗时22.7 ms，总用时39.7 ms；检测速度达到平均25.2 帧/秒，检测速度高于25 帧/秒，即可用于实时检测，因此，所提检测系统符合实时检测的要求。

3 对比与分析

为进一步阐述所提改进模型的有效性，将其与当前典型常用的SSD、YOLOv3 和YOLOv5s 三种目标检测模型进行对比，其对比结果如表2 所示。

表2 不同算法间的对比结果

从表2 的对比结果可得，与其他方法相比，所提方法在准确率、召回率以及mAP 值上的优势都非常明显。主要表现为：（1）相较于YOLOv5s，所提改进方法在精度有较大的提升，并且在检测速度上也有一定提升，表明在保证速度的同时较大提升了检测精度，能够较好地满足线路实时巡检的要求；（2）根据前文所提，单一检测网络无法检测过小目标，若将无人机巡检图像输入各其网络，小目标的特征信息会在下采样的过程中消失，采用级联网络可以较好地克服这种不利因素，且其检测精度还得到了提升。

综合分析结果表明，所提算法对输电线路无人机巡检图像中小目标的正常螺栓和故障螺栓具有较好的检测效果，且检测速度满足实际要求，具有较好的应用价值。

4 结论

针对输电线路无人机巡检图像中螺栓尺寸小且特征不明显等特点，提出一种级联目标检测系统。系统采用两阶段检测流程，第一阶段使用NanoDet网络对初始巡检图像进行处理，定位各连接部位并加以分割处理；再利用改进的YOLOv5-GN 网络对螺栓进行进一步检测。其中，为了达到精度与速度要求，满足巡检实时检测的要求，针对原始YOLOv5s 的Neck 网络进行重构，并进行多尺度特征融合，引入注意力机制，提高了对于小目标的检测精度。同时，采用共收集到的800 幅巡检图像对其进行测试，结果表明，所提级联检测系统在螺栓数据集上的表现良好，在保证检测精度的前提下，提高了对于螺栓的检测精度，其可满足输电线路巡检的实时性要求，具有较好的应用价值。