基于无人机图像处理的输电线路提取技术研究

沙伟燕，何宁辉，丁培，胡伟，李秀广，周秀

(1.国网宁夏电力有限公司电力科学研究院，银川 750011； 2.国网宁夏电力有限公司，银川 750001)

0 引 言

近年来，无人机巡视线路已逐渐深入供电公司各个基层单位，通过提升无人机自动巡检程度可以实现无人机沿既定线路自动巡视跟踪，通过预定程序控制无人机的飞行轨迹，可以实现输电线路的自动跟踪，并且实现输单线路的定时拍摄线路图像[1-3]。但为了更有效提升线路巡视水平，需要提升线路巡视手段，对巡视结果提取关键信息。采用无人机自动导航，并对线路关键部位进行拍摄跟踪，将有助于提取线路安全诊断的关键信息，对提升线路巡视结果有着重要的现实意义[2,4-5]。

随着无人机巡检技术的日益成熟，电网公司逐步引入无人机开展线路巡视[6-7]，2012年国网公司在青海进行的无人机巡检测试，首次实现了高海拔地区线路巡视；2015年南方电网公司在莆田开展无人机巡视试点工作，并实现了输电线路断股的故障识别；2016年福建电网公司利用无人机实现了区域内1000公里的输电线路走廊的巡视，将无人机巡检的应用推向了新的高度。针对无人机拍摄的输电线路图像的提取研究[8-10]：2008年，有人使用Canny算子对拍摄图像进行边缘检测，再利用链码算法对各个像素点进行识别和连接，实现了输电线路的提取；2012年，有人使用Ratio算法对输电线路的边缘进行了提取，并对图像进行了降噪，再结合Ransac算法对像素点进行了拟合，以此完成输电线路的自动提取；2017年，有人利用Ratio-radon和卡尔曼滤波跟踪方法对输电线路的提取。

目前无人机巡检已成为输电线路的主要巡检方法，但是如何准确对拍摄的图像进行提取和识别仍存在较大的困难。当前虽然不少学者对输电线路图像的提取进行了研究。通过对文献调研[11-17]，目前的这些算法未考虑无人机拍摄时周围环境较为复杂导致图像中噪声较多的问题；此外输电线路一般较长，因此不能仅仅使用拍摄图像的方法来进行巡检，这就需要对输电线路进行跟踪。

鉴于此，开展了输电线路的提取和跟踪研究。首先，针对航拍图像中目标与背景对比度相差较小，导致目标与背景区分较难的问题，采用了直方图均衡化处理，较好地解决了对比度相近问题；针对航拍图像中存在噪声信号问题，分别采用中值滤波和双边滤波进行处理，并对比了两种滤波算法的处理效果，结果表明双边滤波算法更能保存输电线路细节部分。其次，对Line Segment Detector (LSD)算法进行了研究，实现了输电线路的边缘提取，一条长线路的提取结果经常为多条短线段，因此使用Hough变换对输电线路进行了连接。最后，对比了粒子滤波和扩展卡尔曼滤波对线路跟踪的效果，仿真结果表明两种跟踪方法的检测准确度分别为94.21%和93.68%，结果相差不大，但是粒子滤波算法处理时间较长，因此对于长距离的输电线路使用扩展卡尔曼滤波即可满足要求。

1 图像预处理

1.1 基于直方图均衡化的图像增强

为提升图像信息提取速度，简化程序算法，对航拍获得的彩色图像进行了灰度化处理，换而言之为将RGB(Red、Green、Blue)三色通道图像转变为单通道图像。进行转换过程中，需要对三种颜色进行赋权，并进行加权平均，从而获得图像各个像素点的灰度值，具体计算公式为：

Gray=Y=R*0.229+G*0.587+B*0.114(1)

由于输电线路所处环境较为复杂，所处光照强度不一，线路与背景的对比度较为相近。为了解决光照的影响，将电力设备与背景图像的草木区分开来，文中采用直方图均衡化处理，提升两者的对比度，具体流程如图1所示。

图1 直方图均衡化流程Fig.1 Histogram equalization process

根据图1所示流程，对航拍图像进行了处理，原图及均衡化处理的结果如图2所示。对比可以看出，经过直方图均衡化处理后的图像对比度比较均匀，图像中的目标元素(电力设备)与背景有了明显区分。

图2 图像处理过程Fig.2 Image processing

1.2 图像滤波去噪

为降低无人机航拍的过程中受到风、烟或者污染物等偶然因素以及数码相机光、电成像设备的特性的影响，拍摄的图像中存在较多噪声，本节采用滤波处理完成图像的降噪。

本节使用两种常用的非线性滤波方法对航拍图像进行处理[18-20]，分别如图3和图4所示。

观察图3、图4，经过中值滤波处理后，航拍图像中的输电线路等细线型元素保存效果较差，存在部分线路段缺失；经过双边滤波处理后，电力设备的各类细节能完好地保留下来。经过对图4分析，σ值(双边滤波算法中值域的标准差)过大，将导致滤波处理后的图像变得模糊，因此为了保留图像更多信息同时又不失真，选择σ=10的双边滤波方法对航拍图像进行处理。

图3 中值滤波处理后图像Fig.3 Median filtered image

图4 双边滤波图像Fig.4 Bilateral filtered image

2 输电线路的提取与连接

2.1 LSD算法的优化

经过前期对各类边缘提取算法的研究，选取LSD算法作为局部线特征的提取算法，其精度更高、能够减少非直线背景的干扰[21-22]。

为保证LSD算法对航拍图像中的各种直线、曲线均能有效提取，对LSD算法进行了优化，通过优化原始算法中部分参数提升了线路检测效率：

(1)梯度阈值。当像素点的梯度值较小时，对应的区域灰度变化较小，不易被认定为边缘区域。在此情况下，按照既定算法流程需对此类像素点进行直线区域生长处理，则将导致线路误检率升高。故在优化LSD算法中，需要对像素点进行处理，避免对梯度值较小的像素点进行直线区域生长，采用阈值法，去除梯度值小于设定阈值的像素点。原始LSD算法中q取经验值2(q是梯度值计算过程中量化效应产生的可能误差)，为了让更多的像素参与直线支持区域的生成，减少漏检率，将q的值设置为1(q越大，图像越模糊)；

(2)角度误差阈值。完成像素点梯度值的排序后，并将小梯度值的像素点进行抑制剔除后，需要对排序后的“未使用”的像素点作为种子点进行区域生长，那么该像素点所在的连通区域角度将随连通域扩大而持续变化，直至达到更新条件。原始算法中差异角t阈值通常为22.5°，优化后的算法中将此参数更改为28°，利于获得最大的直线支持区域面积；

(3)同性点密度。经过角度误差阈值处理后，得到了一系列直线支持区域面积，经过进一步计算处理得到支持区域的最小外接矩形后，获得区域内的同性点。在使用LSD算法时，当同性点与像素点比值小于阈值时，则截断此区域。原算法中控制截断的阈值通常为0.7，在优化后的算法中将其改为0.5，将有助于减少截断的矩形数量，从而提高线段的识别率。

根据上述三点优化算法，对图像进行处理，获得优化前后图像提取的结果，如图5所示。

图5 LSD算子提取图像Fig.5 Image extraction using LSD operator

通过对比图5(a)、图5(b)可知，采用优化后LSD算法处理图像后，电力设备的杆塔、线路关键信息提取的更为全面，设备边缘信息保留的更充足，区域生长得到的线段特征比原算法更长。综合优化后的处理图像结果，保留了设备更多的细节信息，避免了过多线段被截断，实现了初始设定的优化目的。由于处理过程中是对整个图像进行处理，电力设备信息保留更多的同时，背景的干扰短线段同样也增加了较多，故还需对背景图像进行处理，减少电力设备线段提取的干扰因素。

2.2 基于连通域分析的图像背景干扰去除

LSD算法是对图像中的线段进行分割，分别对每个局部的线段进行提取，根据上节处理后的图像中可以看出，图像中存在较多的干扰线段，这些线段主要是从背景图像中提取出来的，将为后续电力铁塔、线路的进一步提取带来较大困难；除此之外，由于线路及杆塔中交叉线路，这也为线段的分割与提取带来一定的困难，本小节将对以上两种问题进行处理。为提升LSD提取线路信息的完整率，降低对设备的误检率，需要对灰度图像进行去噪声处理，去除背景中的干扰短线段，采用几何形态学对干扰短线段进行处理。

对于处理后的灰度二值图像而言，所述连通域即为相邻的白色区域，对各个白色连通区域进行搜索，以此完成连通域分析，本节采用种子填充法对连通域进行分析。

针对航拍输电线路的二值图像，采用种子填充法时，先在经边缘提取后的二值图像中选择种子点，通常选择各个线段矢量的某一端点，开始搜索区域内白色像素点。当搜索区域内不存在白色像素点时，重新选取新的像素点进行处理，依据以上步骤，以此处理区域内的所有白色像素点。当区域内所有像素点均被处理、识别标记后，最终将形成若干个白色像素区域。

经过种子填充法得到孤立短线段，这些短线段的特征是不连通、面积小，基于此可以对得到的各个白色区域进行面积统计，设定筛选阈值从而获得属于电力线路的图像，实现去除背景噪声图像的目的，处理结果如图6及表1所示。

图6 不同邻域不同阈值效果Fig.6 Image extraction using LSD operator

表1 不同阈值下去除的小区域数量Tab.1 Number of small areas removed using different thresholds

根据图6和表1所示结果可知，同一阈值下4领域检测去除的区域数量始终大于8邻域。通过分析，4邻域探测会误将部分面积大于阈值的区域去除。因此，在进行去除干扰的小区域时，采用8邻域探测，从而尽可能保留电力线路的信息。

2.3 输电线路的连接

LSD算法属于局部检测，利用区域生长算法进行图像检测，针对分析的电力线路及设备，由于航拍时光照、拍摄角度、无人机抖动等原因可能使得拍摄到的图像中存在部分模糊区域[23-25]，导致使用LSD检测算法后，原本属于一条线路的线段被提取分割为多条短线段，故需对这些短线段进行连接，还原图像原本特征[26]，本节采用Hough变换对这些短线段进行连接处理，还原原图像中电力线路。

2.3.1 杆塔边缘直线辨别

采用LSD提取后的线段均是有方向的矢量线段，通过对矢量矩阵分析，获得每一线段的起始点和终止点。采用Hough变换后拟合得到的线段也是已知首末端点的矢量线段。已知线段的首末端点坐标，即可得到此线段的两点式方程：

(y-yi2)/(yi1-yi2)=(x-xi2)/(xi1-xi2)

(2)

式中(xi1,yi1)为Hough变换后线段的首端点，(xi2,yi2)为变换后的末端点。

根据直线斜率可以将直线进行分组，直线斜率误差小于设定值δ的为一组，剩余的为杂散直线。斜率相差较大的不平行的杂散直线分割为一组，这部分直线为铁塔轮廓线。

为了提升线段检测正确率，设定了一个阈值，不平行直线小于阈值2，则认为提取的图像中未检测到铁塔轮廓的直线簇，结果如图7所示。在图7(b)中直线簇即为铁塔轮廓，由此可知设定阈值2对于检测电力线路及杆塔轮廓的精度是足够的。

图7 电力塔直线检测结果Fig.7 Detection results of power tower straight line

2.3.2 线路连接结果与分析

根据上述线段处理流程和方法，获得线路及杆塔的直线簇后，将直线簇进行延伸，可还原原始图像。为验证文中线路连接方法的有效性，分别对图像中有、无杆塔的图像进行处理，连接结果如图8和图9所示。分析图8和图9，无论图像中是否含有杆塔，采用此方法均能完好地提取出电力线路及杆塔的边缘信息。

图8 含有杆塔的航拍图像及提取结果Fig.8 Detection results of aerial images with towers

图9 不含杆塔的航拍图像及提取结果Fig.9 Aerial image and extraction result without tower

依据提出的上述图像处理方法，分别对航拍图像进行线段提取，统计得到原始图像中含有杆塔以及不含杆塔的处理结果，获得的结果如表2所示。其中，如果线路信息提取后未将杆塔或线路信息漏检或者误检，则可视为图像检测正确。

表2 检测结果Tab.2 The detection results

分析表2，无论航拍图像中是否存在杆塔，均能取得较好的检测结果，可以将线路纤细完整提取出来。

3 输电线路自动跟踪方法研究

3.1 基于粒子滤波的线路跟踪

使用粒子滤波算法对线路跟踪主要分为四个阶段：初始化、搜索、决策和重采样。下面将对这四个阶段分别进行说明：

(1)初始化阶段。确定需跟踪的对象，并识别获得跟踪目标(跟踪目标即为输电线路)的特征；

(2)搜索阶段。根据xk-1的概率分布进行采样，根据映射关系及约束条件，获得每一粒子与之对应的预测粒子，并计算相似度；通过对各个相似度进行归一化处理，使最终获得的相似度和为1；

(3)决策阶段。采用筛选算法获得正态分布N(0,1)的随机数z，假定z为观测值，计算其条件概率p(z|xk(i))，获得的条件概率即为此粒子的权重值。获得各个粒子的权重值后，采用加权平均，获得图像中预测图像。假定第i个粒子的像素坐标为(xi,yi),该粒子的权重值为wk(i)；

(4)重采样阶段。经过上述三个步骤后，得到各个粒子的权重值，保留权重值较高的粒子，得到真实状态xk。此步骤称为重采样，重采样后得到的粒子反映了图像中各个粒子的真实概率分布。

根据上述四个步骤可以对目标元素下一帧位置进行了预估，从而提升了图像处理效率。

3.2 基于扩展卡尔曼滤波的线路跟踪

采用无人机拍摄的相邻两帧图像基本一致，图像内容不会存在很大的偏差，故航拍所得相邻两张图像的截距变化量与速度变化量基本一致，斜率变化量与角度变化量基本一致[27]。基于此假设，电力线路初始状态可表示为：

(3)

式中θk为电力线运动模型中线路l的第k帧图像与x轴夹角；bk为y轴上的截距；l在第k-1帧图像上与x轴的夹角为θk-1，在y轴上的截距为bk-1。

基于上述假设以及线路的初始状态，通过仿真软件对相邻航拍图像进行跟踪，具体流程如图10所示。

图10 EKF跟踪流程图Fig.10 EKF tracking flow chart

第一步：输入航拍图像，并完成图像的预处理，获得线路的完整信息；

第二步：获取线路的斜率、截距以及无人机飞行速度，并设置初始扩展卡尔曼滤波(Extended Kalman Filter，EKF)参数；

第三步：读取下一帧航拍图像，开始线路的跟踪循环；

第四步：确定输电线路感兴趣区域(Region of Interest，ROI)，并在此区域内进行边缘检测与连接，判断是否满足跟踪条件。如果不满足，则认为跟踪失效，此时返回初始环节，需要对图像的初始化参数进行更新。当判断为图像跟踪成功时，程序自动读取下一帧图像，并完成图像的跟踪处理，直至所有视频图像均完成。

3.3 仿真结果分析

为验证文中算法对实际航拍图像处理效果，对部分航拍图像进行实际检测，选用同一航拍图像分别使用上述两种线路跟踪方法进行过处理，连续4帧跟踪效果图如图11和图12所示。

图11 粒子滤波跟踪结果图Fig.11 Particle filter tracking results

图12 EKF跟踪结果图Fig.12 EKF tracking results

通过观察图11、图12，采用上述两种跟踪方法均能准确提取出相邻图像帧中的电力线路。为了量化两种方法的优劣，通过正确率(图像检测正确数与图像总数的比值)指标进行评价。通过对一定数量的航拍视频进行处理，获得两种跟踪方法的对比。

分析表3，两种跟踪方法的正确率基本一致，均能较好地检测出图像中的线路。在处理时间指标上EKF跟踪算法用时较短，速度更快。简而言之，粒子滤波跟踪算法准确性比EKF算法相差不大，而计算量却是EKF算法的2倍以上，实时性不高。综上所述，针对文中输电线路的跟踪与提取，采用EKF滤波已能满足跟踪要求。

表3 两种算法对比Tab.3 Comparison of two algorithms

4 结束语

综上所述，文章对无人机拍摄的输电线路图像进行了图像提取与跟踪，为后续提升无人机智能巡检的效率以及故障识别提供了基础，经过分析研究，得出以下重要结论：

(1)考虑航拍图像的随机性，拍摄得到的图像中目标元素与背景对比度较为相近，采用直方图均衡化有效提升线路与背景的对比度；同时航拍图像时周围环境较为复杂，通过对比中值滤波和双边滤波处理效果，结果表明使用双边滤波更能保存输电线路的细节；

(2)对预处理的图像使用LSD算法实现了输电线路的边缘提取，针对提取结果经常为多条短线段的问题，使用了Hough变换实现了输电线路的链接，完成了输电电路的提取；

(3)基于对粒子滤波和扩展卡尔曼滤波两种的分析，分别对相同的实际拍摄视频帧图像进行处理，检测准确度分别为95.34%和94.72%；但由于EKF滤波算法平均图像处理时间要小于粒子滤波跟踪算法，因此利用EKF滤波建立的ROI就能满足输电线路的跟踪要求。