基于深度学习的煤矸石计量研究

秦 雷,张富民,李亚威,田亮亮

(1.济宁市金桥煤矿,山东 济宁 272200;2.中信重工开诚智能装备有限公司,河北 唐山 063020)

0 引言

皮带是煤炭运输的主要方式,在运送煤炭的皮带上常常存在大块矸石,不仅影响煤炭质量,而且影响运输带的工作状态,在皮带高速运转过程中,容易造成皮带划伤、撕裂、堵塞等问题。煤炭运输带的工作状态直接影响煤炭的开采和运输量。因此,为了保证煤矿的生产质量和生产安全,助力矿山数字化、智能化快速发展,对皮带矸石进行计量具有重要意义。

许多学者尝试深度学习方法计量矸石,张永超等[1]使用机器视觉算法SSD对煤矸石进行检测。何江等[2]设计一种基于AlexNet网络的煤矸石检测方法。任国强等[3]设计了Fast_YOLOv3算法检测小目标异物;杜京义等[4]提出一种改进YOLOv3模型对异物进行检测;ZHANG等[5]采用基于深度学习的YOLOv4算法对煤矸石进行检测。PAN等[6]提出一种改进的基于SE模块的快速YOLOv3识别模型。PU等[7]采用图像识别模型VGG16和迁移学习的思想,以解决新模型训练参数困难问题。LI等[8]提出一种基于可变形卷积YOLOv3的煤矸石检测与识别算法。LV等[9]采用分组卷积和基于空间注意设计的结构检测煤矸石。然而,基于目标检测的矸石检测方法虽然能够克服背景影响,有效分检测矸石特征,但很难对矸石进行精确的形状和面积评估。

为了对皮带矸石进行有效计量,需要计算更加精确的皮带矸石信息。基于深度学习的实例分割算法能够对皮带中每个矸石进行分类、定位和分割,可以更好地完成矸石计量工作,基于深度学习的实例分割算法包括Mask R-CNN[10],YOLACT[11]等,其中单阶段实例分割算法具有较高的分割速度,更适合应用于传送带等高速检测的场景。GAO等[12]和LAI等[13]通过基于深度学习的分割方法实现对矸石的分割。

针对皮带中的矸石计量问题,结合图像处理和深度学习方法。首先,对图像进行预处理,包括滤波、光照增强。然后,采用轻量级的残差结构作为Yolact算法的特征提取主干,降低模型的计算量,提升算法的推理速度。最后,二值化实例分割后的结果,引入像素统计机制,单独分离皮带中的矸石,精确计算每个矸石的面积。通过组建矿用皮带异物分拣系统,验证皮带矸石计量算法的可行性,实现皮带中矸石的精确统计。

1 矿用皮带矸石分拣系统

系统工作流程如图1所示,通过高速相机对现场皮带表面矸石信息进行高速采集,通过现场高性能计算机对采集的信息进行分析和处理,识别出皮带上的大块矸石,利用图像处理技术计量矸石的面积。最后通过移动的机械手将识别到的矸石从高速移动的皮带上分拣。矿用皮带矸石分拣系统能与自动化设备实现智能联动控制。矿用皮带矸石分拣系统可将采集到的信息上传至控制中心,方便工作人员监控和管理。

图1 矿用皮带矸石分拣系统工作流程Fig.1 Work flow of mine belt gangue sorting system

2 算法架构

2.1 模型架构

相比于传统基于阈值的分割算法如大津阈值法(OSTU)[14],基于深度学习的分割算法可以自主学习皮带中矸石的特征,让机器自主学习目标的特征,而免去人工选取过程。

如图2所示,在分割矸石的过程中需要进行大量的计算,煤矿皮带具有较高的速度,所以在设计矸石分割网络时,要同时考虑网络的提取特征能力、网络参数量、网络执行效率等问题。为了让实例分割网络具有更少的参数量,提高网络的分割速度,采用残差结构作为特征提取部分的主干网络,残差结构可以有效减少运算参数,同时保证特征信息的空间流动性。

图2 改进的Yolact网络架构Fig.2 Improved Yolact network architecture

根据煤矿环境下皮带异物对比度低、尺度变化大的特点,采用多个预测层,P3、P4、P5层分别具有不同深度的特征信息,将不同预测层的信息相融合,提高了对异物图像的整体感知能力。设定3个尺度的预选框,不同预选框同时对皮带矸石进行预测,提高实例分割网络的辨识精度。

Yolact异物实例分割网络将分割任务分解为目标框预测(Prediction)和蒙版预测(Protonet)2个子任务,并行的运算过程加快了特征提取的速度。在图2中,通过P3层获得一组和图像尺寸相等的原始蒙版,通过网络预测头产生原始空间中每个实例的蒙版系数,经过非极大值抑制后的空间向量与原始蒙版线性组合,产生最终的皮带异物蒙版。原始蒙版和蒙版系数并行计算,减少了网络的计算时间。

2.2 特征提取结构

传统的特征提取主干如ResNet采用标准卷积运算[15],将输入的特征图与卷积核进行点乘并求和,到输出特征图中的一个通道。将输出的单通道特征聚合,获得新的结果特征图。但标准卷积的计算量较大,如图3所示。深度可分离卷积(Depth Separable Convolution,DSC)具有较少的计算量。DSC首先对输入图像单通道特征进行计算,单通道计算效率较高,但不能结合各通道特征信息,为了融合不同通道的特征信息,DSC通过创建逐点卷积层进行不同通道特征融合。DSC的计算量P为

图3 Inverted Residual结构Fig.3 Inverted Residual structure

P=higwigdi(k2+dj)

(1)

式中,k为卷积核大小;hi为特征图的高;wi为特征图的宽;di为特征图深度;dj为逐点卷积深度。

通过扩增维度的方式,增加图像的信息量,保留更多皮带中的矸石信息。DSC运算后,将图像特征转换到原始维度,图像维度的减小即意味着特征描述容量的减小,ReLu函数有较高的概率使某一维度的特征向量值为0,会损害图像特征,所以采用线性变换层进行维度转换[16]。为了保证特征传递的有效性,通过残差连接的形式,融合图像底层信息。

2.3 预测输出原理

如图2中P5所示,特征图上的每个像素点会分配3种尺寸的候选锚框。Yolact的每个候选锚框可以预测目标框位置向量B,类别置信度向量C和蒙版系数向量F。采用置信度阈值过滤掉置信度低的候选框,使用NMS过滤掉重叠的候选框[17]。蒙版系数预测时使用tanh函数进行非线性激活[11],tanh函数的分布范围为(-1,1)。

Yolact网络的损失函数包括位置损失函数、类别置信度损失函数、蒙版系数损失函数,位置损失函数采用Smooth_L1函数[11],可以有效缓解因控制候选锚框与真实框之间的差别所导致的梯度值均衡问题。类别置信度损失函数采用Focal_Loss函数[11],在训练过程中,可以提高正负、难易样本的均衡性。蒙版系数损失函数采用二进制交叉熵函数。损失函数为

(2)

L=LB+LC+LF

(3)

式中,LBCE为二进制交叉熵;ti为目标信息;oi为输出信息;L为总损失函数;LB为位置损失函数;LC为类别置信度损失函数;LF为蒙版系数损失函数。

2.4 矸石轮廓跟踪

使用开源跨平台计算机视觉库OpenCV中的中心距函数Moments、检测轮廓函数FindContours和轮廓面积函数ContourArea,分别计算每个矸石的面积信息,对不同矸石进行精确的定位。基于SUZUKI等[18]提出的边界跟踪算法,标记轮廓点。标记序号N的初始值为1,提取过程如下所示。

①以(i,j)为中心,(i2,j2)为起点,设定顺时针第一个非零像素点为(i1,j1)。

②(i2,j2)=(i1,j1),(i3,j3)=(i,j)。

③以(i3,j3)为中心,按逆时针方向,邻域内第一个非零点为(i4,j4)。

④(i3,i3+1)不是③中已经检查过的零像素点,并且fi3j3=1,则fi3j3=N+1。

⑤(i2,j2)=(i3,j3),(i3,j3)=(i4,j4),转到第③步骤。

如图4(a)所示,已经找到第一个轮廓点I0和最后一个轮廓点I1,并且找到了第2个轮廓点I3,此时以I3为中心点,在8邻域内找到非零点I4;如图4(b)所示,边界追踪算法判断I4是新的轮廓点(即第3个轮廓点),让I3指向它,更新I3位置,该点作为当前中心点,在8邻域内寻找非零点,更新I4位置;根据上述过程,最终标记外边界轮廓。

图4 边界跟踪过程Fig.4 The process of boundary tracking

3 实验与分析

3.1 数据集

在某煤矿现场采集皮带中的矸石图像,通过先验知识筛选训练数据集,数据集包括3 085张宽高尺寸为1 950×1 080的带矸石的输送带图像。用LabelImg软件对矸石数据集进行标注,按照7∶2∶1的比例划分为训练集、验证集和测试集。对数据集进行高斯滤波和直方图均衡化增强。如图5(a)所示为矸石(Stone)图像。

图5 矸石检测可视化Fig.5 Visualization of gangue detection

3.2 评价指标

通过每秒检测帧数(Frames Per Second,FPS)评价模型推理速度。通过准确率P评价算法的准确性。准确率P为

(4)

式中,NTP为皮带中矸石预测正确的个数;NFP为皮带中矸石预测错误的个数。

3.3 实验结果

结果可视化:通过加载训练过的矸石识别参数,实例分割网络可以精确检测不同异物类型。其中,图5(b)是矸石检测结果图,图5(c)是矸石实例分割图,图5(d)是矸石二值化分割图。图5中英文符号Stone为矸石标签,数字为矸石的置信度信息。

结果分析:为了对煤矿皮带矸石进行有效计量,需要分拣算法自动读取皮带异物的位置信息和边框轮廓信息。基于像素点的分类和统计机制,Yolact网络可以精确计算每个皮带异物的面积,见表1。

表1 矸石形状信息

同时对实例分割网络Yolact和改进的Yolact算法进行混合样本实验,实验分为3组,每次实验增加50个皮带矸石样本。实验显卡环境为Nvidia Gefore GTX 1650。检测准确率结果见表2。

表2 矸石识别测试结果

从表2可以看出,Yolact和改进后的Yolact算法对皮带异物分拣具有较高的准确率。Yolact算法的检测速度为23.57 FPS,权重仅为117.00 m。改进后的Yolact算法的检测速度为30.72 FPS,权重仅为25.7 m。更高的检测速度和较小的模型权重更适合煤矿皮带场景部署。

4 结论

(1)基于深度学习的矸石实例分割算法可以准确定位和分割矸石特征,利用残差结构可以加快实例分割速度,使得改进后的Yolact实例分割网络在准确分割的前提下,具有较高速度。

(2)实例分割后的矸石结果边界更加清晰,在算法后处理过程中引用源跨平台计算机视觉库OpenCV中的轮廓检测算法和轮廓面积算法,使网络能够对矸石进行有效计量。