基于双层路由注意力机制的煤粒粒度定量分析

程德强， 郑丽娟， 刘敬敬， 寇旗旗， 江鹤

（1.中国矿业大学 信息与控制工程学院，江苏 徐州 221000；2.中国矿业大学 计算机科学与技术学院，江苏 徐州 221000）

0 引言

随着煤炭工业不断发展，煤粒粒度成为直接影响分析煤中甲烷气体传播规律的关键因素。不同粒度的煤粒对甲烷气体的吸附、扩散及释放等过程表现出显著差异[1-2]。因此，煤粒粒度分析成为煤炭工业生产和能源利用领域的重点和热点研究内容。

传统的煤粒粒度分析方法包括筛分、液体排量和激光粒度分析等[3-4]，这些分析方法通过直接测量煤粒的筛选情况、沉降速度或光散射等物理特性来获取煤粒的粒度信息。尽管这些方法在煤炭工业中有一定的应用，但它们在准确性、效率方面都存在限制，难以满足现代工业生产的需求。

近年来，随着图像处理技术的快速发展，许多学者采用图像分析法对煤粒粒度进行测量。文献[5]利用图像采集系统获取煤粒的二维图像，通过形态学方法测量粒度在1～2 mm的煤粒，进而推导出煤粒的粒度分布对甲烷气体扩散系数的影响。但使用二维方法[6-7]对煤粒粒度进行研究时，常会面临图像噪声、煤粒形状多样性等挑战。文献[8]使用X射线计算机断层扫描技术，以微米级分辨率图像直观展示颗粒的三维粒度特征。由于X射线计算机断层扫描仪价格昂贵，难以在实验室中进行大规模应用。随着计算机视觉技术的快速发展，基于深度学习[9]的语义分割网络在处理复杂煤粒图像时表现出色，能够获取更为准确的煤粒粒度特征。文献[10]提出了一种基于区域的卷积神经网络，用于煤粒图像的分割，但由于缺乏路由模块，导致网络会过度关注像素之间微小的差异，从而造成过分割的问题。文献[11-12]以U型网络对煤尘颗粒图像进行分割，成功获取了煤粒粒度特征，证明了U型网络可较好地满足煤粒粒度分析的要求，且具有良好的知识迁移性，但直接使用U型网络对煤粒进行分割时，传统的跳跃连接不能很好地处理煤粒图像像素之间的长程依赖性，从而造成漏分割情况。

为解决在煤粒分割过程中出现的过分割和漏分割问题，本文提出了一种基于双层路由注意力机制（Bi-level Routing Attention，BRA）的煤粒粒度定量分析模型。首先，在残差U型网络ResNet-UNet中嵌入BRA模块[13]，得到B-ResUNet网络模型。然后，对分割出的煤粒提取特征信息，采用等效圆粒径获取煤粒粒度及粒度分布。

1 煤粒分割网络模型

1.1 ResNet-UNet网络

ResNet-UNet在U-Net基础上使用34层残差网络作为编码器，并使用7×7卷积核来提取图像特征，这样的设计使得ResNet-UNet具有出色的空间感知能力，能够捕获更多上下文信息，提取更全面的特征。直接将ResNet-UNet网络应用于煤粒的分割时，由于煤粒图像像素之间的依赖性，上下文信息在网络传输中常常会丢失，从而造成漏分割的情况；对于大小和形状相似的煤粒来说，ResNet-UNet网络会过度关注像素之间微小的差异，从而造成过分割的问题。

1.2 BRA模块结构

BRA模块是一种通过双层路由机制实现的自适应注意力模块，其结构如图1所示。其中，双层路由机制由区域级路由和令牌级路由组成，这2个级别的路由有助于理解特征在不同路由区域之间的传递过程。

图1 BRA模块结构Fig.1 Structure of the BRA module

将H×L（长×宽）的二维输入特征图分为s×s个不重叠的区域，从而得到输入特征图中的特征向量。通过对这些特征向量进行线性映射，可得到查询张量Q、键张量K和值张量V。

式中：xr为重塑后的特征图；LQ，LK，LV分别为查询张量、键张量、值张量在网络中对应的权重。

采用Q、K的平均值进行区域级路由计算，并推导出区域级查询张量Qr和区域级键张量Kr，将Qr与Kr的转置矩阵相乘，得到区域间的邻接矩阵Br。在注意力机制中，top-k策略[14]是一种选择前k个最大或最小元素的算法。使用top-k策略选择邻接矩阵Ar的前k个最大元素，并通过topkindex方法返回这些元素的索引地址，将其保存在矩阵Fr中，以此来高效地定位有价值的键值对。

式中Γ（·）为topkindex方法。

索引地址在Fr中的分布是分散的，因此使用gather算法[15]从Fr中收集离散的键张量K和值张量V。为了捕捉路由区域中不同令牌之间的语义关系，采用细粒度的注意力机制。为增强上下文信息，在网络模型中引入局部上下文增强数据U[16]。

其中：Kg为聚合键张量；G（·）为gather算法；Vg为聚合值张量；O为BRA模块最后的输出；Z(·)为注意力计算函数。

1.3 B-ResUNet网络模型结构

为减少在煤粒分割过程中出现的漏分割问题，在ResNet-UNet网络的上采样前添加BRA模块，使网络根据上一层的特征调整当前特征层的重要性，增强特征的表达能力，提高长距离信息的传递能力。同时，为减少在煤粒分割过程中出现的过分割问题，在ResNet-UNet网络的特征拼接模块后添加BRA模块，通过动态选择和聚合重要特征，实现更有效的特征融合。

B-ResUNet网络模型主要由编码器和解码器组成，并借助跳跃连接实现了不同特征层的融合，其结构如图2所示。

图2 B-ResUNet网络模型结构Fig.2 Structure of B-ResUNet network model

在编码器部分，本文以34层预训练残差网络为基础，通过5次下采样来提取图像的底层语义特征。首先对输入图像进行7×7的卷积处理，并利用3×3最大池化层提取图像的重要信息。然后，使用4组通道数不同的残差块（3个通道数为64的残差块、4个通道数为128的残差块、6个通道数为256的残差块和3个通道数为512的残差块）对输入向量进行特征融合，以缓解网络梯度消失的现象。每个残差块由2个3×3卷积层和非线性激活单元组成，如图3所示。其中，Xl为残差块的输入，l为神经元的层数，f(·)为残差网络的映射函数，Yl为残差块的最终输出。最后，使用2×2的最大池化层进行池化。在解码器部分，网络通过5次上采样操作恢复编码器输出的语义特征，从而实现对图像的精准分割。将解码器输出的结果与原始图像尺寸相匹配，得到煤粒分割图。

图3 残差块Fig.3 Residual block

2 煤粒粒度分析

通过对分割出的煤粒提取特征信息，成功获取煤粒粒度及粒度分布，这对于量化甲烷气体传播规律和优化煤炭加工工艺具有重要意义。鉴于煤粒形态的多样性，不同煤粒粒度表征方法可能引起不同程度的误差[17]。因此，为了精确表征煤粒的粒度，选择合适的粒度表示方法至关重要。

等效圆粒径[18-19]是将颗粒的实际形态近似为具有相同面积的圆形，通过计算该圆形的直径来获得等效粒度，其等效过程如图4所示。本文所制作的煤粒数据集中的粒度与细胞大小相当，且形态复杂多样，因此，采用等效圆粒径来表征煤粒的粒度大小。

图4 等效圆粒径原理Fig.4 Principle of the equivalent circular particle size

式中：D为等效圆粒径；e为煤粒的实际面积。

在使用等效圆粒径方法计算煤粒的像素粒度大小时，为了将像素转换为实际尺寸，以确保粒径测量的准确性，须确定像素与实际长度之间的转换比例系数[20]。首先校准图像中的像素大小，将像素转换为实际尺寸。接着，进行图像系统的标定，以建立图像中像素坐标与实际物理坐标之间的转换关系，从而确保粒度分析的准确性和可靠性。

选用边长为5 mm的正方形[21]作为标定对象。

式中：∂为长度比例系数；M为单位长度；E为单位长度的像素数；S′为实际的粒子面积；S为粒子以像素为单位的面积；P′为实际粒子周长；P为粒子以像素为单位的周长；d′为实际粒子直径；d为粒子以像素为单位的直径。

3 模型数据及训练

3.1 数据集构建

基于深度学习的煤粒分割网络需大量数据进行训练，但网上缺乏开源的煤粒数据集。因此，本文制作了煤粒数据集。首先，从永煤集团股份有限公司顺和煤矿随机选取粒径为1～2 mm的4 000多个煤粒，并将它们编组为1—6。然后，使用Labelme[22]对煤粒进行标注，并对标注后的图像进行数据格式转换和可视化，可视化结果如图5所示。最后，为提高煤粒图像质量并突出煤粒粒度特征，对煤粒图像进行了预处理，其中包括图像灰度化和二值化、高斯滤波和网格畸变、翻转等。在网络训练过程中，按照5∶2∶1的比例将煤粒数据集划分为训练集、验证集和测试集。其中训练集和验证集用于网络模型训练，测试集用于网络模型评估。

图5 煤样可视化结果Fig.5 Visualization of coal sample

3.2 超参数设置与模型训练

本文使用Pytorch1.12深度学习框架，在Windows10操作系统下进行煤粒的分割实验。硬件环境为AMD Ryzen 55600x处理器、16 GiB内存和Nvidia GeForce RTX 3060 12 GiB显存GPU。在自建的煤粒数据集上，利用34层残差网络的预训练模型进行训练。训练轮数为15，训练步长为1，批处理尺寸为2。训练集包括约2 500个形态各异的煤粒，在训练过程中，优化器为AdamW，其学习率为0.001，权重衰减因子为0.01，动量参数β1和β2分别为0.9和0.999。使用交叉熵损失函数来计算网络输出结果与真实标签之间的差异，并添加L2正则化项来减轻过拟合。为加快网络模型的收敛速度，采用OneCycleLR训练策略调整学习率。

式中：J为网络总损失；η为煤粒的真实标签；为网络模型的预测概率；ψ为L2正则化项的超参数；||w||2为权重w的L2范数。

3.3 评估指标

采用准确率、平均交并比、召回率作为网络模型的评价指标。

式中：A为准确率；NTP为模型正确预测为正类的样本数；NTN为模型正确预测为负类的样本数；NFP为模型错误预测为正类的样本数；NFN为模型错误预测为负类的样本数；I为平均交并比；R为召回率。

4 实验结果与分析

4.1 煤粒分割实验

4.1.1 对比实验

为评估B-ResUNet在煤粒分割任务中的性能，将B-ResUNet网络模型与PAN[23]、PSPNet[24]、U-Net[25]、Link-Net[26]和ResNet-UNet[27]网络模型进行对比，结果见表1，从6组煤样中随机选取4组煤样进行对比，不同网络模型的语义分割结果如图6所示。由表1可看出，B-ResUNet网络模型在所有的分割指标中都取得了最佳结果。B-ResUNet网络模型的准确率、平均交并比、召回率较ResNet-UNet基础网络模型分别提高了0.6%，14.3%，35.9%，这说明BRA模块在提升分割性能方面的优越性，证明了B-ResUNet网络模型的卓越性。

表1 不同网络模型评价指标对比Table 1 Comparison of the evaluation indexes of different network models%

图6 不同网络模型的语义分割结果Fig.6 Semantic segmentation results for the different network models

由图6可看出，PAN、PSPNet、U-Net、Link-Net和ResNet-UNet网络模型在煤粒分割过程中都存在不同程度的过分割和漏分割问题，B-ResUNet网络模型在4组煤样中具有较好的分割效果，能够检测出较为完整的颗粒结构。这是因为在B-ResUNet网络中加入的BRA模块使模型更加关注与分割相关的语义信息，忽略与模型无关的特征信息，从而突出煤粒边界区域特征，有效改善颗粒分割效果。

4.1.2 消融实验

为测试B-ResUNet网络模型的效果，进行消融实验。分别对比在解码器结构的特征拼接后和上采样前引入BRA模块的情况，实验结果如图7所示，各模型性能见表2。可看出在没有引入BRA模块的情况下，网络的特征提取效果最差，难以有效区分煤粒目标和背景；当在解码器结构的上采样前或特征拼接后引入BRA模块时，网络开始对煤粒的边缘区域产生一定的关注，但关注程度并不是很高；在解码器结构的上采样前和特征拼接后均引入BRA模块时，网络对煤粒的边缘区域给予了足够的关注，且对一些不太重要的区域减少了关注度，从而提高了网络的计算效率，B-ResUNet网络模型的准确率、平均交并比、召回率分别为99.6%，92.6%，94.4%。这说明BRA模块的引入对于改善分割性能和提高运行效率起到了积极的作用。

表2 各网络模型性能Table 2 Network performan%

图7 BRA模块的消融实验Fig.7 Ablation experiments of the BRA module

4.2 煤粒粒度分析

为获得更准确的煤粒粒度分布，首先采用B-ResUNet语义分割网络对6组煤粒图像进行了分割。随后，利用等效圆粒径的方法表征煤粒粒度，从而得到了6组煤粒粒度分布直方图，如图8所示。可看出6组煤样的粒度分布接近正态分布，表明煤粒的粒度大小在1～2 mm内呈相对均衡的分布趋势，说明本文方法在粒度分析方面具有一定稳定性。粒度在1～2 mm内的煤粒占比最大为99.04%，最小为90.59%，表明本文方法在粒度分析方面具有较高的准确性。

图8 6组煤粒的粒度分布Fig.8 Particle size distribution of six groups of coal particles

为进一步验证本文方法的可靠性和优越性，采用本文方法、基于形态学的测量方法和基于激光粒度分析（Laser Particle Analyzer，LPA）的测量方法对6组煤样在1～2 mm内的粒度分布进行了对比，结果见表3。

表3 不同方法测量粒度的准确率Table 3 Accuracy of particle size measurement by different methods%

由表3可看出，使用本文方法测量大小在1～2 mm范围内的煤粒粒度准确率较基于形态学的测量方法、基于LPA的测量方法分别提高了12.92%，35.24%，准确率最高达97.42%。

5 结论

1） 为了更好地对煤粒图像进行分割，设计了B-ResUNet语义分割网络。与6种经典语义分割模型进行评估对比，B-ResUNet网络模型准确率、平均交并比、召回率分别为99.6%，92.6%，94.4%，有效缓解了在分割煤粒的过程中出现的漏分割和过分割的情况，为获取准确的煤粒粒度分布提供了可靠的基础。

2）通过深度学习和图像处理相结合的方法，得到了煤粒的粒度分布，并与基于形态学的测量方法和基于LPA的测量方法进行了对比。结果显示，基于双层路由注意力机制的图像处理方法的准确率较基于形态学的测量方法、基于LPA测量方法分别提高了12.92%，35.24%。

3） 深度学习技术对训练数据集的质量要求较高，且数据集越大、标注越精确，效果越好，这增加了方法的难度。因此，未来在煤粒粒度分析方面，需建立适用于广泛场景且具有高准确度的深度学习模型，以进一步推动该领域的发展。