基于SE_ResNeXt-50 的小麦不完善粒分类研究

熊浩添，王鹏博，刘亚孰，蒋玉英*，王 飞，高 辉

（1.河南工业大学 人工智能与大数据学院，郑州 450001；2.河南工业大学 信息科学与工程学院，郑州 450001）

粮食安全是国家安全的战略基础，事关全面建成社会主义现代化强国[1]，小麦作为我国最重要的农作物之一，保障小麦栽培质量和安全储藏为我国粮食安全和社会稳定起到了关键的作用。其中，小麦不完善粒是指已受损伤但仍有使用价值的小麦粒，包括破损粒、虫蚀粒、病斑粒（赤霉粒和黑胚粒）、发芽粒和霉变粒等。不完善颗粒的含量是对小麦种子定级及对储藏小麦定质的关键指标。目前小麦质量检测工作普遍是由专业质检人员使用目测法[2]或使用小麦色选机[3]等传统方式进行，传统的分类检测方法主观性强、工作量大、效率低且人力成本较高[4]。因此，实现小麦不完善粒的快速、精准、无损检测是我国亟待解决的问题。

近年来，国内外研究学者对小麦不完善识别展开了大量的研究。张玉荣等[5]采用Python-OpenCV 图像处理技术对小麦不完善粒识别研究。于重重等[6]采用CNN 神经网络，利用高光谱成像技术建立CNN 模型，实现了小麦不完善粒的检测；曹婷翠等[7]提出一种基于LeNet-5 构建神经网络的双面图像进行识别，准确率达到90%以上。陈文根[8]构建了一种五层卷积的神经网络深层次挖掘9种不同小麦的信息，准确率达到94%。Saeed 等[9]采用人工神经网络（ANN）和粒子群优化（PSO）算法相结合的方式对视频进行处理，实现对小麦粒杂质的识别，准确率达到97%以上。Barbedo 等[10]研究了使用近红外（NIR）高光谱成像（HSI）检测小麦籽粒中的芽害，证实了近红外光谱范围对检测小麦籽粒化学变化的有用性。但是这些方法没有很好地挖掘小麦的不完善粒的深层次特征，检测精度和检测目标的多样性有待提高。

本文以小麦单籽粒为研究对象，通过结合图像处理技术和SE_ResNeXt-50 网络的深度学习模型，实现小麦病斑粒、虫蚀粒、发霉粒的快速、无损、精准检测与分析，在提升小麦不完善粒分类检测精度的同时兼顾后期系统成品实用性和可行性，在提升生产工作效率同时，大幅降低了小麦粒在分类筛选阶段的损耗率，降低生产成本。

1 材料与实验设备

1.1 样本准备

小麦不完善粒样品的培养和数据采集均在河南工业大学粮食信息处理和控制教育部重点实验室完成。其中，小麦完善粒样本是在河南兴隆国家粮食储备库自行购买。将一部分完善粒样本按照GB 1351—2008《小麦》国家标准培养了病斑粒、虫蚀粒、发霉粒等3 类不完善粒。虫蚀粒：将完整的小麦粒放入有玉米象虫的培养皿中；发霉、病斑粒：在特定湿度和温度下的培养箱中培育而成。

1.2 图像数据采集系统

实验采用河南工业大学粮食信息处理和控制教育部重点实验室粮食信息智能技术及系统团队的图像数据采集系统。该图像数据采集系统由海康威视高清工业相机、MVS 多视图密集重建算法、小型电磁振动台、密胺材质黑色托盘构成，数据采集系统及拍摄设备如图1 所示，系统具体参数见参考文献[11]。

图1 数据采集系统

1.3 开发环境

开发环境由硬件环境和实验平台2 部分组成。

硬件环境：处理器为AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz，图像处理器为NVIDIA GeForce GTX 1660ti。

实验平台：Windows 10 操作系统上的飞桨Paddlep－Paddle 1.8.0 深度学习框架，运行环境为GPU Tesla V100 Video Mem 32GB，python 3.7。

2 图像采集与预处理

2.1 图像采集

图像采集时，使用MV-CE100-30GC 工业相机，结合电磁振动台，频率50 Hz，垂直振动，促使麦粒均匀分布，同时采用不反光密胺材质的黑色托盘，增加小麦籽粒与背景的对比度，避免因背景在拍摄过程中对小麦图像造成干扰，结合配套的MVS 多视图密集重建算法来获取小麦图像。同时，为解决小麦籽粒上下重叠或边缘粘连等问题，将黑色托盘做了改进，在托盘的固定位置留出数个小麦籽粒大小小坑，通过结合托盘下的电磁振动台，可以使小麦粒均匀分布，利于采集到的小麦图像清晰、有效。使用MVS 获取小麦图像如图2 所示，小麦单籽粒形态、颜色、轮廓等特征信息完整、清晰呈现。

图2 小麦原始图像

2.2 图像预处理

为了便于深度学习网络对小麦不完善粒特征提取，将MVS 获取到的小麦不完善粒原始图像进行分割。根据黑色托盘上固定的放置小麦籽粒的点位，使用Python 坐标分割的方法将大图分割为小麦单籽粒图像。数据清洗时，使用图像降噪法、插值法对不可信的图片数据以及缺失值和异常值进行处理，增强样本的区分度，提升模型精度。为增加样本数据量，采用线下图像扩充和实时扩充的概率图像增强操作，模型训练前对数据样本进行强制缩放图片（通过PIL 图像库中resize 方法），增加随机旋转角度（取numpy 库中randint 方法范围在-14~15，再放入PIL 库中rotate 方法），调整亮度、对比度、饱和度、色度等处理，得到由1 800 张图片组成的小麦不完善粒数据集。数据集共计4类，分别为完善粒、病斑粒、虫蚀粒、发霉粒，见表1。随机抽取每类小麦粒中的90%的小麦单籽粒图片作为训练集，其余10%的图片为测试集，即训练集为1 620 张小麦单籽粒图像，测试集为180 张小麦单籽粒图像。

表1 小麦不完善粒数据集 张

3 分类方法

3.1 残差网络

为了解决当卷积网络到达一定深度时就会出现训练错误不降反增的问题，本文引入了残差网络。残差学习是残差网络的方式方法，其由数个stack layers 组成的拟合底层映射称为H（x），x 表示第一层的输入信息。通过实验发现有多个非线性层可以逼近复杂函数（1）并逐渐接近残差函数（3）。因此，期望让stack layers 近似趋向于残差函数而不是H（x）。

基于残差学习的概念函数，残差网络是在普通网络的基础上插入了一个快捷连接，当维度增加时，可以直接使用身份快捷键公式（1），为增加维度填充额外的零项且并不引入额外的参数，从而达到修正升维降维的错误。残差网络由一系列残差块组成，一个残差块可以用公式表示为（1），网络的一层通常可以看做（2），而残差网络的残差块也可以表示为（3）

在单位映射中，公式（4）便是观测值，而H（x）是预测值，F（x）便对应着残差。

3.2 分组卷积

3.2.1 分组卷积的流程

分组卷积稀疏卷积的一个特殊用法。实验的训练环节中包括2 个阶段：第一阶段是压缩阶段，先通过稀疏性诱导的正则化重复训练网络进行固定次数的迭代，再通过剪枝权值较低的不必要滤波器。第二阶段是优化阶段，通过对滤波器效果择优，对其进行分组固定处理。在实验过程中，要确保被剪枝的过滤器来自同一个分组并且共享相同的稀疏模式。

3.2.2 正则化器的选择

为了减少权重剪枝对精度的负面效果，实验引入组级稀疏性，在同组下的卷积滤波器使用相同的输入特征子集来进行凝聚[12]。在实验训练过程中使用Group-Lasso正则化方法将FG 列的所有元素推到零，平方根中的项被该列中最大的元素所控制，从而产生了所要达到的组级稀疏性[13]。以下为Group-Lasso 正则化器

3.2.3 冷凝因子及过程

训练后，去除修剪后的权值，并将稀疏模型转换成具有规则连接模式的网络，可有效提高设备的计算能力，因此，引入一个索引层来实现特性选择和重排操作。索引层输出中的卷积滤波器被重新安排，以适应常规组卷积的现有（和高度优化的）实现。在训练过程中，1×1 卷积是一个学习的群卷积（L-CONV），而在测试过程中，在索引层的帮助下，则变成了一个标准的群卷积（G-CONV）。

3.3 Squeeze-and-Excitation

Squeeze-and-Excitation 是一个计算结构模块，其可以嵌入到X∈RH’×W’×C’映射到特征映射U∈RH×W×C的卷积操作中。设Ftr为一个卷积操作，并用V=[v1，v2，...，vC]来表示学习到的滤波器核集合，其中vC指的是第C 个滤波器的参数[14]。然后可以将输出写为U=[u1，u2，...，uC]

运用到ResNeXt-50 网络中，通过显著改变信道的相互依赖关系来增强卷积特征学习，从而提高网络对信息特征的敏感度。Squeeze-and-Excitation 模块可以为网络提供全局信息的访问，通过Squeeze（挤压）和Excitation（激励）2 个步骤重新校准滤波器响应。SE_ResNeXt-50 模块如图3 所示。

图3 SE_ResNeXt-50 模块

3.3.1 Squeeze——全局信息嵌入

Squeeze 通过使用全局平均池生成的基于信道的统计信息将全局空间信息压缩到信道描述符中，进而解决不同特征信道间存在不同的局部特征学习域的问题，提升网络对不同信息特征权重的感知。Z∈RC是通过将输出U 缩小到空间维H×W。即通过Squeeze 操作，将输入量H×W×C，压缩为1×1×C 的结果输出。Z 的第C 个元素可以通过以下方法计算

3.3.2 Excitation——自适应重新校准

为了充分利用Squeeze 操作中聚合的全局信息，在后续进行Excitation 操作。在自适应重新校准阶段，Excitation 模块能够学习通道间的非线性相互作用和非互斥关系，使多个通道被强调，即通过此过程学习网络中各支路的权重，将各个通道进行打分，作用到原输入网络信息中。非线性激活函数如下所示

式中：δ 指ReLU 函数。为了减低模型复杂度的同时更好的提升模型的泛化能力，首先通过一个降维比为R 的FC降维层做通道压缩，提高了模型的计算效率，然后通过ReLU 函数，之后在FC 升维层中将之前压缩的通道升维，最后通过Sigmoid 函数得到输出结果s，再将输出结果与原始输入进行通道相乘后得到经过Squeeze-and-Excitation 模块处理后的模型通道信息

4 结果与分析

4.1 优化器选择

为了获取模型训练和模型输出的网络参数的最优解，本文选用的优化器为自适应矩估计（Adam）。郝天轩等[15]实验表明，不同的优化器也对模型的优劣有着巨大的影响。在大量的数据测试下，Adam 优化器呈现的效果最佳且Loss 下降速度最快，其继承了RMSprop 优化器的优点，而RMSprop 优化器继承了Momentum 优化器的优点，Monmentum 优化器在优化方面增加了动量原则故其也是SGD 的升级版，SGD 则是最原始效果最普通的加速器。各个优化器的对比图如图4 所示（其中Loss 表示误差），所以在大量数据验证后，发现Adam 优化器是最适合SE_ResNeXt-50 的小麦不完善粒分类模型的优化器。

图4 优化器对比

4.2 模型验证

为验证模型的实用性，在得到模型的基础网络结构后，使用SE_ResNeXt50 网络框架训练模型[16]。按90%和10%的比例将数据集分为训练集和测试集，经过多次迭代训练后通过测试集对模型精度进行测试，根据返还的测试结果不断调整梯度下降算法的超参数（Epoch 和Batch_size）、不断优化数据集、选用合适的优化器。通过对Epoch 和Batch_size 的调整，可以控制模型内部参数更新之前控制的样本数量和训练全部数据集的次数，选择合适的梯度下降算法的超参数（Epoch 为15，Batch_size 为20），可以让梯度下降达到最优收敛；通过对数据集总量的调整同时结合提前终止训练、正则化、剪枝等策略，简化模型的深度，避免过拟合的发生。同时，最大限度地提高模型的测试精度；通过选取合适的优化器，使影响模型训练和模型输出的网络参数逼近或达到最优值，从而最小化损失函数。最终模型平均测试精度达到95%以上，测试结果如图5 所示。

图5 模型精度

4.3 系统验证

为验证模型的真实性和实用性，结合海康威视高清工业相机试验装置开发了一款小麦不完善粒分类检测系统进行实验验证。基于SE_ResNeXt-50 的小麦不完善粒快速检测系统可以根据用户上传发霉、虫蚀、病斑单籽粒图片快速将图片数据发送给在AI Studio 上部署的SE_ResNeXt-50 小麦不完善粒分类模型，将模型的预测数据快速准确的返还给用户。系统界面如图6 所示。随机选取154 粒小麦不完善粒样本进行检测。

图6 系统检测界面

根据测试结果，在154 粒小麦不完善粒测试样本中，检测正确的样本数为146 粒，系统识别精度达到96.10%，小麦不完善粒分类混淆矩阵如图7 所示。由混淆矩阵可知，66 粒发霉粒样本中，4 粒被误判为虫蚀粒；42粒病斑粒样本中，2 粒被判断为虫蚀粒；46 粒虫蚀粒样本则全部判断正确。较好地解决了在小麦不完善粒分类领域将虫蚀、病斑、发霉粒因小麦籽粒表面的黑斑类似而导致的分类不准确等问题。表明小麦不完善粒检测系统能够大幅度提升检测效率，降低检测成本，有极强的实用价值和推广性。同时也表明改进的SE_ResNeXt-50 网络结构能够较好地实现小麦虫蚀粒、发霉粒、病斑粒的分类。

图7 混淆矩阵

5 结论

本文在使用ResNeXt-50 卷积神经网络的基础上，通过引入Squeeze-and-Excitation 计算结构模块改进原有的网络结构，提出了一种SE_ResNeXt-50 小麦不完善粒分类模型，实现了小麦病斑粒、虫蚀粒、发霉粒的快速、精准、无损分类检测。结果表明，改进后的SE_ResNeXt-50 网络通过改进模型通道间的相互依赖关系来增强卷积特征学习，提高了神经网络对信息特征的敏感度，从而大幅提升了模型的收敛度和计算效率。为验证模型的真实性和实用性，结合海康威视高清工业相机试验装置开发了一款小麦不完善粒分类检测系统进行实验验证。经测试，系统识别精度达到96.10%。可满足日常生产生活中对小麦不完善粒分类检测需求，提升生产效率，减少小麦粒在分类筛选阶段的损耗率，降低生产成本。