基于机器视觉的茄子种子发芽率预测方法

海 妍，张 君，张东方，李玉超，刘景艳，范晓飞，索雪松

（1.河北农业大学 机电工程学院，河北 保定 071001；2.河北农业大学 园艺学院，河北 保定 071001）

种子发芽力是种子检测中1 项重要指标。而种子发芽率属于种子发芽力的1 种重要评判标准，因此种子发芽率检测对农业生产有着重要意义。茄子是我国很重要的蔬菜作物，种植区域广，种子用量大［1］。目前，国内外许多学者基于可见-近红外光谱对种子质量进行了快速检测和研究。Wang YL 等将热损伤和人工老化的种子与正常种子进行比较，并使用2 台不同带宽的光谱仪采集种子的光谱。通过竞争自适应重加权采样选择有效变量，建立了种子的鉴别模型。实验结果证实了使用500～1 100 nm 或1 000～1 850 nm 的光谱范围来区分种子活力的可行性［2］。Genze N 等使用转移学习对不同具有区域建议的卷积神经网络（Convolutional Neural Networks,CNNs）进行训练，以自动识别培养皿中的种子，并预测种子是否发芽［3］。马佳佳等提出了1 种基于机器视觉的花生种子外观品质检测与分类方法，利用支持向量机（Support Vector Machine,SVM）实现了花生种子的12 个类别分类［4］。祝保林对小桐子种子图像进行图像预处理与特征参数提取，利用结合粒子群算法的SVM 分类模型对小桐子种子实现了分类［5］。杨云红等将CNN_SVM 模型与其他10 种混合模型进行比较，证明CNN_SVM模型在提高水稻种子图像识别的正确率和缩短识别时间上面都具有很强的优势［6］。

本文利用多光谱成像技术采集茄子种子表型特征参数，结合SVM、CNN 算法对茄子种子进行发芽率预测。以期为茄子种子发芽率的检测提供1 种高效、快速和无损的检测方法。

1 材料与方法

1.1 试验材料

本文选用河北农业大学蔬菜育种实验室的茄子种子进行试验，用种子培养箱对种子进行水培，以便后期观察种子发芽状态。将培养箱温度设置为25 ℃，光照强度设置为800 lx，湿度设置为相对空气湿度90%，培养环境符合茄子种子发芽的最适条件［7］。试验共分为7 组进行，每组培养48 粒种子，每组种子如图1 摆放以便进行图像采集。将每一组种子进行编号记录并采集原始种子图像，然后将编号后的种子分别装于培养袋中，放置培养箱中进行水培。茄子种子一般发芽周期为7 d 到14 d［8］，分别在种子培养后第7 天至第14 天进行图像采集，记录茄子种子出芽情况。

图1 图像Fig. 1 Image

1.2 试验设备

为了快速实现对茄子种子的外观进行图像采集并实现经济性的要求，本试验搭建了如图2 所示的多光谱成像系统。本系统的主体为五通道多光谱相机（FS3200T-10GE-NNC，JAI），其可以同时获得RGB 图像和2 个不同波段的近红外图像。此相机带有3 个1/1.8 英寸CMOS 成像器，相机具有3.45 μm×3.45 μm 像素尺寸，支持近红外通道。本相机的近红外波段在700～1 000 nm 之间，该波段呈现的图像可以很好地呈现种子的表型信息。本文利用此多光谱成像系统对336 个茄子种子样品进行图像采集（如图1a，b，c 所示）。

图2 系统结构Fig. 2 System structure

1.3 图像预处理

多光谱相机采集的图像是由多个单通道的灰度图像组成，每张灰度图像都具备自身的光谱响应特性。首先对未经处理的图像（如3a 所示）进行分割，将单例种子对应编号分割开来。对单粒种子的RGB图像进行灰度化预处理（如图3b 所示），为了图像中种子和背景的差异更明显，消除图像中的阴影和一些噪音点，实现稳定的特征识别效果，方便图像的分割处理［9］。然后将灰度图像进行滤波处理，以蹭强图像的质量。图像在经过滤波处理后噪点减少，而且能够较好地保留种子边缘信息。最后为实现图像二值化运用Otsu 阈值分割算法，取1 个最优阈值处理图像，将图像中种子与背景分为前景与背景，以此实现有效地分割图像［10］。通过图像形态学处理，采用面积阈值可剔除误分割区域，再结合孔洞填充算法，完成茄子种子与背景的分割，形成的二值图像如图3c 所示。针对样本小带来的泛化能力不足问题，由于茄子种子样本摆放位置的随机性，本试验采用图像旋转（90°、180°、270°）对图像进行扩增。

图3 种子图像Fig. 3 Seed image

1.4 数据处理

1.4.1 表型特征提取 利用图像处理等相关方法对种子表型特征数据进行提取，分别对茄子种子图像的形状以及颜色特征进行了提取分析。分别提取了每一粒种子的面积、周长、长轴、短轴、当量直径等形状特征参数，红、绿、蓝、色调、饱和度和明度等特征，取每一粒种子19 个变量的平均值作为表型信息特征值。

1.4.2 数据预处理 由于不同变量通常具有不同的单位，不同单位会使后续的实际分析处理发生困难，为了消除变量的量纲影响和变量本身的数值、差异大小的影响，故需要对数据进行标准化［11］。本文利用The Unscramble X 10.4对数据进行标准化处理，选用的处理方法为最大-最小标准化（公式1）。

式中Y是标准化结果，X是各变量算术平均值，Xmin是变量最小值，Xmax是变量最大值。

1.4.3 数据降维 主成分分析和连续投影算法。首先将光谱数据预处理，然后进行降维处理，使用主成分分析和连续投影算法处理光谱数据，提取其中特征波段，可以使用少量的新的变量代替预处理后的变量，从而达到数据降维的目的。

连续投影算法（Successive Projections Algorithm,SPA）是1 种使矢量空间共线性最小化的前向变量选择算法，其原理就是依据波长的长度进行变量筛选，即将波段信息通过数学变换在其他波长信息上进行投影，筛选出投影最大的波段信息作为特征波段选取下来［12］。它通过提取全部数据的几个特征，以消除原始数据中多余的重复信息，对于特征数据的筛选有很好的效果［13］。本试验利用SPA 提取了10 个特征变量，消除了原始数据中冗余信息，提取的变量能够代替原始变量的大量信息。

主成分分析（Principal Component Analysis,PCA）是通过分析原始的所有变量，找到重复的变量将其删去，建立更少的互不相关的新变量，这些新变量尽可能包括原有的信息，代替原始信息［14-15］。在很多时候，变量之间是有一定的相关关系的，当2 个变量之间有一定关系时，可以解释为这2 个变量反映的信息有一定的重叠。为了降低数据复杂性,本试验用SPSS对数据进行了主成分分析。

1.5 机器学习模型 SVM 是1 种线性分类器，用于处理2 类分类问题，依据SRM 原则构建最优分类超平面作为该分类器的判别面。通过核函数将样本集投影到高维线性空间中，在该空间中随机产生1个超平面并不断移动对样本集进行分类，直至不同类别的样本点正好位于该超平面的两侧，能对分类问题提供良好的泛化能力［16］。

CNN 模型一共有 24 层，其中分为输入层、卷积层、批量归一化层、激活层、池化层、全连接层和 Softmax 函数。其中卷积层是实现卷积神经网络特征提取功能的核心，相当于特征提取器，池化层能够压缩数据和参数的量，提取出图像中的重要特征，进而压缩图片［17］。全连接层的输入是将卷积层和池化层提取的特征进行加权，将特征空间通过线性变换映射到样本标记空间［18］。

本试验中CNN 模型（如图4 所示）的输入层为像素大小是 50×50 的5 通道茄子种子图像。

图4 卷积神经网络模型Fig. 4 Convolutional neural network model

此网络中一共有3 个卷积块，每个卷积块都有卷积层和激活层，卷积核大小统一设置为 3×3，卷积层采用零填充，激活层采用ReLU 激活函数［19］。最大池化层和 Softmax 函数都被应用在网络中，最大池化层的优点是能最大程度减轻过拟合［20］。经过模型的调优，最大训练轮数设定为50 次，学习率设为 0.000 1。

2 结果与分析

2.1 基于SVM 预测结果

基于多光谱图像的一维数据，本文采用2 种数据降维方法，建立了SVM 模型。采用sk_learn 将原始数据按7∶3 划分为训练集和测试集。

2.1.1 基于PCA 预处理预测结果 利用PCA 方法，本文以原始数据50%的综合变量代表原始变量。此试验选取10 个主成分，这10 个主成分能代表原始数据99%以上的信息，图5 列出了经PCA 提取的10 个主成分的贡献率。表1 为此方法建立的SVM分类结果，训练集准确率为76.79%，测试集准确率为70.71%。

表1 PCA+SVM 模型准确率Table 1 Accuracy of PCA+SVM model

图5 主成分贡献率Fig. 5 Principal component contribution rate

2.1.2 基于SPA 预处理预测结果 利用SPA 对原始数据进行降维处理，为了获得模型的最优效果，将算法的最小特征数设置为0，最大特征数设置为20。最终经过模型的自动调优，提取10 个特征变量。所选取的特征变量用来建立SVM 分类模型，其训练集准确率为74.68%，测试集准确率为71.71%。表2为经SPA 降维后的SVM 模型结果。

表2 SPA+SVM 模型准确率Table 2 SPA+SVM model accuracy

2.2 基于CNN 预测结果

本试验利用CNN 算法对茄子种子进行发芽率预测，运用CNN 模型训练五通道原始多光谱图像，从而探索无损预测种子发芽力的可行性。利用sk_learn 将336 个样本照片随机划分为80%的训练集和20%的验证集，得到266 个训练集，66 个验证集。为因数据量带来的模型泛化能力不足的问题，本试验利用图像旋转将训练集图像进行扩增，最终得到1 064 个训练样本。此CNN 模型进行了10 600 次迭代，每50 次进行1 次验证。最终CNN 模型的训练集准确率为91.6%，验证集准确率为84.3%，训练过程中的准确率和损失率如图6 所示：

图6 CNN 模型训练准确率和损失率Fig. 6 Training accuracy and Loss ratio of CNN model

3 讨论与结论

本试验利用多光谱图像结合机器学习评估种子发芽率，实现了用机器代替人工对种子发芽与不发芽进行准确分类。本文对比了五通道多光谱图像结合深度学习与种子的一维表型特征数据结合机器学习对种子发芽率的预测效果。首先提取种子5 个通道的平均灰度值、种子宽度、面积等19 个表型特征参数，经过标准化预处理后结合PCA 与SPA 进行降维分析，后采用SVM 建立发芽种子与不发芽种子的分类模型，2 种降维算法所建立的SVM 模型分类准确率均达到70%以上。其次采用CNN 模型建立了基于未经处理原始种子的多光谱图像的种子深度学习分类模型，模型训练集准确率为91.6%，验证集的准确率为84.3%。证明在种子发芽率的预测中，五通道多光谱图像与深度学习结合的有效性，深度学习结合五通道多光谱图像可以更快速、更高效地实现种子发芽率的预测。CNN 通过对种子原始图像的特征提取要比人为进行种子表型特征的提取更加全面、更加具有代表性。本文通过机器学习结合多光谱成像技术实现了茄子种子发芽率的预测，可为茄子种子加工提供了1 种无损、高通量的研究方法。