基于GAF-DenseNet的旋耕作业质量等级识别模型

李淑艳 李若晨 温昌凯 万科科 宋正河 刘江辉

(1.中国农业大学工学院，北京 100083；2.中国农业大学现代农业装备优化设计北京市重点实验室，北京 100083；3.洛阳西苑车辆与动力检验所有限公司，洛阳 471003)

0 引言

作为田间农业生产的重要环节，拖拉机旋耕工况的作业质量对农作物全周期生长水平与生产过程具有重要影响[1-2]。现阶段，对旋耕作业质量的分析和评估主要依靠人工方式进行，评价方法和效果极大程度上受拖拉机操作人员的视野和经验的影响，缺乏准确、客观的评判标准作为参考；并且，在田间作业过程中，作业质量的评判易受主观和外界环境等因素干扰，难以保证评判效果的稳定和统一[3-6]。

拖拉机开展田间旋耕作业时，由于受到土地-机器-植物复杂非线性系统中存在的频繁变化的相互作用力，拖拉机和旋耕机的连接机构(即电液悬挂系统与PTO加载系统)常承受复杂多变的非对称循环载荷[7-10]，多通道实测载荷数据中包含了大量可描述作业质量工况的载荷特性与整机特征，通过挖掘和分析典型特征可以有效地对当前所处的作业质量等级进行分类预测[11-13]。

因此，为实现拖拉机田间旋耕作业质量等级的准确、高效识别，本研究提出一种基于GAF-DenseNet的拖拉机旋耕作业质量深度学习分类识别模型，并开展旋耕作业田间试验进行综合性验证。该模型以3种旋耕作业质量等级下的多传感器实测载荷数据作为训练输入，通过GAF编码将多通道载荷序列编码为二维灰度图像阵列；通过DenseNet优化特征传递机制和学习效率，深层挖掘数据中内含的载荷特征。最终，依照旋耕作业质量分级标准，通过分类器对瞬态载荷序列进行分类预测。

本研究依据多项评价指标对该模型的预测效果进行验证，分析评价两种GAF编码方式和不同重采样滑动窗口大小对分类准确性等指标的不同影响，并与支持向量机(Support vector machines, SVM)、深度卷积神经网络(Deep convolutional neural network, DCNN)和深度残差网络(Deep residual network, ResNet)进行对比，综合评估不同算法的预测性能，以期为农业机械作业质量预测研究提供参考。

1 拖拉机旋耕作业载荷测试

1.1 旋耕作业质量分级标准

参考国家标准《旋耕机》和《农业机械试验条件 测定方法的一般规定》[14-15]，将旋耕作业质量划分为优、中、差3个评价等级，分别对应综合评分中的80～100分、60～80分和0～60分。选取耕深、耕深稳定性系数、碎土率、驱动轮滑转率等4项参数作为旋耕作业质量的评价指标，并为该4项评价指标分别赋予权重系数以计算各指标所达到的质量评价分数，最终以100分为满分计算得出综合评分[16]。

每项评价指标均根据表1所示计分方法进行计分，计算得出综合评分，计算式为

表1 旋耕作业质量评价指标和计分方法

(1)

式中S——综合评分

si——各评价指标i的评分

Wi——各评价指标i的权重系数

1.2 拖拉机旋耕作业载荷测试

为获取基于拖拉机关键部件的实测载荷数据，确保数据集的真实性和可靠性，本文以NI-cDAQ 9035为核心搭建了拖拉机多传感器综合测试系统，采用分布式架构对多测点、多类型参数进行实时、同步测试，测试参数共计10项(表2)，测试系统传感器布置和测试系统架构如图1、2所示。其中，驱动轮滑转率由实际车速和驱动轮转速换算得出。针对试验场景基于LabVIEW开发测试系统上位机软件，实现对载荷数据的自动化采集和实时监控。

图1 拖拉机多传感器综合测试系统传感器布置图

表2 拖拉机多传感器综合测试系统测试参数与配套传感器

本文所开展的试验工况为旋耕作业，试验样机选用某品牌52 kW四轮驱动拖拉机，农机具选用某品牌IGQN-180A型旋耕机。试验用地位于河南省洛阳市新安县磁涧镇赵洼村，试验时间为2021年7月，耕作土质为黏土，含水率介于20%～35%之间。在实际的田间作业过程中，耕作幅宽为1 800 mm，耕作速度约为5 km/h，耕作深度根据作业质量划分情况进行人工调节。最后，根据奈奎斯特采样定理，结合实际工程经验，设定采样频率为1 000 Hz[17]。拖拉机田间作业试验现场如图3所示(下方3幅图像为耕深测量现场，测量结果分别为13.6、19.1、21.5 cm)。

图2 拖拉机多传感器综合测试系统架构

图3 拖拉机田间作业试验现场

2 基于GAF-DenseNet的识别模型

2.1 GAF图像编码

基于坐标变换的思想，格拉姆角场(Gramian angular field, GAF)可在保留数据时间依赖性的前提下，将一维时间序列编码为二维灰度图像[18]。

对于本文中的实测载荷数据，可将其表示为包含n个元素的时间序列X={x1,x2,…,xn}。首先，将该时间序列缩放至[-1,1]范围内，计算式为

(2)

(3)

式中ti——时间戳

N——用于正则化极坐标系统跨度的常数

计算每个点之间的三角和/差，通过两种不同的方式来识别数据点在不同时间间隔内的时间相关性。对应地，GAF算法可分为格拉姆角和场(Gramian angular summation field, GASF)和格拉姆角差场(Gramian angular difference field, GADF)，其计算方法分别为

(4)

(5)

式中Gs——GASF矩阵Gd——GADF矩阵

I——单位行向量

i、j——行、列索引，i,j∈N且1≤(i,j)≤n

在GAF矩阵中，随着位置从左上角移动到右下角，其对应的时间戳也随之增加，因此，原时间序列的时间依赖性得以保留。此外，矩阵主对角线包含了原始值和角度信息，可有效表示原时间序列的时间相关性[21-22]。优作业质量工况下某数据段的GAF编码效果如图4所示。

图4 某实测载荷数据段GAF编码示意图

2.2 GAF-DenseNet模型

DenseNet网络模型沿用ResNet中短路连接的基本思想[23-24]，在此基础上强化了前层与后层之间的密集连接，通过通道间的拼接以实现特征重用[25]。作为其核心模块，密集块(Dense block)的结构如图5所示。

图5 密集块结构

设密集块网络包含N层，每层卷积后均输出k个特征图，k作为超参数被定义为增长率，假定输入密集块的特征图通道数为k0，则第n层输入的通道数为k0+k(n-1)。各层输出的特征图大小一致，特征图在通道维度上进行拼接，即第n层的输出xn由前面所有层拼接而得，即

xn=Hn([x0,x1,…,xn-1])

(6)

式中xn——第n层输出

Hn——非线性组合函数

其中，非线性组合函数由批标准化(Batch normalization, BN)层、线性修正单元(Rectified linear unit, ReLU)和3×3卷积(Convolution, Conv)层组成。

密集块结构作为基本单元，与过渡层(Transition layer)交替串联构成DenseNet模块。在DenseNet模块的基础上，为改善特征图信息密度不足的问题，通过GAF编码算法在时间、幅值两个维度上对原始载荷序列进行解构，将一维时间序列重组为二维灰度图像矩阵，既实现了特征信息密度的有效扩充，又使得特征信息在二维图像空间中排列规则化，从数据层面间接提升了分类预测精度。最终，将GAF编码算法和DenseNet网络有效融合，形成了GAF-DenseNet识别模型，整体结构如图6所示。

图6 GAF-DenseNet模型整体结构

GAF-DenseNet模型由GAF编码器、DenseNet和分类器共3个模块组成。GAF编码器将输入模型的多通道载荷序列编码为二维灰度图像阵列，DenseNet模块依靠卷积层提取二维灰度图像阵列为特征图，并在通道维度上对特征图进行特征重用和密集连接，以优化特征的传递机制和利用效率。其中，为提高网络紧凑性，引入过渡层以缩减特征图大小。过渡层包含批标准化层、1×1卷积层和2×2平均池化层，对于密集块所输出的m个特征图，经过渡层转换后可产生θm个特征，其中θ∈(0,1]为压缩系数。

DenseNet模块输出的特征进入分类器后，经过全局平均池化进入3层全连接网络。其中，最后一个全连接层使用Softmax分类器输出分类预测结果。GAF-DenseNet模型参数配置如表3所示。

表3 GAF-DenseNet模型参数

3 旋耕作业质量等级识别分析

3.1 数据预处理

基于本文所制定的旋耕作业质量分级标准，在实际田间地块中分别开展3种作业质量工况下的拖拉机旋耕作业试验，总作业面积约为2 hm2。在实测数据中去除驻车、转向、掉头等行驶状态相关的数据段，获得3种作业质量下的数据量均为40 000，数据通道数为10(表2中所述测试参数)，保留数据样本共120 000个，生成原始数据集尺寸为(120 000,10)。

首先，为扩展数据量，防止过拟合等现象发生，本文采取3种方法对原始数据集进行联合处理：①为保留原始数据集中所包含的随机环境噪声，对原始数据集不作任何处理。②采用最小二乘法拟合原始数据集中的非线性趋势项并将其消除，设计8阶巴特沃斯滤波器对数据进行低通滤波，依据课题组项目经验，将截止频率设为48 Hz。③在方法2处理后的数据中叠加高斯噪声。

合并经3种方法处理后的数据样本，数据量由120 000扩展为360 000，数据集尺寸变为(360 000,10)。

为确保数据集尺度的统一性和统计分布的合理性，对数据集进行归一化和标准化处理，处理后载荷序列的统计直方图分别如图7和图8所示。

图7 优作业质量下载荷序列的归一化处理结果

图8 优作业质量下载荷序列的标准化处理结果

分析可知，经过归一化处理，不同维度的载荷序列在尺度上统一缩放至[-1,1]内；进一步对载荷序列做标准化处理，处理后的载荷序列在统计分布上趋于高斯分布，其平均值趋近于0，标准差趋近于1。

设定时间步长为250的滑动窗口，采用半重叠时间窗(Semi non-overlapping temporal window, SNOW)将载荷序列分割为2 871个样本，窗口重叠率为50%。对重采样后的数据进行GAF图像编码，如图9和图10所示，并对3种作业质量分类标签进行One-hot编码，得到的数据集尺寸为(2 871,250,250,10)。

图9 经GASF编码后的优作业质量下某样本二维图像阵列

图10 经GADF编码后的优作业质量下某样本二维图像阵列

本文的预测分析基于TensorFlow 2.7深度学习框架实现，操作系统选用Ubuntu 18.04，硬件环境为NVIDIA Tesla K80 GPU，Intel Xeon 8369 CPU。

在训练网络过程中，采用5折交叉验证方法和mini-batch技术，批次大小设为64，模型训练按照固定步长迭代100轮。选用交叉熵损失函数跟踪模型迭代过程中的损失值变化，选用Adam算法对网络参数进行自适应优化迭代，初始学习率设为1×10-3。

3.2 编码效果分析

为探究不同数据集尺寸和编码方式对DenseNet模型训练效果的影响，设定滑动窗口大小为200、250和300，选用GASF和GADF两种编码方式对预处理后的数据集分别编码，随后将编码后的二维灰度图像阵列输入至DenseNet模型中进行训练，测试集准确率和损失值变化曲线分别如图11和图12所示。其中，DenseNet模型增长率k设为24，压缩系数设为0.5。

图11 经不同滑动窗口大小和编码方式处理后的测试集准确率变化曲线

图12 经GADF编码后的测试集损失值变化曲线

随着滑动窗口大小的增大，每个样本中包含的图像信息随之增多，其中表征旋耕作业工况的特征信息也更加丰富。分析图11和图12可知，当窗口大小由200提升至250时，测试集准确率有明显提升，损失值收敛更加彻底。然而，当窗口大小由250提升至300之后，测试集准确率和损失值反而降低，在迭代40轮之后出现了无法收敛的情况。分析现象可知，在针对时间序列数据的滑动窗口重采样时，更大的窗口大小并不一定总利于特征的获取，而可能会引入噪声或无用特征，从而影响数据集的整体质量。

在编码方式方面，GASF和GADF两种编码方式均能较好地保留和提取样本中的特征信息。分析图11和图12可知，经两种方法编码后的数据集在准确率和损失值上均有良好的表现。其中，GADF编码后的数据在迭代过程中变化态势更加平顺，在准确率和损失值两项性能指标上均有小幅提升。

3.3 模型参数分析

为探究增长率k对于模型性能的影响，针对DenseNet关键超参数增长率k的选取，本文最终确定k为12、24、32、40。其中，基于控制变量的思想，本试验所选用的数据集经过半重叠时间窗进行数据重采样(窗口大小设为250)，并采用GADF方法进行图像编码。试验结果如表4所示。

表4 在不同增长率k下的DenseNet模型测试集分析结果

由表4可知，随着模型增长率k的增大，预测的准确率也随之增加，表明增长率k与模型的整体性能呈正相关的趋势。然而，增长率k的增大也带来了模型复杂度的提升，具体体现在参数量会随之迅速增长，从而增加了算力负担，模型的实时性受到明显影响。增长率k由24增长到40的过程中，准确率仅提升0.782个百分点，而推理时长增长约2.4倍。因此，综合考虑模型性能和实时性两个因素，增长率k设为24更能满足实际应用需求。

3.4 模型综合性能分析

本研究选取测试集的准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值(F1-score)等指标来综合评价模型性能。首先将本文中的三分类任务拆分为多个二分类任务，分别计算其准确率、精确率、召回率和F1值。

在获取多个二分类任务评价指标后，得到三分类任务的混淆矩阵，采用Macro规则计算得出最终的综合评价指标。

结合上述模型评价指标，对GAF-DenseNet模型进行识别综合性能分析，并选取SVM、DCNN、ResNet等模型进行对比分析，计算得出的各项模型评价指标如表5所示。需要特别说明的是，以上网络深度大体接近，其模型参数均分别经过优化调整，且输入数据均经过GADF编码为二维灰度图像。

表5 基于不同模型分析结果的评价指标

分析表5可知，在准确率和损失值两项指标的表现上，GAF-ResNet与GAF-DenseNet大体接近(后者较前者有小幅提升)且高于其余两种模型，其中GAF-SVM模型的准确率水平显著低于其他模型。F1值是对精确率和召回率两项指标的调和平均，不受样本不平衡等因素影响。相较于其余3种模型，GAF-DenseNet模型在精确率、召回率和F1值上均有较大幅度提升，其中F1值可达到96.136%，这表明了该模型在整体性能上明显优于其余模型。在推理速度方面，归结于过渡层在DenseNet网络结构中压缩特征方面的重要作用，GAF-DenseNet模型所用的推理时长最短，较GAF-ResNet模型缩短36%。进一步地，该模型在小批次测试数据的测试条件下，可达到更优越的实时性能。

4 结论

(1)为实现基于多传感器实测数据的拖拉机旋耕作业质量等级准确识别，提出了一种结合GAF编码算法和DenseNet网络的GAF-DenseNet识别模型。GAF算法在保留原始载荷序列的时间依赖性的前提下，对时间序列数据进行唯一编码。DenseNet网络深层挖掘图像阵列中的载荷信息，通过特征重用、模型压缩等技术环节保证特征提取深度，并显著提升运算效率。

(2)针对某52 kW拖拉机旋耕作业工况，设计并搭建了拖拉机多传感器综合测试系统。依据本文所制定的旋耕作业质量分级标准，开展了田间旋耕试验，获取了不同分级标准下的多传感器实测载荷数据。

(3)针对本文所提出的GAF-DenseNet识别模型，进行了旋耕作业质量等级识别分析。分析结果表明，在重采样滑动窗口大小为250、编码方式采用GADF算法时，模型在准确性、平滑性和收敛效果等方面效果最佳。基于实测数据的GAF-DenseNet模型准确率和F1值分别达到96.816%和96.136%，并且在实时性能上具有良好的表现，推理时长可低至16 s。进一步将该模型与其余模型进行对比分析，整体性能均优于对照组模型预测结果。