基于深度学习的休眠期苹果树点云语义分割

李颀　郭梦媛

摘要：針对苹果树结构复杂、树干之间相互遮挡、导致国内外大规模机械设备自动剪枝误剪率高等问题，提出1种基于深度学习的休眠期苹果树点云的语义分割。以陕西省礼泉苹果种植基地的休眠期苹果树为研究对象，为了解决双视角点云配准之间非重叠点对距离过大导致配准误差大的问题，用 Kinect V2 传感器获取休眠期苹果树点云，对每株果树采用改进迭代最近点算法（Iterative closest point， ICP）进行多视角三维重建，对于大规模的果树点云，构建基于超点图的果树分割网络（Super point graphs network， SPGNet），对果树点云进行语义分割，保留果树点云的复杂几何信息。结果表明，当果树双视角点云的配准误差小于1 mm时，可成功分割休眠期苹果树的树干与分枝，对分类精度、预测值与真实值的交并比（IoU）进行评估，其中树干的分类精度、IoU分别为94.0%、0.85，分枝的分类精度、IoU分别为83.1%、0.75。由此可见，研究结果可解决机械设备自动剪枝误剪率高的问题，能在自然光线条件、大规模休眠期苹果树场景下实现对休眠期苹果树树干与分枝的分割，为大规模自动剪枝提供依据。

关键词：多视角果树三维重建；超点图；深度学习；果树点云语义分割

中图分类号：S661.1文献标识码：A文章编号：1000-4440（2023）05-1189-10

Semantic segmentation of apple tree point cloud in dormant period based on deep learningLI Qi GUO Meng-yuan

（1.School of Electronic Information and Artificial Intelligence， Shaanxi University of Science and Technology， Xian 710021， China;2.School of Electrical and Control Engineering， Shaanxi University of Science and Technology， Xian 710021， China）

Abstract：Aiming at the problems of complex structure of apple trees， mutual occlusion between the trunks， and false pruning of large-scale mechanical equipment at home and abroad， a semantic segmentation of apple tree point cloud in dormant period based on deep learning was proposed. Taking the dormant apple trees in Liquan apple planting base in Shaanxi province as the research object， in order to solve the problem of large registration error caused by the large distance between non-overlapping point pairs in dual-view point cloud registration， the Kinect V2 sensor was used to obtain the point cloud of dormant apple trees， and the improved iterative closest point algorithm （ICP） was used for multi-view three-dimensional reconstruction of each fruit tree. For large-scale fruit tree point cloud data， a fruit tree segmentation network based on super point graphs （SPGNet） was constructed to perform semantic segmentation on fruit tree point cloud， and the complex geometric information of fruit tree point cloud was retained. The results showed that when the registration error of the dual-view point cloud of the fruit tree was less than 1 mm， the trunk and branches of the apple tree in the dormant period could be successfully segmented. The classification accuracy and intersection over union of predicted and true values （IoU） were evaluated. The classification accuracy and IoU of the trunk were 94.0% and 0.85， respectively， and the classification accuracy and IoU of the branches were 83.1% and 0.75， respectively. In a word， the research results could solve the problem of high mis-cutting rate in the process of automatic pruning of mechanical equipment， and could realize the segmentation of trunks and branches of dormant apple trees under natural light conditions and large-scale dormant apple tree scenes， and could provide a basis for large-scale automatic pruning.

Key words：multi-view fruit tree three-dimensional reconstruction;super-point graph;deep learning;fruit tree point cloud semantic segmentation

2021年，陕西省苹果树的种植面积为6.21×10⁵hm²，陜西省苹果产量为1.24×10⁷t，占全国苹果总产量的26.9%。对休眠期苹果树进行剪枝是提高果树产量的重要措施，传统的苹果树剪枝严重依赖人工操作，不仅成本高昂，而且浪费人力、效率低下[1]。虽然目前国内外大规模苹果树自动剪枝的机械设备得到了广泛研究[2]，但是机械化剪枝设备错误、遗漏的修剪会导致苹果产量下降。因此，提高休眠期苹果树树干与分枝的分类精度，可以降低机械化设备自动剪枝的误剪率，提高苹果产量并减少劳动力需求[3]。

常用于果树枝条语义分割的数据包括二维图像、三维点云等。Amatya等[4]使用贝叶斯分类法，将带有叶片的荔枝图像分成4个类别，其中树干识别率达到89.2%。韩文康等[5]用Atrus空间金字塔池、门特征金字塔网络来增强网络的特征提取能力，结果显示，苹果和树枝语义分割模型的精确率和召回率分别为87.6%和77.2%。Majeed等[6]使用 Kinect V2 传感器获取苹果幼树的彩色（RGB）和深度图像，使用SegNet对简单的前景二维图像进行分割。

由于果树的二维图像中缺少深度信息，导致树干与分枝的分割精度低。Elfiky等[7]提出基于几何特征从两侧对休眠的纺锤形苹果树进行三维重建，结果显示，基于自适应建模方案的主枝修剪点的检测精度达到 96.0%。Medeiros等[8]通过分裂合并聚类算法，将休眠苹果树点云分为树干、连接点和分枝，结果显示，平均分割精度为98%，平均直径误差为0.6 cm，该分割使用机器视觉算法手动提取点云特征，由于光照度的变化和背景的复杂，果树枝条分割的鲁棒性通常较差，并且激光雷达的成本较高。

本研究以休眠期苹果树为试验对象，通过改进迭代最近点算法对果树进行多视角三维重建，并将结果输入基于超点图的深度学习网络（Super point graphs network， SPGNet），以期使果树的复杂几何信息得到实质性保留，在大规模休眠期苹果树的场景下实现对休眠期苹果树树干与分枝的分割。

1材料与方法

1.1试验场地

本研究的试验场地位于陕西省咸阳市礼泉苹果种植基地，基地内果树的行距、株距分别为4.3 m、3.2 m，具体场景见图1a。在休眠期，苹果树形成低矮的纺锤形（下文将纺锤形结构的矮化休眠苹果树简称为苹果树），种植基地内的矮化苹果树冠幅为2.1 m，主蔓长度最长可达1.2 m，平均高度约为2.4 m，去除背景后的纺锤形苹果树如图1b所示。

1.2数据采集与点云预处理

1.2.1数据采集本研究于2022年2-3月在陕西省咸阳市礼泉苹果种植基地采集数据。由于高精度点云需要高性能的传感器和稳定的成像环境，而以Kinect为代表的基于光子飞行时间（Time-of-Fligh，ToF）的RGB-D传感器在点云精度、成本和处理速度3个方面更加平衡，因此本研究使用 Kinect V2 传感器获取点云。由于果树平均高度约为2.4 m，Kinect V2安装在距离地面150 cm处的支架上，构成数据采集设备，该位置配合Kinect V2的视场角，可将果树分枝完全覆盖，Kinect V2的部分参数见表1。数据采集设备距离苹果树主茎中心1.8～2.1 m，Kinect V2沿顺时针方向绕果树旋转，每旋转60°采集1次数据，旋转360°后数据采集完毕。

图2a描述了获取单株果树三维数据的方法，将其中第1视角（0°）的点云命名为Tree_1，将其他5个视角的点云分别命名为Tree_2、Tree_3、Tree_4、Tree_5、Tree_6，详见图2b。数据采集系统由个人计算机开发和测试，硬件配置为AMD R7-4800H SSD、NVIDIA RTX2060 4G，软件环境选择OpenCV 3.4.13、PCL1.8.1。

1.2.2点云预处理由于数据采集设备获取的果树点云也包括附近的树木和地面，因此根据果树点云在空间坐标系的x、y、z坐标，结合树的宽度、高度，设置x的阈值范围为（-1.4 m，0.9 m），y的阈值范围为（3.1 m，1.0 m），可有效过滤点云中的背景。数据采集设备放置在距果树1.8～2.1 m的位置，可以通过将z 阈值设置为（0.9 m，-1.3 m）去除点云中的地面信息。

1.3休眠期苹果树的三维重建

1.4休眠期苹果树的语义分割

本研究通过改进迭代最近点算法对休眠期苹果树的点云进行三维重建，提高了果树三维模型的精度。在大规模休眠期苹果树场景下对果树点云进行语义分割，执行分割任务时不仅可以克服果树点云规模大、无序且不规则的问题，而且可以保留果树点云的复杂几何信息。

二维图片的语义分割通常使用卷积神经网络（Convolutional neural network，CNN）[10]，但CNN需要输入规则的数据，因此CNN需要先对三维模型进行规则化处理，常见的处理方法是将三维模型体素化。三维模型体素化的缺点是CNN的输入数据会变得稀疏且影响点云的旋转、平移。超点图具有丰富的边缘特征，并且可编码三维点云中物体各部分之间的上下文关系[11]。因此，本研究拟利用超点图（Super point graph，SPG）对休眠期苹果树进行语义分割。由于受到 PointNet[12]、门控图神经网络（Graph neural networks， GNNs）[13]的影响，本研究拟构建基于超点图的深度学习网络（Super point graphs network， SPGNet），实现在大规模休眠期苹果树场景下的语义分割，休眠期苹果树树干与分枝的分割流程如图6所示。

SPGNet输入如图7a所示的休眠期苹果树点云后，将大规模苹果树三维模型的语义分割问题分成几何分割、超点嵌入和上下文分割3个不同规模的问题，如图7b、图7c所示。

1.4.1基于语义分割的超点图构建矮化的苹果树结构呈纺锤形，在大规模苹果树场景下的语义分割目标不是检索如汽车、椅子等简单对象，而是为了将休眠期苹果树分解为简单的几何部分。SPGNet将如图8a所示的果树三维模型作为输入，该三维模型遵循全局能量模型且被分割成如图8b所示的简单并具有意义的几何块，又称为超点。最后，由超点、边构成超边，使超点之间的空间邻接关系通过超边连接，如图8c所示。

1.4.2超点嵌入与上下文分割

1.4.3模型训练和超参数本研究对休眠期苹果树的语义分割网络进行了端到端的训练，使用 120 株果树三维模型进行训练和测试，每株果树有31 832～100 521个点，随机选择84株果树模型（70%）进行训练，其余36株果树模型（30%）用于测试。同时，通过Cloud Compare v2.11.3软件手动将果树的点云标记为树干（Trunk）、树枝（Branch） 2类，分别用灰色、浅黑色标注。为了提高计算性能，使用0.006的体素对果树点云进行二次采样。本研究中使用的 SPGNet 的超参数见表2。

SPGNet试验在显卡为NVIDIA GeForce RTX2080 Ti、操作系统为Ubuntu 18.04、运行内存为128 G、算力为7.5的服务器上运行，使用的软件工具包括 CUDA 10.0、CUDNN 9.1 和 Python 3.7，试验在 Pytorch 1.10 中实现。

1.4.4性能评价指标

2结果与分析

2.1果树的双视角配准误差分析

为了选择双视角果树点云的配准视角，本研究随机选择自然光下10株结构不同的果树，针对2种不同的双视角配准方案进行配准误差分析。图10显示了以0°视角点云为源点云，利用公式（14）对果树源点云与目标点云的配准误差分析结果，即果树点云在视角差分别为60°、180°时前后2帧点云平均距离误差（MDE）的对比结果。相比于视角差为60°的休眠期苹果树点云配准结果，视角差为180°时存在更多的非重叠点对。在进行双视角配准时，0～180° 的MDE最大为3.80 mm，而0～60°的MDE最大为0.28 mm，因此本研究中双视角配准的视角差选择60°。

2.2果树点云分割结果的分析

本研究采用SPGNet模型，在休眠期苹果树点云的训练集与测试集内进行性能测试。首先评估模型在训练集上是否出现过拟合现象。图11a、图11b分别显示了果树点云在训练过程中的学习准确率、最小批量损失曲线。本研究发现，模型的最大学习准确率为97%，最小批量损失为0.07，进行第200次训练时的学习准确率与最小批量损失趋于稳定。因此可见，本研究模型在果树训练集上得到了适当训练。

此外，本研究使用OA、mAcc、mIoU等指标，在由36株果树三维模型构成的测试集上评估本模型的分割结果。如图12a所示，SPGNet在测试集上的OA、mAcc、mIoU分别为90.1%、89%、81%。如图12b所示，果树树干的分类精度、IoU分别为94.0%、0.85；果树分枝的分类精度、IoU分别为83.1%、0.75，虽然果树分枝的分割精度低于果树树干，但是该结果获得了休眠期果树的预期分割性能。

2.3本研究模型与目前先进点云分割网络性能的对比

为了分析本研究模型点云分割的性能，本研究将所提方法与目前先进的点云分割网络Point CNN[15]、DGCNN[16]在休眠期苹果树数据集上进行比较试验。为了保证比较试验的可靠性，2种比较模型均按照本研究模型的训练方式进行训练。由表3可知，本研究模型的mAcc、OA均排在首位，分别比Point CNN的mAcc、OA高1.9个百分点、1.9个百分点。经分析，Point CNN面对输入顺序不同的点云，定义了1个x变换矩阵，保证了点云输入顺序不影响点云输出结果，从而利于Point CNN模型保留苹果树完整的点云特征并能够自适应地学习特征的权重，相比之下，DGCNN使用基于动态图的方法来学习点云之间的关系，但对点云的局部和全局结构不够敏感， 因此Point CNN的特征学习方法略优于DGCNN。a：SDGNet学习准确率曲线；b：最小批量损失曲线。

本研究得出的休眠期苹果树树干与分枝的分割结果如图13c所示。由于存在人工标注错误及分枝形状类似于树干的情况，因此在树干和分枝之间的连接处会出现漏检、树干被错误分割为分枝的现象。虽然对果树的复杂结构存在一些分割错误，但是最终的果树分枝分割准确率为83%，并识别出果树分枝的破损。在大规模休眠期苹果树场景下，将来可通过提取苹果树的骨架点、使深度网络在复杂的果树点云中学习更多特征等方法进一步提高果树树干与分枝的分割精度。

3结论

本研究针对大规模机械设备自动剪枝时误剪率高、苹果树相互遮挡导致双视角点云配准误差大的问题，采用视角差为 60° 的果树点云，使用改进最近迭代点算法进行多视角三维重建，配准误差为0.28 mm，可有效保留果树的真实特征。本研究提出的基于超点图的深度学习网络，实现了OA为90.1%、mAcc为89%、mIoU为81%的果树树干与分枝的分割，其中樹干的分类精度最高为94.0%。与目前先进点云语义分割网络性能对比发现，本研究模型的整体精度比Point CNN高1.9个百分点，比 DGCNN高2.7个百分点，实现了自然光线下大规模休眠期苹果树场景的果树树干与分枝的分割。当休眠期苹果树的分类精度较高时，可降低现有机械设备自动剪枝时的误剪率。为了进一步推动机械设备在大规模休眠期苹果树场景下自动剪枝效率的提高，下一步可侧重于研究休眠期苹果树分枝的长度，并根据分枝长度匹配自动剪枝的最佳方案。

参考文献：

[1]KARKEE M， ADHIKARI B， AMATYA S， et al. Identification of pruning branches in tall spindle apple trees for automated pruning[J]. Computers & Electronics in Agriculture， 2014， 103：127-135.

[2]MIKA A， BULER Z， TREDER W. Mechanical pruning of apple trees as an alternative to manual pruning[J]. Ogrodnictwo，2016，15（1）：113-121.

[3]HE L， SCHUPP J. Sensing and automation in pruning of apple trees： a review[J]. Agronomy， 2018， 8（10）：211.

[4]AMATYA S， KARKEE M， GONGAL A， et al. Detection of cherry tree branches with full foliage in planar architecture for automated sweet-cherry harvesting[J]. Biosystems Engineering， 2016， 146（4）：3-15.

[5]HAN W K， CHEN C. Fruit detection and segmentation for apple harvesting using visual sensor in orchards[J]. Sensors， 2019， 19（20）： 4599.

[6]MAJEED Y， ZHANG J， ZHANG X， et al. Deep learning based segmentation for automated training of apple trees on trellis wires[J]. Computers and Electronics in Agriculture， 2020， 170： 105277.

[7]ELFIKY N M， AKBAR S A， SUN J， et al. Automation of dormant pruning in specialty crop production： an adaptive framework for automatic reconstruction and modeling of apple trees[C]. Piscataway， NJ：IEEE Computer Society，2015： 65-73.

[8]MEDEIROS H， KIM D， SUN J， et al. Modeling dormant fruit trees for agricultural automation[J]. Journal of Field Robotics， 2017， 34（7）：1203-1224.

[9]徐思雨，祝继华，田智强，等. 逐步求精的多视角点云配准方法[J].自动化学报，2019，45（8）：1486-1494.

[10]张蕊，孟晓曼，曾志远，等. 图卷积神经网络在点云语义分割中的研究综述[J].计算机工程与应用， 2022， 58（24）：29-46.

[11]LANDRIEU L， SIMONOVSKY M. Large-scale point cloud semantic segmentation with superpoint graphs[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018：4558-4567.

[12]GUINARD S，LANDRIEU L. Weakly supervised segmentation-aided classification of urban scenes from 3d LiDAR point clouds[C]//International Archives of the Photogrammetry， Remote Sensing and Spatial Information Sciences. 2017：151-157.

[13]LI Y， TARLOW D， BROCKSCHMIDT M， et al. Gated graph sequence neural networks[C]. Ithaca， NY：Openreview. net，2016.

[14]CHO K， VAN MERRINBOER B， BOUGARES F， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation[C]. Stroudsburg：ACL，2014.

[15]LI Y， BU R， SUN M， et al. Pointcnn： convolution on x-trans formed points[C]. Montreal Canada： Neural Information Processing System. Foundation， 2018.

[16]WANG Y， SUN Y B， LIU Z W， et al. Dynamic graph CNN for learning on point clouds[J]. ACM Transactions on Graphics， 2018， 38（5）：1-12.（責任编辑：徐艳）