机器视觉在采摘机器人识别与定位中的应用

焦迎雪，董海涛，武文革

（1.山西铁道职业技术学院，山西 太原 030013；2.山西机电职业技术学院，山西 长治 046011；3.中北大学，山西 太原 030051）

1 引言

在信息技术的驱动下，农业生产过程的机械化朝着自动化和智能化的方向发展。机器人技术的飞速发展彻底改变了传统的农业生产方式［1］。长期以来，农业一直是影响国内经济和社会发展的核心问题，农业机器人的研究和开发具有重要的价值［2］，并形成了丰富的经济和社会效益。采摘是整个生产过程中最耗时的环节，也是整个生产过程中关键环节之一。采摘作为生产的关键环节，非常耗时，果蔬采摘具有较强的实时性。因此，研究基于机器视觉的夜间采摘机器人识别与定位技术具有重要的意义。

近年来，国内外的研究人员对采集机器人技术进行了大量研究，并取得了许多优异的成果，但对采摘机器人识别与技术的研究非常少。文献［3］对夜晚西红柿的识别和定位技术进行研究，总结了成熟西红柿的检测和分类方法，分析了当前番茄采摘存在的主要问题，并对未来的研究重点进行展望。文献［4］提出了一种低成本的单双目识别和定位系统。首先，双目视觉系统可以根据苹果颜色、形状和位置特征来识别和定位苹果，然后位于执行器底部边缘的单目视觉系统可以在短距离内锁定并采摘目标。文献［5］提出了一种基于单眼视觉和超声检测的振动水果识别与定位方法。首先，使用Oteu阈值对图像进行分割，然后用灰色的果实区域填充图像，然后叠加处理后的图像序列以获得合成图像。韩鑫等提出了一种基于改进的单次多框架深度学习识别方法的机器人抓取系统，以实现零件检测、分类、定位和抓取等，并通过实验进行了验证［6］。由于果实是具有生命的离散个体，不同的生长环境（如光照、遮挡等）会造成个体形状和颜色的差异，给果实的识别带来困难，影响识别的准确性。在夜间识别目标水果时，上述研究存在识别精度低、识别时间长等问题，适应性有待进一步加强。

在此基础上，这里提出了一种基于机器视觉的夜间采集识别与定位方法，使用基于粒子群优化的独立成分分析方法来降低夜间苹果图像中的噪声，使用PCNN方法对图像进行分割，并通过边缘检测等方法提取目标轮廓，最后使用改进的三点定圆法来提高目标的识别和定位精度。仿真结果验证了该方法的有效性和可行性。

2 系统结构

采摘机器人识别和定位系统由嵌入式控制器、双目视觉传感器和末端执行器等组成。模拟人类采摘苹果的过程，系统结构，如图1所示。首先，使用双目视觉传感器对树上的苹果进行识别和定位，然后选择一个目标［7］。基于采集的信息，嵌入式控制器可以识别目标并将其在短距离内锁定。机械手根据已建立的基于图像反馈的控制方法进行采摘［8］。采摘目标后，机械臂将返回到其初始位置并选择下一个目标，直到采摘了所有已识别和定位目标。机器人移动以重新识别、定位。采摘目标。文中主要研究识别和定位技术。

图1 系统结构Fig.1 System Structure

3 夜间目标的识别与定位

由于光照和湿度等不利因素，夜间采集的图像质量较差，并且会伴随大量噪声污染［9］。文中对图像连续进行降噪、分割、轮廓提取和定位，识别和定位过程，如图2所示。

图2 识别与定位流程Fig.2 Identification and Positioning Process

3.1 图像降噪

粒子群优化ICA算法提高了算法的运算效率和降噪精度［10］。ICA算法的核心是求解分离矩阵W，并使用PSO算法实现ICA优化，PSO-ICA算法的基本步骤如下。

（1）对被测信号x进行集中化和白化处理，得到矩阵D和H。

（2）对粒子群进行初始化，随机生成粒子i初始位置zi和速度vi，对粒子i的适应度进行计算［11］。

（3）通过粒子的适应度来确定粒子的最佳位置，其中，是待求分离矩阵为群体最优位置。

（4）利用粒子群优化算法更新粒子的位置和速度。

（5）正交化分离矩阵。

（6）对粒子适应度进行计算，更新粒子和种群最优位置，并与之前的迭代进行比较，如果是最优值，保留当前值，然后继续下一步［12］。否则，返回步骤（3）。

（8）种群最优位置pg为待求解的分离矩阵W，算法结束。

3.2 PCNN分割

目前，大部分图像分割算法都依靠图像灰度信息，并且常常忽略图像中的空间信息［13］。常用的分割算法有色差分割、Kmeans 算法、PCNN 算法，均可以有效分割出苹果图像，单PCNN算法分割耗时最短。

这里采用PCNN用于苹果图像分割，PCNN不仅考虑了灰度信息，还考虑了空间信息。

PCNN 作为第三代神经网络，被广泛应用于图像处理领域［14］。PCNN 可以根据其空间接近度和亮度对图像像素进行分组，并将其应用于图像分割以获得更好的分割结果。简化的PCNN神经元模型，如图3所示。

图3 简化PCNN神经元模型Fig.3 Simplified PCNN Neuron Model

对模型进行数学描述，在输入区中，神经元的输入有两大通道［15］，如式（1）、式（2）所示。

式中：i，j—神经元的标号；

Fij—神经元输入项；

Iij—输入激励，即与像素点(i，j)相对应的特征值；

Lij—连接输入项；

Yij—脉冲输出；

Wij—耦合连接域的连接系数。

在连接输入器主要作用是对输入进行调制，获得内部状态信号，如式（3）所示。

式中：Uij—内部活动页；β—内部活动页连接系数。

在脉冲发生器中，如式（4）、式（5）所示［16］。

式中：γ—动态阈值衰减步长；ve—放大系数。

PCNN 参数设置大多数都是通过实验反复调试获取的。参考现有研究成果描述的PCNN模型使用最大熵准则来确定迭代次数，然后对苹果图像进行分割［17］。

3.3 轮廓提取

在分割图像之后，执行轮廓提取以展示图像纹理的细节。在这里，使用边缘检测、凸壳提取和轮廓消除等方法获得目标苹果的真实轮廓。

这里采用Canny边缘检测算子，边缘检测的过程如下［18］。

（1）使用高斯滤波器对输入图像进行平滑处理。

（2）计算梯度幅值图像和角度图像。

（3）对幅值图像进行抑制处理。即，将具有最高梯度值的像素保留为边缘，并去除其他像素。

（4）边缘检测和连接：双阈值和连接分析。

通过边缘检测提取的图像还不平滑，通过凸壳来替换苹果目标的轮廓，关于凸壳有很多算法文中使用卷包裹方法，步骤如下。

①在点集中选择横或纵坐标最小的点。

②以所选点a1开始绘制一条水平线，然后以a1为中心逆时针旋转该线，直到它接触到点集中的点为止。设为a2，线段a1a2是凸壳的一条边。

③继续围绕a2点逆时针旋转线，直到它接触到点集中的下一个点。设为a3，线段a2a3是凸壳的第二条边。

④重复前面的步骤，直到下一个点为a1，线段ana1是凸壳的第n条边。

这里采用自适应方法去除目标苹果的不真实轮廓，并保留目标苹果的实际轮廓。基本思想是以轮廓左上角作为起点，逆时针追踪轮廓，在凸包的顶点位置标记序号，并基于这些顶点号来确定相邻轮廓之间的距离［18］。计算出平均距离，并将其平均值设置为阈值，确定两个相邻顶点的距离和阈值，如果该值大于阈值，则轮廓不是目标苹果的真实轮廓。将其删除。否则，将其视为要保留的真实轮廓。

3.4 改进的三点定圆法定位

为了最大程度地识别目标果实的中心和半径，减少平均值计算过程中的误差，采用遗传算法对三点定圆法进行优化，提高定位的准确性。

假设目标苹果轮廓上的任何三个点P1(x1，y1)、P2(x2，y2)、P3(x3，y3)，由这三个点确定的圆心为O(x0，y0)。假设连接任意两个点的线段的垂线的交点圆的中心，则两条中垂线的，如式（6）所示［19］。

圆的中心和圆上的点之间的距离是圆的半径长度r，计算如式（7）所示。

圆可以由不在同一条线上的三个点确定，但是对图像来说，图像中的点是图像中的像素。如果目标苹果轮廓中的三个像素太近，则它们会影响圆或使圆的确定变得困难。因此，如果在目标轮廓上选择三个点，则应设置阈值，以使所确定圆的中心和半径尽可能接近目标苹果的圆，步骤如下。

（1）初始种群，根据三点定圆法计算目标苹果的中心和半径，并重复20次。以20组中心和半径为初始种群，每个圆的中心及其对应的半径为群体中的个体。

（2）计算每个个体的适应度。遗传算法在个体被选中的概率中起着至关重要的作用。适应度越好，就越容易被选择。文中将步骤一中的苹果目标定位结果与实际苹果目标像素数之比用作适应度函数，即重合系数。计算如式（8）所示［20］。

（3）选择适应度较大的解。设置适用度阈值p=90%，将阈值之上的解保存，删除其它解。

（4）将第三步中获得的解用作下一代或通过交叉变异遗传算法生成新解，生成一个新种群。

（5）设定适应度的期望值E=95%。迭代次数T=100。如果种群P(i)中解达到期望值或最大迭代次数时，操作结束。否则，将产生下一代种群P(i+1)，重复步骤（2）～步骤（4），直到重合系数达到期望值或最大迭代次数，定位流程，如图4所示。

图4 定位流程Fig.4 Positioning Process

4 算例分析

4.1 降噪效果分析

图像降噪后，有必要评估降噪效果，主要有主观评价和客观评价，主观评价是通过观察者肉眼观察处理后进行评价，受到人的主观因素影响。这里采用客观评价，客观评价是相对主观评价而言，图像降噪质量的客观评估是指在评估过程中通过结合数学原理和工程技术来量化图像质量，然后评估图像质量的量化技术，具有操作简便、重现性强、易于集成等优点，具有广阔的应用前景。客观标准包括均方误差（MSE）、峰值信噪比（PSNR）等。文中用峰值信噪比来评估图像的将噪效果，其数学原理，如式（9）所示。

式中：fij—原始图降噪图；M、N—图像的高度和宽度，尺寸相同图像M×N，PSNR数值越大，降噪能力越强。

对这里提出的PSO-ICA 将噪算法进行了仿真。首先，将自然光下和夜间采集苹果图像转换为灰度图像，并在自然光下采集的图像中添加概率P=0.03 的椒盐噪声。在实验中，在MATLAB 中分别采用均值滤波、ICA 和PSO-ICA 去除混合噪声图像和夜间图像中的噪声。均值滤波窗户尺寸为3×3（像素）。ICA 正交变换8×8基图。PSO-ICA 降噪方法，粒子数N=20，最大粒子速度1，学习系数2，惯性权重0.9和0.4，最大迭代数100，仿真结果，如图5所示。

图5 降噪结果对比Fig.5 Comparison of Noise Reduction Results

采用均值滤波、ICA和PSO-ICA对混合噪声的自然光图像和夜间图像中的噪声进行降低，由图5可知，对混合噪声的自然光图像进行降噪，均值滤波算法降噪效果最差，ICA算法次之，PSOICA算法降噪效果最为清晰。

对夜间图像进行降噪，同样是均值滤波算法降噪效果最差，ICA算法次之，PSO-ICA算法降噪效果最好，图片最为清晰。与均值滤波和ICA降噪方法相比，这里提出的PSO-ICA降噪方法具有最低的噪声和最清晰的图像。

为了进一步验证该算法的适应性，对20幅苹果夜景图像进行了仿真实验，并计算了每种方法的平均峰值信噪比和平均运行时间。结果记录，如表1所示。

表1 算法降噪效果比较Tab.1 Comparison of Noise Reduction Effects of Algorithms

从客观数据来看，均值滤波后的低噪声图像具有最低的峰值信噪比（PSNR）。独立成分分析（ICA）去噪方法的峰值信噪比（PSNR）较均值滤波提高明显。PSO-ICA结果具有相对较高的峰值信噪比（PSNR），明显高于其他两种方法。就执行时间而言，均值滤波的时间最短，ICA花费的时间最长，但是PSO优化后的ICA执行时间大大减少了。

从峰值信噪比可以看出，均值滤波将噪算法比原始图像高17.39%，ICA降噪算法高29.50%，PSO-ICA将噪方法比原始图像高39.06%。表明了该算法在夜间图像降噪中的有效性。

4.2 分割效果分析

图像分割的最终目标是将目标与背景分离。分割算法的评估可以通过分割结果与原始图像中的目标匹配的程度来衡量。在实验中，K-means和PCNN 用于图像分割。分割结果的比较，如图6所示。

图6 分割结果对比Fig.6 Comparison of Segmentation Results

在这一部分中，使用分割误差，重叠系数和执行时间全面分析分割算法的性能。分割误差SE越小，分割效果越好。计算如式（10）所示。

式中：Ai—分割后提取的苹果目标区域；

A—原始图像中目标苹果区域。

重叠系数表示分割后的目标和原始目标之间的匹配程度，值越高，分割效果越好，如式（11）所示。

式中：Ai⋂A—分割后的图像和原始图像。

通过K-means分割得到的目标果实部分丢失，PCNN分割方法可以更完整地提取目标苹果，效果优于K-means分割。为了更准确地确定这两种分割方法的性能，验证PCNN分割方法的适用性，对20种分割后的无遮挡苹果图像进行了分割方法测试，并对分割误差、重合系数和运行时间进行了比较结果，如表2所示。

表2 分割效果比较Tab.2 Comparison of Segmentation Effect

从表2可以看出，K-means分割和PCNN分割的平均分割误差分别为8.703%和2.225%。平均重叠系数为90.562%和97.358%，平均执行时间为4.642s 和0.691s，PCNN 分割优于Kmeans分割。PCNN分割可以实现目标苹果的准确提取。

4.3 识别与定位效果分析

根据苹果类圆特征，利用遗传算法改进的三点定圆法，实现了重叠果实真实轮廓上的识别和定位。通过比较改进前后的三点定圆法定位结果，验证了这里算法的适应性。实验结果，如图7所示。

图7 识别与定位结果对比Fig.7 Comparison of Recognition and Location Results

如图7所示，改进的三点定圆法可以最大程度地识别目标果实的中心和半径。为了验证这里定位算法的有效性，分别对20幅枝叶严重遮挡（遮挡率＞50%）和少量枝叶遮挡（遮挡率＜50%）及重叠果实夜间苹果图像进行了研究，采用假阳性率（FPR）、假阴性率（FNR）和重叠系数（OI）进行评价。重叠系数（OI）按式（8）计算。假阳性率（FPR）表示误认为背景为苹果的像素比例。计算如式（12）所示。

假阴性率（FNR）表示误认为苹果为背景的像素比例，如式（13）计算。

其仿真测试结果示例，如图8～图10所示。

图8 重叠系数对比Fig.8 Comparison of Overlap Coefficient

图9 假阳性率对比曲线Fig.9 Comparison Curve of False Positive Rate

图10 假阴性率对比曲线Fig.10 Comparison Curve of False Negative Rate

当枝叶的遮挡率超过50%时，三点定圆法和这里优化算法的平均重叠系数分别为71.775%和89.05%，平均假阳性率为5.065%和2.825%，平均假阴性率分别为10.43%和8.19%；在枝叶遮挡率小于50%的情况下，三点定圆法和这里优化算法的平均重叠因子分别为86.15%和94.3%，平均假阳性率为2.67%和1.34%，平均假阴性率为8.265%和5.42%；在果实重叠的情况下，三点定圆法和文中优化算法平均重叠系数为69.55%和88.8%，平均假阳性率为5.225%和3%，平均假阴性率为9.895%和6.98。对三个评价参数的分析表明，遗传算法改进的三点定圆法具有最大的平均重叠系数，且假阳性率和假阴性率均低于改进前，因此，该算法可以在夜间更准确地定位目标苹果。

5 结论

这里基于采摘机器人的体系结构，提出了一种基于机器视觉的夜间采摘识别与定位方法，采用粒子群（PSO）优化的独立成分分析（ICA）用于对夜间苹果图像进行将噪，通过PCNN分割方法分割图像，通过边缘检测等提取目标轮廓，最后通过改进的三点定圆法对目标果实进行定位。主要结论如下：（1）与均值滤波和ICA将噪方法相比，文中提出的PSO优化ICA的将噪方法具有最低的噪声和最清晰的图像。（2）通过K-means分割得到的目标果实部分丢失，PCNN分割方法可以更完整地提取目标苹果，效果优于Kmeans分割。（3）这里的识别与定位方法在夜间遮挡小于50%时识别率为94.3%，遮挡大于50%时识别率为89.05%，有效提高了识别和定位的准确性。考虑到实验设备和数据的规模，研究仍处于起步阶段。基于此，逐步改进和完善将成为下一步工作的重点。