基于机器视觉的樱桃形状及大小检测技术

裴悦琨，叶家敏，姜艳超，连明月，韩心新，谷宇

1.大连大学辽宁省北斗高精度位置服务技术工程实验室（大连 116622）；2.大连大学大连市环境感知与智能控制重点实验室（大连 116622）

樱桃的形状和大小是樱桃品质的重要表现。通常，樱桃的优质表面特征能激发消费者的购买欲，促进果农收益最大化。樱桃在花芽分化过程中遇到高温干旱天气，果实极易畸变成单柄联体双果、单柄联体三果甚至单柄联体四果[1]。这种畸形果口感酸涩，大大降低了商用价格。因此，为提升经济效益，有必要对畸形果进行剔除，对正常果进行尺寸分级。目前我国对樱桃的分拣分级依赖人工实现，存在主观性强、劳动密度大、耗时长且不够准确等缺点，提出基于机器视觉的樱桃分拣分级，以达到精准分拣、高效分级的目的。

机器视觉在形状检测中应用广泛，如黄桃表面缺陷检测、芒果大小检测、番茄裂果、马铃薯畸形检测，虽然检测速度快且精度高，但是算法针对性强，不具有广泛应用性[2-5]。对桃子、番茄的果、花、茎检测，虽可实现户外实时检测，但受环境影响较大，精度低且对样本需求量较大[6-7]。柚子、猕猴桃的大小检测为果形指标量化提供了方法和理论依据，但需对果形姿态进行确定，有一定的局限性[8-9]。荔枝、苹果、草莓的形状大小检测，在确保精度时无法同时做到高效检测[10-12]。花菇破损检测算法虽然速度上有一定的优势，但正确率上却稍有缺陷[13]。也有一些研究综合考虑了各方面因素，速度和精度均达到了不错的效果。如对杨梅、草莓进行形状大小检测，尤其是对草莓的检测，将草莓的几何形状类比成风筝检测其大小，并以顶点为基点，计算边界和长轴的角度，实现了草莓尖端是标准锥形还是平坦形识别[14-15]。

虽然检测水果品种广泛，但对樱桃果形的识别技术少之甚少。因此，以樱桃为研究对象，提出一种以机器视觉为基础的欧式距离法，在保证高正确率的同时高效率地检测樱桃果形。主要围绕2个关键问题展开：1）针对检测出樱桃果实进行畸形判别；2）针对检测出樱桃果实进行尺寸分级。

1 试验系统搭建

基于计算机视觉的分级系统由硬件和软件两个部分组成。硬件系统用于采集樱桃图像，软件部分对图像进行处理。

硬件系统主要由照明系统、CMOS摄像机、吸光背景布、POE千兆网卡、计算机等组成，如图1所示。照明系统包含圆顶光源和控制器。圆顶光源将内嵌的高强度白色LED灯珠的发光，经圆顶内壁漫反射到被测物体表面上，在很大程度上避免了樱桃表面的反射和底部阴影，且有利于提高被测物体的轮廓、斑点等细节的清晰度，进而提高检测精度。控制器具有同步触发模式，将其与相机触发输出接口相连可以通过相机快门同步触发频闪信号。CMOS相机、镜头及网卡均为主流的工业级产品。

软件部分采用模块化设计思想，在MATLAB环境下完成。主要工作流程如图2所示，包括图像采集、图像增强、边缘检测、确定果蒂、畸形检测以及尺寸分级。

图1 硬件系统图

图2 图像处理流程图

2 图像处理

2.1 图像增强、二值化

为了能使得图片更加适合该研究，首先对原图使用直方图均衡化，增强原图的对比度，强化樱桃自身轮廓和细节等。研究的重点在于樱桃的果体形态，并不涉及颜色信息，故将彩色图进行降维处理，即二值化操作，大大简化数据运算量。

2.2 果梗、果体分离

通过研究樱桃果梗所占像素宽度，选用13×13的结构元素对二值图进行形态学开运算，达到去除果梗的目的。由于噪声的影响，果体边缘不平滑且果体内外部存在一些细小噪声，采用3×3的结构元素对果体二值图进行形态学闭运算来平滑边界、去除果体内部噪声，得到高质量果体。最后，使用完整二值图减去果体得到果梗。

如图3所示，畸形果千姿百态，检测关键因素之一是果体的边缘信息。通过对比多种边缘算子，最后确定Canny算子效果最优，分别对果体、果梗提取边界信息。

2.3 确定果蒂

此次研究所提出的创新算法是以果蒂为基点，而果蒂是樱桃果体与果梗相连接的地方，故需先通过图像处理确定果蒂的位置。将得到果梗、果体边界信息进行相交，进而确定果蒂的位置。

图3 常见畸形樱桃图

3 畸形检测

3.1 面积缺陷法[16]

在已搭建好的硬件设备上进行樱桃图像采集，对樱桃图片进行预处理和二值化等操作。樱桃表面光滑易反光，依据反光面积占樱桃总面积比，得到畸形指数，根据畸形指数区分正常果和畸形果。

果体畸形的樱桃反光面积为Ad，不考虑畸形的樱桃面积为As，畸形指数DA按式（1）计算。

3.2 欧氏距离法

首先，采用8连通像素跟踪法顺时针提取果体边界像素坐标，再对果体边界坐标顺序进行调整，调整为以果蒂为起始点。然后，以果蒂为基点，顺时针依次与果体边界像素坐标计算欧氏距离：

式中：（x0,y0）为果蒂坐标，（xi,yi）为边界顺时针第i个像素坐标，d为两坐标的欧式距离。最后，对求得的欧式距离绘制成波形图。

从理论上来看：

1) 正常果体以果蒂为基准点，顺时针与边界做欧氏距离后并绘制出的波形图上存在一个很浅的波谷，少数较为圆润的果体甚至连波谷都没有。

2) 畸形果体以果蒂为基准点，顺时针与边界做欧氏距离后绘制的波形图上会呈现出一个、两个甚至三个较深的波谷。

因此从波形图的波谷深浅程度着手，将果体存在畸形的剔除。波形图只需要大致走向即可，故采用五点均值法达到平滑波形的作用，避免细小波峰、波谷的干扰，如式（3）所示。

平滑波形后，寻找波形图中的最高波峰和相邻最深波谷的位置，也就是波形图中的最大值Jmax和相邻极小值中的最小值Jmin，对这两个数值进行归一化处理，并计算其差值：

式中：C为波形图中波谷的深浅程度，最后将差值C与预先定义好的阈值Cth进行比较：

4 尺寸分级

樱桃经过畸形检测后，系统将果形正常的樱桃进行尺寸分级。尺寸分级能够将大小相近的樱桃归为一类，便于加工处理、包装存储等，况且对果农而言根据尺寸分级从而价格分档更能提升经济效益。尺寸检测是根据国际标准以垂直于果轴最宽果茎所得值，因此采用果茎法将正常樱桃分为特级、一级、二级、三级。

在樱桃去除果梗后，根据欧氏距离波形图首先确定樱桃的果萼位置。连接果蒂和果萼，即为果轴，顺时针依次与边界像素构成三角形。通过使用海伦公式计算三角形面积，并找出果轴两侧最大面积三角形，从而确定垂直于樱桃果轴的最宽果茎点：

式中：a为果蒂与果萼的距离，b为果蒂与边界的距离，c为边界与果萼的距离，s为三角形面积。然后将最宽果茎计算值与实际游标卡尺测量值做一元线性回归，计算估算值与实际测量值的误差百分比，以及误差百分比的均方根，从而确定一元回归方程的精度：

最后，对樱桃尺寸进行分级，根据市面樱桃大小，参考美国、加拿大樱桃分级标准，将樱桃分级，其中L为樱桃直径最宽距离：

5 试验结果分析

试验中选择的样本樱桃为市场上备受欢迎的“美早”，具有果梗粗短、果大质优、丰产早熟等特点，国内主要产地为辽宁大连。硬件平台搭建完成之后，所有樱桃图像采集都是在一个标准下进行的。

5.1 畸形检测对比分析

5.1.1 面积法检测

基于面积法检测，选择200个樱桃样本进行批量处理，试验结果如表1所示，针对果体畸形检测的正确率为88%。由于光照等环境条件无法一模一样，故验证结果可能与前人结果有稍许不同。

5.1.2 欧氏距离法检测

图4为典型不同类型樱桃检测图。图4（a）、（b）分别为畸形果和正常果的二值化图，图4（c）为根据图4（a）所绘制的波形图，图4（d）为根据图4（b）所绘制的波形图，波形图的最高波峰和相邻最低波谷均使用星号标注。因此，要想精确区分果体是否正常，确定合适的阈值是首要关键任务。

图4 典型不同类型樱桃检测图

首先，选用特点分明的50个果体正常的樱桃和50个有果体畸形的樱桃进行研究，来确定一个合理的阈值用于后续试验的果体检测，发现：

1) 果体正常的樱桃波谷深度平均值为0.008 4，最大值为0.019 5，方差为3.060 8×10-5；

2) 果体畸形的樱桃波谷深度平均值为0.650 1，最小值为0.302 2，方差为0.026 4。

可见畸形果体的波谷最小值是正常果体波谷深度最大值的15倍，且根据正常果所绘制的波形图较为平缓，故将阈值设置为（0.019 5+0.302 2）/5=0.064 34，即Cth=0.064 34。

基于此，我们进行果体畸形检测试验，选择200个樱桃样本进行批量处理，试验结果如表1所示，正确率达到100%。

表1 畸形检测对比试验

经过试验对比，发现在樱桃果体畸形检测方面，提出的欧氏距离法效果在检测速度和正确率上均明显高于传统的面积法。

5.2 尺寸检测

首先，对78个正常果体樱桃分别使用游标卡尺进行果茎测量和使用图像处理计算樱桃的最宽果茎，并将最宽果茎计算值与实际测量值做一元线性回归拟合，如图5所示，得到一元回归方程：

式中：x为图像中最宽果茎计算值，f(x)为估计值。根据一元回归方程得到每个樱桃最宽果茎的估计值与测量值计算可知，果茎的均方根误差为2.752 0%，其精度为97.248%。基于此，选择120个样本樱桃进行批量处理，进行尺寸分级，结果如表2所示。

图5 线性回归拟合图

表2 尺寸分级

6 结语

研究是以机器视觉为基础，搭建了一个樱桃果形检测、尺寸分级系统。首先，通过CMOS相机对樱桃进行图像采集；其次，使用MATLAB图像进行预处理；然后，利用提出的新算法——欧式距离法，对果体是否畸形进行检测；最后，采用果茎法对正常果进行尺寸分级。试验表明，欧氏距离法检测果体畸形在准确率和速度上均优于传统算法，分别为100%和528个/min，且尺寸分级准确率为93.3%，具有良好的实际应用价值。