自然场景下葡萄定位方法的研究

胡洋洋，马本学，李小霞

（1.石河子大学机械电气工程学院，新疆 石河子 832003；2农业部西北农业装备重点实验室）

0 引言

葡萄别名“草龙珠”，是世界的四大果品之一，葡萄的种植面积和产量是位于柑橘之后的世界第二大果树作物，以其颜色鲜艳，酸甜可口，深受人们喜爱。葡萄不仅鲜食美味可口，有利人体新陈代谢，还可酿酒、榨汁、榨油、制干[1-3]。据调研，目前葡萄的采摘由人工完成，葡萄的采摘是葡萄鲜食、酿酒、干制等过程中最重要的环节，采摘作业质量的好坏直接影响着葡萄后续加工品质的等级。降低采摘成本解放劳动力的同时提高葡萄的品质是葡萄生产链中需要解决的关键问题。然而随着国家的进步，社会的发展，人口老龄化愈来愈严重。劳动力短缺，劳动成本激增，导致生产成本增加。果蔬生产属于密集型的工作，果蔬采摘是整个果蔬生产中最耗时、最费力的一个环节，收获期间需投入的劳力约占整个种植过程的40%～50%[4-5]。收获时节需要雇佣大量劳动人员，劳动强度大，采摘周期长，效率低。新疆的葡萄采收基本上都是人工采摘，因此降低成本和劳动强度的同时，提高经济效益，实现果实的自动化采摘成为当前亟需解决的问题。

随着计算机数字图像处理技术日趋成熟，计算机视觉技术已成为一门新兴的综合技术，在农业上的应用已取得了长足的进步[6]。本文针对自然场景中的新疆特色夏黑葡萄，通过基于双目立体视觉系统的葡萄定位试验平台进行定位试验，以为实现葡萄采摘机器人的田间葡萄定位奠定基础。

1 材料与方法

1.1 材料

鲜食葡萄图像，地理坐标位于东经84'58"-86'24"，北纬43'26"-45'20"。试验条件如下：天气晴朗，太阳直射温度 36℃，地表湿度45%，顺光条件下葡萄表面平均光照强度为720 Lux，逆光条件下为235 Lux。

1.2 试验平台

为了便于进行田间葡萄定位试验研究，自行设计并搭建了葡萄定位双目立体视觉系统试验平台。系统中双目立体视觉系统设备选用维视图像加拿大PointGreyResearch公司1394接口的工业相机,型号为Bumblebee xb3。激光测距仪为GHLM-07B动态激光测距传感器，软件环境为Visual Studio 2013开发平台，图1葡萄定位双目立体视觉平台。

图1 葡萄定位双目立体视觉平台

1.3 葡萄的定位

1.3.1 双目立体视觉相机的标定

在项目实施的一年时间里，共计服务74690人次，其中跟踪指导1529人，咨询个案2378例，治疗个案211例，困境家庭救助197户，家庭宣传活动114次，劝和夫妻771对（见图7），新婚咨询辅导763对，小组活动225节，社区活动60次，沙龙活动30次，讲座18次，督导191次，培训84次，志愿服务11896人次，发放宣传手册24086本，机构微信287篇，本地报纸报道139次，网站报道129次，各区县圆满完成各项指标任务。

白丽筠原本在银行打过一段工，不是正式员工，是外聘的，收入待遇都要比正式员工低一大截。她告诉我，他们银行内部对不同部门员工的称呼很有意思。据她说，银行内部把前台服务员叫做接客的。白丽筠就是接客的，不仅接客还要做一种推销金银币的工作。做这个活的既有男服务生也有女服务生，不论男女都是既卖金币也卖银币，但是她们私下里对卖金币和卖银币是分开来叫的。她们管卖金银币的男服务生叫卖金的，管卖金银币的女服务生呢？卖银币的女服务生该叫什么？

本系统规划主要从“业务引领技术、大交通多维度、大情报小行动扁平勤务、系统级的精细管控、精准实时信息服务”5个方面考虑.

葡萄不同于其他果蔬，呈穗状生长，由于种植模式的不断优化，葡萄果实垂直于地面呈单个串形生长，果梗处被枝叶遮挡情况较少。提取葡萄颜色空间中的H分量，然后对其二值化[7],求出图像的矩形框和葡萄质心，因此萄果实采摘点的位置在葡萄果实区域的接矩形与重垂线的最高交点处，如图3所示。

图2 双目相机标定图像

1.3.2 葡萄采摘点的确定

师生活动 学生合作探究，教师引导学生用准确的语言归纳猜想：在直角三角形中，当锐角A的度数一定时，不管三角形的大小如何，它的对边与邻边的比也是一个固定值.然后全班交流.

图3 葡萄采摘点确定

对视差图进行目标提取后得到目标物体的一系列视差值，葡萄轮廓质心和葡萄外接矩形框的交点偏上既是葡萄的采摘点，采摘点对应的三维坐标就是采摘点相关坐标位置信息。对500～1 000 mm的葡萄图像采集110张分为11组，每组10张，试验结果如表1所示。

图4 葡萄的立体匹配

立体匹配是获取目标三维信息最重要、最关键的一步[8]。立体匹配是寻找实际场景中的点在两幅图像中的对应点的过程，匹配的好坏决定了视差图的质量。匹配算法根据匹配方式的不同而分为两大类:一类是区域匹配，区域匹配产生的稀疏矩阵不足以支撑稠密的点云信息，后期的重建效果不佳，另一类是特征点SIFT算法匹配，SIFT算法匹配图像的局部特征，对旋转、尺度缩放、亮度变化保持不变，对视角变化、仿射变换、噪声也保持一定程度的稳定性[9]。本文采用的是特征点的匹配，其结果如图如4所示。

双目相机内外的参数标定结果对三维坐标计算至关重要，标定的参数精度直接影响后期的深度信息，本文采用张正友平板标定法进行标定。标定板选用铝合金材料的AFT-CT430高精度双目视觉标定板。标定时将标定板整体竖直置于视角范围内，将旋转角度控制在20°左右，分别采用以原点顺时针旋转和以X轴和Y轴向左向右旋转,这样共获得18幅（左右相头各9幅）图像，图2为右相头所拍摄的相应画面。通过自动检测标定板上每个圆点的圆心，校正标定图像并通过计算获取左右摄像机内外参数。

表1 葡萄识别定位结果

2 结果与分析

试验利用自己设计搭建的基于双目立体视觉系统的葡萄识别定位试验台对生长在不同位置的葡萄进行识别定位，根据葡萄的生长位置，选择测量范围为500～1 000 mm每间隔50 mm进行1组试验，1组拍摄10幅图片，测量的葡萄数据如表1所示。通过统计110幅葡萄定位试验，最大误差5.5 mm，最小误差1.2 mm，平均误差3.39 mm，误差数据图如图4所示。

图4 葡萄定位平均误差

产生误差的主要原因有：（1）双目立体视觉像机标定过程中产生的误差，如标定板精度、标定次数较少；（2）实时性不高，当光照强度变化时，有时特征点较少，对边缘光滑的目标无法准确提取特征点；（3）激光测距仪测量时存在的误差。

3 结论与展望

本文根据自己设计搭建可移动的葡萄识别定位系统试验台完成了葡萄定位试验；本次试验条件贴近果实采摘的实际作业条件，通过双目立体相机的标定，立体匹配，深度信息的获取；试验结果表明最大误差5.5 mm，最小误差1.2 mm，平均误差3.39 mm，满足葡萄采摘机器人自动化采摘要求。

自然环境中，光照强度影响较大，果蔬釆摘机器人视觉系统加上光源将更有利于果实的识别和定位，考虑给葡萄采摘机器人视觉系统配备主动光源来减小定位误差。