基于单目视觉的散堆铆钉识别与定位技术

喻 强,庄志炜,田 威,李鹏程

(南京航空航天大学 机电学院,江苏 南京 210016)

0 引言

飞机零部件的连接形式通常有铆接、螺接和焊接等,由于铆接具有连接强度稳定可靠、易于检查和排除故障、适应性强等优点,在飞机装配中得到了广泛应用,整架飞机连接方式中铆接占比达到60%～80%[1]。然而由于铆钉型号众多、数量巨大,自动送钉系统面临着巨大的挑战。

国内外研制的自动送钉系统规格种类很多,大体分为振动料盘式送钉系统[2-3]、抽屉式送钉系统[4-5]、阵列管道式送钉系统[6-7]、悬挂式送钉系统[8]和机器人送钉系统[9]5种方案。相比前4种类型自动送钉系统,机器人送钉系统由于在占地面积、输送的铆钉规格、储钉数量、稳定性和可扩展性等方面具有明显优势,在铆钉型号多且数量大的工况下具有良好的适应性。

机器人送钉系统的关键技术在于快速高效地识别散堆铆钉并定位,为机器人抓取散堆铆钉提供精准的位置信息。南京航空航天大学的李宇飞等[9]提出一种基于视觉伺服的机器人送钉系统,通过在机器人末端安装工业相机和抓取装置实现散堆铆钉的定位与抓取,然而该方案并不是直接对储料盒中的散堆铆钉进行视觉识别和定位,而是通过机械装置将储料盒中的铆钉运送至接料托盘,将铆钉由散堆状态转变为单层稀疏分布状态后才能进行后续工作。储料盒中的散堆铆钉属于散乱零件,目前针对散乱零件的识别与定位大多采用三维视觉的方法,即通过对获取的目标三维点云进行预处理、分割、识别和配准估算得到零件的位置,三维点云主要通过Kinect[10-11]或RealSense[12]传感器、多相机[13-14]和结构光[15]等获取,所获取的点云精度直接影响位置的匹配精度,而获取高精度的点云势必会对传感器、工作环境和点云预处理提出更高的要求;同时提取的点云特征也不宜过多,否则位置估计时会降低算法的效率和鲁棒性。另外,对于散堆铆钉这种接触和遮挡十分严重的零件,该类方法存在识别困难的问题。相关企业也推出了机器人拾取散乱零件(Bin-picking)的系统,例如日本FANUC公司研发了基于iRVision的Bin-picking系统,该系统采用4个相机完成三维视觉重建和目标定位[16],还有德国ISRA Vision公司的3D Shape Scan系统、丹麦Scape Technologies公司的Scape-Tech Discs系统等[17]。然而,以上系统也只适用于特定产品且价格昂贵,难以大规模推广使用。

哈尔滨工业大学的周静辉[18]提出一种三网络级联算法引导工业机器人抓取散堆零件,文中以双目同步采集的图像作为输入数据集,采用设计的浅层网络并配合相应的损失函数和训练方法得到了单目深度估计算法。然而实际生产过程中使用的铆钉种类多达几十种甚至上百种,各种规格铆钉的需求数量也从几颗到几百颗不等,采用深度学习的方法来训练各种散堆铆钉的深度估计算法不够便捷和高效,而且级联的3个算法运行时会消耗大量计算资源,实时性较差。

由于目前视觉方案无法满足机器人送钉系统识别与定位散堆铆钉的需求,本文提出一种基于单目视觉的散堆铆钉识别与定位方法,该方法基于灰度匹配的散堆铆钉识别算法,将单目视觉与激光位移传感器结合,同时采用一种重复定位拍照的测量方法实现对散堆铆钉空间位置的准确测量。该方法的主要创新点如下:

(1)建立铆钉反射光强模型,并基于该模型构造了钉杆灰度值模板。用灰度值模板识别散堆铆钉的准确率高、实时性好,对光照变化也具有较强的鲁棒性。

(2)采用参数化方法构造铆钉模板,可根据铆钉的尺寸参数快速构造出相应的模板,降低了系统的操作难度,后期如果需要增加新类型铆钉,也无需更改硬件,因此可扩展性强。

(3)提出基于异类传感器数据融合的铆钉定位技术,将单目视觉与激光位移传感器结合,解决了单目视觉无法获取铆钉z方向上的深度问题;同时,为解决单目视觉在测量不同深度的铆钉位置存在原理性误差的问题,研究了一种重复定位拍照的测量方法,可保证自动送钉系统抓取铆钉时的最大位置偏差不超过1 mm。

1 基于模板匹配的散堆铆钉识别

模板匹配是一种常用的图像识别方法,可用于完整性检测[19]、目标识别[20-21]和目标定位[22]等,因其简单实用、鲁棒性强,在工业检测领域得到了广泛应用。模板匹配方法一般由构造目标物体的标准图像模板和进行相似度计算确定目标在图像中的位置两部分组成。在自动送钉系统中,因为已知储料盒中铆钉的具体型号,所以可以使用模板匹配方法检测铆钉在图像中的位置。

1.1 铆钉模板的构造

目标模板可通过示教和参数化构造获得。铆钉虽然形状简单,但是种类很多,通过参数化的方法构造铆钉模板可大大减少示教这种重复性劳动,并提高构造模板的效率;同时,更换铆钉型号时,通过更改铆钉的尺寸参数可以很容易地获得新的铆钉模板。铆钉模板同样有像素灰度值描述和边缘轮廓描述[23]两种描述方式。图1所示为储料盒中散堆铆钉的图像,可见铆钉交叉堆叠、姿态各异,铆钉外轮廓模糊不清,倾斜状态下铆钉的边缘轮廓很难用尺寸参数描述,因此无法基于铆钉的边缘轮廓构造相应的模板。观察发现,在环形光源照射下,铆钉钉杆上有明显的反射光带,而且在反射光带两边沿径向的像素灰度值逐渐降低,这种灰度特征可用于区分铆钉和背景,因此采用像素灰度值描述铆钉模板。

因为铆钉的灰度值并不像轮廓那样可以直接由铆钉尺寸参数给出,所以采用参数化方法构造基于灰度值的铆钉模板,需要首先研究铆钉的灰度分布规律。分析铆钉图像发现,铆钉钉头部位为圆锥体,在图像中所占比例较小,在不同倾斜角度下,钉头部位的图像灰度分布没有明显的规律;钉杆部位为圆柱体,在图像中占据较大比例,其灰度沿钉杆轴线呈对称分布且灰度值沿径向从中心到边缘逐渐减小,有明显的规律,因此将钉杆作为铆钉识别的感兴趣区域来构造模板。钉杆表面可以看作为理想的漫反射体(朗伯反射体),考虑入射光的方向时,漫反射光的光强与入射光的方向和入射点表面法向夹角的余弦成正比,即朗伯余弦定律[24],根据该定律构造的朗伯漫反射模型为

Ild=kdIlcosθ。

(1)

式中:Ild为反射光强;kd为材质的反射系数;Il为入射光强度;θ为入射光方向与入射点表面法向的夹角,即入射角。

如图2所示,环形光源从上往下垂直照射在钉杆表面上,可近似看作为光强一定的平行光,则钉杆上某一点的反射光强满足规律

(2)

式中:w为入射点与钉杆中心轴线间的水平距离;r为钉杆半径。

图像中钉杆的灰度值与反射光强可近似认为是线性关系,通过归一化处理消除照明亮度变化对构造模板的影响,则钉杆模板中位于点(u,v)像素位置的灰度值t(u,v)为

(3)

式中:d为钉杆直径;u为该点在像素坐标系下的横坐标;η为比例系数,表示世界坐标系中1 mm长度所对应的像素坐标系中的像素数量,由相机内参数标定可知η=f/(sxzc),系数η与焦距f、像素尺寸sx和物距zc有关。

模板的宽度Wt和高度Ht为:

(4)

式中:L为铆钉总长,Hc为铆钉沉头高度,(L-Hc)为钉杆的长度。

综上所述,由钉杆直径d、铆钉总长L、铆钉沉头高度Hc和比例系数η这些已知的参数即可自动构造出基于灰度值的铆钉钉杆模板(如图3),所构造模板的灰度分布与实际铆钉图像相符。

由于储料盒中的铆钉散乱分布,导致铆钉与模板图像的方向可能并不相同;当铆钉处于不同深度时,其成像大小也会发生变化。因此,在构造铆钉模板时,还需考虑铆钉旋转和缩放。

考虑铆钉缩放即要确定缩放比例系数s。缩放比例与铆钉所处的深度有关,铆钉所处的深度越深,离镜头越远,成像尺寸越小,反之成像尺寸越大。如图4所示,长度为L的铆钉,当其处于测量平面上时,成像尺寸依然为L;当其处于测量平面上方H1高度时,成像尺寸为Lup;当其处于处于测量平面下方H2高度时,成像尺寸为Ldown。成像尺寸满足以下关系:

(5)

式中H为测量平面与相机中心之间的距离,H=300 mm。铆钉储料盒的尺寸为100 mm×100 mm×60 mm,测量平面设置在储料盒的中间位置,则当H1=H2=30 mm时,计算得到缩放比例系数的取值范围为0.9≤s≤1.1。由此可见,虽然铆钉的深度变化较大,但是成像尺寸变化的幅度并不很大。在0.9≤s≤1.1的范围内将搜索空间离散化,即缩放比例系数s按照一定步幅Δs取值,从而获得不同大小的铆钉模板,理论上,Δs的取值越小,匹配的精度越高,但由此也会带来巨大的资源消耗,严重影响匹配速度。基于灰度值的模板匹配对目标物体的尺寸变化具有一定鲁棒性,实验表明,目标图像的尺寸变化幅度在±5%以内时,几乎不影响匹配精度。根据Δs的取值,将s的取值范围划分为M个区间,由此构造出M组不同大小的模板。

与模板的缩放类似,需要确定旋转角度β的取值范围和旋转步幅Δβ。因为散乱分布的铆钉的方向是随机的,所以0°≤β≤180°。基于灰度值的模板匹配对目标物体的方向变化也具有一定鲁棒性,容许的方向变化幅度与模板尺寸有关,一般情况下,对于半径为100像素的模板设置旋转步幅Δβ=1°,模板像素尺寸越大,旋转步幅设置得越小[25]。根据Δβ取值将β的取值范围划分为N个区间,即可构造出N组不同方向的模板。结合模板的缩放,共构造M×N个具有缩放和旋转变化的模板,依次用这些模板与待搜索的铆钉图像进行匹配,便能检测出图像中尺度和方向有变化的所有铆钉。

1.2 模板匹配

完成铆钉模板t(u,v)构造之后,将模板t(u,v)放在被搜索图像f(r,c)上平移,被模板覆盖的区域称为子图f(r+u,c+v),计算模板与子图的相似度s(r,c),当相似度大于设定的阈值s′时,认为在当前位置(r,c)上找到了匹配的目标物体,以上即是模板匹配过程。常用的基于灰度值的相似度量方法有绝对误差和(Sum of Absolute Differences,SAD)算法、差方和(Sum of Squared Differences,SSD)算法和归一化相关系数(Normalized Cross Correlation,NCC)算法等[26]。SAD算法和SSD算法在照明条件稳定的情况下性能很好,但是如果光照变化导致待搜索图像的灰度值发生了变化,则有可能失效;而NCC算法对光照变化是鲁棒的,计算结果不随光照的变化而变化。因为自动送钉系统在设计时就考虑了光照变化可能带来的影响,所以在系统外围加装遮光罩并安装了内部光源,以保证光照环境的稳定性。因此,简单且计算效率更高的SAD算法可以很好地满足匹配精度的要求,故采用SAD算法计算模板匹配的相似度

s(r,c)=

(6)

式中T为模板尺寸。计算模板与子图上每个像素灰度差的绝对值再求和,实际上计算的是两幅图像的L1距离,计算的s(r,c)越小,表明模板与子图的相似度越高,当模板与子图完全相同时,s(r,c)=0。

采用一般的方法遍历整个图像计算每个像素点上的相似度耗时长,实时性要求较高的自动送钉系统无法接受,因此采用图像金字塔进行分层搜索[27-28]。如图5所示,先构建模板和待搜索图像的图像金字塔模型,再从金字塔最顶层逐层往下搜索,可大大降低算法复杂度,使算法满足工业应用的实时性要求。

2 基于异类传感器数据融合的铆钉定位

对于单目视觉,相机在进行标定并得到相机与测量平面之间的位姿关系后,只能对该平面上的物体进行二维测量,无法通过无人工标志的单幅图像重构空间三维信息[29]。因此,提出一种基于异类传感器数据融合的铆钉定位技术方案,将单目视觉与激光位移传感器结合,通过一种重复定位拍照的测量方法,获得满足抓取精度要求的目标位置信息。

在该方案中,单目视觉用于测量铆钉在水平面上的位置(x,y),激光位移传感器用于测量铆钉的深度z,将这两种传感器获得的数据整合即可得到铆钉的空间位置(x,y,z)。采用单目视觉测量(如图6),当铆钉处于测量平面时,相机可准确测得其所在的位置;然而对于不在测量平面上的铆钉,相机仍根据该平面计算得到铆钉的位置,此时会出现位置偏差,位置偏差满足下面公式:

(7)

式中:Δ1为铆钉处于测量平面上方H1高度时的位置偏差;Δ2为铆钉处于测量平面下方H2高度时的位置偏差;R为铆钉与相机光轴线之间的距离。

其中,当铆钉位于储料盒4个边角且处于最高点或最低点时,测得的铆钉位置偏差最大,此时R=70.7 mm,H1=H2=30 mm,H=300 mm,根据式(7)计算最大位置偏差值为Δ1=7.86 mm,Δ2=6.43 mm。由于铆钉钉杆的最小直径为3 mm,而且采用真空吸嘴完成铆钉的吸附抓取,需要将吸嘴与钉杆中心的位置偏差控制在1 mm以内,显然计算出的位置偏差已经超出抓取铆钉所允许的偏差范围。经过第1次拍照,测得铆钉的粗略位置(x1,y1),控制机器人将相机平移至铆钉位置(x1,y1)上方,相机高度保持不变,再次进行拍照测量,对于处在最上层的铆钉,此时的R已经缩小为R=Δ1=7.86 mm,计算得到的位置偏差Δ1=0.87 mm,将第2次拍照测得的位置记为(x2,y2),如此循环,使相机中心不断逼近铆钉。位置偏差Δ1与逼近次数i的关系曲线如图7所示,可见位置偏差随逼近次数的增加呈指数下降,在第2次逼近时,位置偏差已经在抓取铆钉允许的偏差范围内,因此只需要拍照两次便可以获得一个满足抓取精度要求的铆钉位置测量值。

当单目视觉获得铆钉位置(x,y)后,控制机器人将激光位移传感器的光束投射在该位置的铆钉上,测得铆钉的深度值z,最终得到铆钉的空间位置(x,y,z),实现铆钉定位。详细过程如图8所示,其中正方形方框为检测窗口,圆形标志为相机中心。首先控制机器人将相机移动到储料盒正中心上方,检测窗口覆盖整个储料盒,拍照测得铆钉的粗略位置(x1,y1);然后控制机器人将相机水平移动至位置(x1,y1)处,缩小检测窗口尺寸后再次拍照测得铆钉的位置(x2,y2);最后控制机器人将激光位移传感器的光束投射到(x2,y2)位置,此时光束正好投射在被测铆钉上,测得该铆钉的深度z,最终获得铆钉的位置信息(x2,y2,z)。

为提高自动送钉系统的鲁棒性,末端执行器会输出相应的负压反馈信号来判断真空吸嘴是否成功抓取铆钉,若第1次未正常抓取,则通过判断负压反馈信号使系统再一次执行抓钉动作。因为真空吸嘴具有z方向上的自由度,所以将第2次要到达的铆钉深度更改为z+2,即铆钉的位置信息更新为(x2,y2,z+2),以保证第2次能够成功抓取。

3 实验验证

为验证所提方法的可行性,设计并搭建了自动送钉系统,如图9所示,主要包括工业机器人、抓钉末端执行器、储料盒和工控机等。其中工业机器人的型号为FANUC M-10iA 12,抓钉末端执行器上搭载华睿科技的A3600CG18相机,并配合Computar M0814-MP2镜头使用,相关参数如表1和表2所示,激光位移传感器选用SICK的OD2-P250W150I2。

表1 相机技术参数

表2 镜头技术参数

由于飞机装配需要的铆钉型号众多,无法一一验证每种铆钉,选取其中5种具有代表性的、形状尺寸差异较大的铆钉进行散堆铆钉识别实验,足以验证方法的可行性。实验选取的铆钉及其图像特点如表3所示,主要从灰度匹配算法有效性、灰度匹配算法照明亮度变化鲁棒性、灰度匹配算法实时性和机器人抓钉节拍4方面进行评估。

表3 实验选用的铆钉及其特点

3.1 铆钉倾斜角度阈值设置

铆钉钉杆的灰度值模板均是以水平姿态下的铆钉建立的,而储料盒中的散堆铆钉与水平面有一定的倾斜夹角。随着铆钉倾斜角度的增大,钉杆上的反射光带亮度会逐渐降低,当倾斜超过一定角度时,反光带的形状将由矩形退化成细长的三角形。因此,在进行算法有效性验证之前,需要根据算法对不同倾斜角度铆钉的识别结果设置一个合理的倾斜角度阈值,并将该阈值下的相似度评分作为识别铆钉的判断条件。

首先在储料盒放置一颗第5种铆钉并将该铆钉倾斜0°～45°;接着在每种倾斜角度下采集10张图片;然后采用灰度匹配算法对采集的图像进行识别,并根据相似度进行评分,完全相似评分为100分;最后计算该倾斜角度下这10组评分数据的平均值。

实验结果如图10所示,铆钉的倾斜角度在0°～20°范围内变化时,相似度评分降低较缓且均在85分以上;铆钉的倾斜角度大于20°时,相似度评分急剧降低。因此,选择20°作为灰度匹配算法识别铆钉时倾斜角度的阈值,即相似度评分在85分以上的铆钉可被认为是目标类型的铆钉。同时,实验发现,散堆状态下倾斜角度在20°以内的铆钉数量足够多;末端执行器上的真空吸嘴为硅胶材质,比较柔软,完全可以吸附倾斜角度在30°以内的铆钉,因此将20°设为铆钉倾斜角度的阈值,可满足自动送钉系统识别与抓取铆钉的要求。

3.2 算法有效性验证

算法的有效性验证主要验证灰度匹配算法是否能够准确识别出散堆状态下的铆钉。首先完成图像的采集工作,在5个储料盒中分别装满表1中的5种铆钉,然后用相机采集散堆铆钉的照片,获得第1组共5张图片;完成第一次拍照后,取出20%的铆钉,充分搅拌剩余铆钉后,再次拍照获得第2组图片;重复上述操作5次以模拟铆钉不断消耗的过程,可获得5组共25张散堆铆钉图片。采用灰度匹配算法识别每张图片,并在原始图像中将识别到的铆钉用最小外接矩形框出,统计在不同铆钉余量下正确检出与错误检出的数量。

实验结果如图11所示,灰度匹配算法能够有效识别出不同型号的铆钉,且对颗粒较大的铆钉识别准确率能够达到95%以上;对于小颗粒的铆钉,识别准确率也能达到85%以上;对于错误检出的铆钉,都存在一个共同的特点,即其相似度评分较低。在一幅图像检出的所有铆钉中,错误检出铆钉的相似度评分都排在相对靠后的位置,相似度评分排名前5的铆钉均为正确检出的铆钉。自动送钉系统每次拍照后只需抓取其中一颗铆钉,因此按相似度评分高低将所识别出的铆钉排序,每次只抓取排名第一的铆钉便能保证系统正确抓取。从图11还可以看出,同一型号铆钉的5张图像是在不同深度下拍摄的,但5张图像检出的铆钉数量差异不大,可见灰度匹配算法具有很好的尺度不变性。

3.3 照明亮度变化鲁棒性验证

选择第5种铆钉验证灰度匹配算法对照明亮度变化的鲁棒性。在储料盒中装满铆钉并保持铆钉不动,然后在储料盒附近一固定位置放置一块单色纸,保证该单色纸在相机视野范围内;将单色纸区域的灰度值作为光源亮度的映射值,并转换成百分比的形式;从5%开始不断提高环形光源的亮度,并采集铆钉图像,共采集20张图像;随后采用灰度匹配算法对每张图像进行识别,并在原始图像中将识别到的铆钉用最小外接矩形框出,统计正确检出与错误检出的数量。

实验结果如图12所示,即使照明亮度在30%～70%范围内变化,算法仍然能够检出足够数量的铆钉,检出数量差异不大而且准确率均在90%以上。因此,灰度匹配算法对照明亮度的变化是鲁棒的。

3.4 算法实时性验证

灰度匹配算法处理图像所消耗的时间直接影响到机器人的抓钉节拍,因此需要评估灰度匹配算法的实时性。选择第5种铆钉进行图像采集,在每次拍照之前充分搅拌,共拍摄50张图片。所采用的工控机配置为CoreTM i5处理器和16 GB DDR3内存,在工控机上运行灰度匹配算法来处理采集的图像,并在算法的首尾添加计时器,记录处理每张图像所消耗的时间。实验结果如图13所示,灰度匹配算法处理每张图像平均耗时335 ms,最大耗时381 ms。

3.5 机器人自动抓钉验证

在评估完灰度匹配算法的实时性后,还需评估机器人采用所提方法的抓钉节拍。机器人执行抓钉动作之前,需要进行运动轨迹规划,即对机器人运动过程所经过的点位或轨迹加以规定或示教。如图14所示,机器人先从弃钉点A出发运动至拍照点B,触发拍照获得某颗铆钉的位置后,运动到测距点C测得该铆钉的深度,然后将真空吸嘴运动到抓取点D,开启真空吸气吸附该铆钉,吸附成功后沿原路返回到弃钉点A,关闭真空吸气丢弃铆钉,至此完成一个抓钉循环。其中拍照点B位于相机距测量平面上300 mm处,测距点C位于激光位移传感器距测量平面上200 mm处,抓取点D则是位于真空吸嘴与测量平面重合的位置,弃钉点A在距拍照点B水平方向450 mm处。在这些点位中,点A和B固定不变,点C和D则需要加入不同类型补偿值,包括相机获得的视觉补偿值Pc和激光位移传感器获得的深度补偿值Pl。机器人抓钉的动作顺序如表4所示。

表4 机器人抓钉动作顺序

机器人的运动轨迹设置完成后,即可开展自动抓钉实验。首先在储料盒中装满1号铆钉,机器人开始自动循坏抓钉,将储料盒中的铆钉全部抓取完后,分别记录抓取完该型号铆钉所用的总时间T和所抓取的铆钉数量N,则该型号铆钉的抓钉循环时间t1=T/N;然后,单独测量机器人由弃钉点A运动至拍照点B所消耗的时间t2,即可获得机器人由开始拍照到成功抓取铆钉后回到拍照位置所需的时间t=t1-2t2,即该型号铆钉的机器人抓钉节拍。测量完成后,更换储料盒中的铆钉型号,用该方法测量剩余4种铆钉型号的机器人抓钉节拍,结果如图15所示。

实验表明,5种型号铆钉的机器人抓钉节拍差别不大,其中3号铆钉的机器人抓钉节拍最长,达到3.32 s。自动钻铆设备的钻孔铆接加工速度为6颗/min,即抓送一颗铆钉的耗时最长不能超过10 s。采用所提方法时,机器人的抓钉节拍最长不超过4 s,成功抓取铆钉后,由机器人快速运送到输钉管口,输钉管直接将铆钉吹至自动钻铆设备上,实验验证剩余时间足以保证所抓取铆钉成功送达。因此,机器人采用所提方法抓取铆钉能够满足自动钻铆设备加工速度的需求。

4 结束语

本文针对基于单目视觉的散堆铆钉识别与定位方法进行研究,提出基于灰度匹配的铆钉识别算法,及单目视觉与激光位移传感器相结合的铆钉定位方法,相应的研究成果如下:

(1)基于灰度匹配的铆钉识别算法能够有效识别出不同型号的铆钉,识别准确率在85%以上;自动送钉系统每次抓取按匹配相似度高低评分排名第一的铆钉,可满足自动送钉系统正确识别与抓取的要求。

(2)基于灰度匹配的铆钉识别算法对30%～70%的照明亮度变化具有较强的鲁棒性,且算法处理每张图像的平均耗时为335 ms,最大耗时为381 ms。

(3)将单目视觉与激光位移传感器相结合,并基于灰度匹配的铆钉识别算法和重复定位拍照的测量方法,为机器人抓取散堆铆钉提供精准的位置信息。采用该方法时的机器人抓钉节拍也满足自动钻铆设备加工速度的需求。