基于机器视觉的机械手装配系统设计

，

(华南理工大学 机械与汽车工程学院，广州 510641)

0 引言

装配是产品生产的后置工序，在整个制造业的过程中有着十分重要的地位。传统的工业装配主要由人工手动操作，工作效率低下，精度偏低。机械制造生产的自动化是制造业长期发展的目标之一，通过自动化的生产不仅能大大地提高生产效率，降低劳动强度，还能提高产品的质量，进而增强产品在市场中的竞争力[1]。一般传统的自动化装配生产线上，装配机器人的动作都是预先严格设定好的，只能做一些固定的动作，这些机器人都是通过各种传感器来进行控制运动，所以被称为敏感控制机器人[2]。在机器人进行装配操作的时候，要求零件和料板等都必须按照设定的位置和特定的方向进行放置，这就对配套的夹具和固定机构的性能要求极高，同时传输带也必须经过特殊的设计。但是，在实际的生产过程中，由于多方面的原因，零件的位置没有被严格固定，导致装配机器人装配出现错误。因此，自动化装配对机器人或者说机械手的能够根据工件的位置，动态的调整位姿的能力提出了更高的要求。

人类主要通过各类感觉器官感知外部世界，而人类从外界获得信息的80% 来自于视觉。视觉信息传入大脑后，由大脑根据已有的知识进行信息处理工作，进一步进行判断和识别[3]。机器视觉主要研究用计算机来模拟人的视觉功能从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制[4]。机器视觉系统主要应用于工业探测这样不适合人工作业或者人工视觉无法达到要求的场合；以及自动生产流水线这样大批量工业生产过程，能大幅提高生产的质量和效率[5]。在国内，机器视觉领域属于新兴行业，其技术推广和运用还有很大的发展余地[6]。各行业中的应用有极大的上升空间。目前随着我国配套基础建设的完善，技术、资金的积累，各行各业对采用图像和机器视觉技术的工业自动化、 智能化需求开始广泛出现，国内有关大专院校、研究所和企业近两年在图像和机器视觉技术领域进行了积极思索和大胆的尝试，逐步开始了许多领域的应用，在自动化装配领域，机器视觉技术也提供了一种可行的思路[7]。

1 系统的组成及其工作原理

一个典型的工业机器视觉应用系统包括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块[8]。光源的作用主要是获得对比度鲜明的图像，图像的质量好坏主要看图像的边缘是否锐利，具体来说是看：感兴趣的部分和其他部分的灰度值差异是否大、不感兴趣部分是否得到消隐、信噪比是否高以及材质或照射角度对成像的影响是否少。光学系统和图像捕捉系统两者是紧密连接在一起的，主要包括工业相机及其镜头，主要作用就是将图像信息捕捉，传送给工控机进行后续处理，也是一个极其重要的环节，相机和镜头的选取需要根据实际的工作环境进行。数字图像处理模块是核心环节，其作用就是通过图像处理技术，提取所需的图像信息，然后通过智能决策模块，下发指令给机械控制执行模块，控制相关机器的动作。将机器视觉技术应用于工业制造领域，大幅提高了产品的质量和可靠性，保证了生产的速度[9]。

本系统主要由工控机、照明系统、图像采集系统和机械运动系统等部分组成。照明系统主要由光源和光源控制器组成。图像采集系统主要由12 mm的变焦光学镜头，面阵相机组成。机械运动系统主要由运动控制卡、工作台、底座、伺服运动系统组成。其中运动控制卡选用的是东莞市升力智能有限公司的IPMC8812运动控制卡，工业相机采用了浙江大华有限公司的A5201MG50型号工业相机，镜头采用的是12 mm镜头。系统结构框架如图1所示。

图1 系统框架图

首先，需要对相机进行标定，这是视觉定位的必经过程，其中相机坐标系是联系图像坐标系和世界坐标系的纽带。通过相机的标定建立了成像模型，确定了相机的位置及其属性的参数，从而确定了图像点与其对应的空间点之间的位置关系。相机标定以后，工业相机通过图像采集系统获得料盘的图片信息，将信息传送给工控机的图像处理程序，经过预处理、二值化，特征提取等图像处理步骤后，确定4个MARK点的位置信息，包括坐标以及角度，最后通过运动控制系统下发指令控制机械手抓取对应料盘移动到相应位置，旋转相应角度实现准确的定位装配。

2 系统的关键性过程及算法

2.1 相机的标定及其位置的坐标变换

2.1.1 坐标系的定义

三维物体空间物体成像时，一般用到4个坐标系统：世界坐标系、相机坐标系、成像平面坐标系以及像素坐标系[10]。世界坐标系OwXwYwZw，也称为现实世界坐标系，它是一种客观世界的绝对坐标系；相机坐标系OcXcYcZc，以相机为中心制定的三维直角坐标系，原点是在相机的光心,其ZC轴与光轴重合，XCYC轴位于焦平面上；成像坐标系oixy，是定义在相机成像平面上的，以物理单位表示的二维坐标系，原点在相机光轴与成像平面的焦点，x轴和y轴与相机坐标系的Xc轴和Yc一致；像素坐标系ofXfYf，是计算机里面的数字图像所采用的坐标系，原点是在数字图像的左上角，Xf轴向右，Yf轴向下，分别表示像素在图像数组中的列和行[11]。

2.1.2 坐标系间的变换

世界坐标系到相机坐标系:

(1)

其中:XC表示在相机坐标系的坐标，XW表示在世界坐标系的坐标，R是旋转矩阵，T是平移向量。

相机坐标系到图像坐标系:

(2)

其中:f表示相机焦平面到成像平面间的距离即焦距，(Xi,Yi)表示在图像坐标系下的坐标。

图像坐标系到像素坐标系:

因为图像点上的像素坐标(Xf,Yf)表示的是像素点在数字图像数组里面的行数和列数，并不是用实际的物理单位在图像中将像素点表示出来，所以，建立一个像素物理坐标系ofxy,用物理单位mm来表示，同时建立oiuv图像像素坐标系，具体的对应关系如图2所示，其中，(u,v)是成像点在像素坐标系下的坐标；(u0,v0)是相机就点在像素坐标系下的坐标。

图2 图像物理与像素坐标系关系图

针对CCD相机，两个坐标系之间的对应关系取决于像素的尺寸、形状和CCD在相机中的位置，两者之间的关系可表示为：

(3)

其中:Sx、Sy表示图像平面单位距离上的像素个数，单位是pixel·mm-1,而且：

(4)

dx、dy表示像素点在像素坐标系中x轴和y轴方向的物理尺寸，(Cx,Cy)是光心的像素坐标。

物体空间坐标系到图像像素坐标系：

经过以上3个步骤，然后对(1)和(2)做等价变换，可以得到：

(5)

(6)

联立上面各式，可不难推导出物体的空间坐标P(Xw,Yw,Zw)和计算机图像像素的二维坐标Pf(Xf,Yf)之间的变换关系：

(7)

其中:M1由fu和fv决定，参数fu和fv、Cx和Cy只与相机的内部结构有关，是相机的内部参数；M2只与相机相对于世界坐标系的具体方位有关，是相机的外部参数，参数X为空间坐标点在世界坐标系下的坐标。

2.1.3 相机的标定

由于镜头存在畸变，工业相机在实际的应用中需要进行标定。相机的标定，就是确定空间位置与图像上像素的映射关系，求取相机内部参数和未知参数的过程。具体的标定方法，主要有：传统标定方法、基于主动视觉的标定方法以及自标定方法。传统的标定方法需要使用特殊制作的标定物，简便灵活；基于主动视觉的标定方法，无需标定物，但过分依赖设备、系统成本高，对控制场合有较高的要求；自标定方法，不需要知道图像点的三维坐标，仅通过不同角度拍摄场景中的图像对应点的关系来进行标定，适用于复杂的应用场景。

综合考虑，本系统采用传统标定方法中的Tsai两步法。两步法基本步骤：第一步，解线性方程，得到部分外部参数的精确解；第二步，将其与外部参数与畸变修正参数相结合进行迭代求解得到所有参数结果。实验得到的相机标定参数如下：

所用相机内参数：单个像元的宽的大小为:

SX=3.011 1 μm，单个像元的高Sy=3 μm，焦距f=9.099 34 mm，径向畸变量级Ka=-0.000 68，中心点x坐标Cx=968.035 pixel，中心点y坐标Cy=597.867 pixel。

相机的外参数：旋转矩阵R=R(α,β,γ)，其中α=6.26047 rad，β=6.2578957 rad，γ=4.7256536 rad。平移向量T=(Tx,Ty,Tz)，其中TX=-56.134 mm，TY=11.159 mm，Tz=402.044 mm。

2.2 料盘的图像处理及其方位确定

经过图像采集系统采集过来的料盘图像，需经过一系列的图像处理，最终确定其像素坐标，进而确定其实际空间坐标。

第一步：预处理

图像处理的第一步，一般都是预处理。预处理的主要目的是清除图像上的无用信息，恢复对自己有用的信息，增强信息的可检测性，以及最大限度地简化数据，从而有利于后续图像处理的进行[12]。

减轻或消除噪声的影响是其重要的一环。对噪声的处理，一般的方法有均值滤波、中值滤波以及在频率域上的频率滤波。均值滤波，主要的作用是使待处理像素点的值，等于其一定大小邻域内全体像素的平均值，起平滑的作用；中值滤波，是用结构元素模板里面的像素中值作为结果值，对于椒盐噪声的处理有着显著的效果；频率滤波中的低通滤波也能够平滑图像，去除噪声，运用高通滤波器衰减或抑制低频分量，能够锐化图像。

就本系统而言，采用均值滤波就能起到较好的预处理效果。

第二步：图像分割

图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内，表现出一致性或相似性，而在不同区域间表现出明显的不同。阈值法是一种传统的图像分割方法，因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术。图像阈值化分割，它特别适用于目标和背景占据不同灰度级范围的图像。其基本原理是：通过设定不同的特征阈值，把图像像素点分成若干类．常用的特征包括：直接来自原始图像的灰度或彩色特征。主要方法包括全局阈值分割和局部阈值分割。全局阈值分割，针对的是全局的区域，对于一些有阴影，或者亮度不均匀等特征的图像，往往分割效果不理想，所以此时采用局部阈值分割，即对不同的局部区域采用不同的阈值进行分割，抗噪声强，效果较好。所以，综合考虑，本系统采用自适应的局部阈值分割。

第三步：边缘拟合及特征提取

由于CCD相机的畸变等因素的影响，料盘图像中的4个Mark点一般是类椭圆形。对阈值后的区域进行形态学处理，然后提取边缘，精度并不能满足要求。因此，为了提高识别的精度，需要对亚像素轮廓进行椭圆拟合。一般的方法有最小二乘法以及加权的最小二乘法[13]。最小二乘法是在随机误差服从正态分布的前提下，由最大似然法推出的一种最优估计技术[14]。基本原理是，通过使边缘的离散点与拟合后椭圆之间的几何距离最小，两者之间的距离平方和最小，然后通过极值原理求得拟合椭圆中的各个参数的值。其中，椭圆的隐式方程可由如下公式表示：

F(a,x)=ax=Ax2+Bxy+Cy2+Dx+Ey+F=0

(8)

其中:x=[x2xyy2xy1]T，a=[ABCDEF]

如果离散点比较多，对于较远的离散点的权值和较近离散点的权值选择成一样的话，就会求得和理想椭圆偏差较大的椭圆参数，显然是不可取的。加权的最小二乘法，是指采用多次迭代的方法来进行拟合。首先，第一次选择1作为权重进行拟合，计算各个边缘点到椭圆的距离di，然后通过选择的权重函数W(di)，将这些权重用于后续的迭代。选用的Turkey权重函数W(di)：

(9)

其中:τ是消波因数，用它来定义各个边缘点的权重。带权重的椭圆拟合算法处理过程如图3所示。

图3 带权重拟合算法流程图

特征提取后的处理图像如图4所示。

图4 提取特征后的图像

从图可以看出，4个类椭圆Mark点已被提取出来，从左至右，从上至下，将其分别编号为：1、2、3、4。行列及面积特征信息如表1所示。

表1 MARK点相关特征信息表

3 实验结果分析

为了得到本检测系统的重复精度，对MARK点标定之后，人为改变初始机械手的位置15次，再运行程序，检查是否能完成装配的同时，记录此时的机械手所持物料的位置与实际位置坐标，结果如表2所示。

表中实验次数为0所对应的放料定位坐标为实际的放料坐标，实验次数从1到15，分别记录下实际的坐标值以及位置是否匹配的数据信息。由表可知，15次试验位置基本达到匹配要求，所以本系统能够完成自动装配任务；同时，通过图中X、Y放料定位实际坐标一列记录的数据，可以求得系统的X坐标重复性误差=标准差/平均值=0.148/167.513=0.088%，Y坐标的重复性误差=标准差/平均值=1.904/156.772=1.21%，满足实际生产需求。

图5 实验平台结果图

4 结论

针对工业上机械手自动化抓取装配的需求，提出一种基于机器视觉的定位抓取系统。此系统首先通过工业相机对料盘的图像进行采集，然后经过一系列的图像处理，对MARK点的位置进行定位识别，工控机下发指令控制机械手进行自动的装配。通过在实验平台进行实验验证，此系统再实现自动化装配的要求的同时，检测精度较高，重复性误差较小，满足工业上的生产需求。