钢拱架铰接孔视觉定位方法研究

黄 海，朱国力，陈向阳，彭丹丹

（华中科技大学机械科学与工程学院，湖北 武汉 430074）

1 引言

岩石隧道掘进机（Tunnel Boring Machine，简称TBM）是指在常压情况下全断面开挖岩石的刀盘式机头掘进机，是集掘进、出渣、支护等功能为一体的隧道掘进大型复杂成套设备［1］。TBM掘进过程中，快速地将弧形钢拱架拼接成环，对隧道围岩进行支护，防止坍塌事故的发生是至关重要的［2］。然而目前钢拱架仍然由人工搬运对准拼接，存在拼接效率低、支护不及时等问题。随着我国工业自动化的不断发展，传统人工拼接方法已无法满足工业需求。机器视觉技术是一种利用相机代替人眼进行检测的技术，具有非接触性、精度高、速度快等优点，目前在工业方面已有广泛应用［3-4］。文献［5］利用机器视觉技术建立了工件识别系统，对零件进行图像采集与处理，识别零件形状特征以实现零件的分拣工作；文献［6］通过图像形态学处理和边缘检测，提取轴类零件的轮廓特征，搭建了轴类零件定位与测量系统；文献［7］运用改进的形态学梯度滤波算子和灰度矩法对板料边缘进行定位，计算板料偏移量，提高了自动裁切机的精度；文献［8］对铆接薄板孔组视觉测量方法进行了研究，通过阈值分割、感兴趣区域提取等处理，实现了孔组几何参数的计算。

在空间圆定位方面，文献［9］证明了空间圆透视投影到图像上会形成一个椭圆，但是椭圆中心并不是空间圆圆心的对应投影点。针对此问题，文献［10］利用极线约束和顺序一致性原则进行左右图像椭圆边缘点的匹配，利用双目视觉重建空间圆上多个边缘点，并通过Levenberg-Marquardt 非线性最优化方法拟合得到空间圆表达式；文献［11］利用同心圆模型对圆心坐标进行补偿，在已知内外圆环半径情况下，根据交比不变性和直线不变性求得空间圆圆心实际投影点；文献［12］在椭圆上找到两条特殊弦，根据椭圆锥空间几何性质，推导出空间圆圆心和法向量的封闭解，但是该方法存在双重解问题。

结合钢拱架实际结构，首先利用图像处理提取钢拱架铰接孔轮廓特征，然后通过空间几何关系得到铰接孔圆心在图像上的实际投影点，最后根据双目视觉成像模型，计算铰接孔圆心的空间坐标，实现钢拱架铰接孔的精确定位，帮助机械手抓取钢拱架进行精准拼接，实现钢拱架自动化拼接成环。

2 铰接孔特征提取

钢拱架自动化拼接过程中，主要通过机械手抓取左右两钢拱架往中间平移靠近，直至左右两钢拱架上的铰接孔对准为止。因此以钢拱架铰接孔进行定位，用左右两相机拍摄钢拱架拼接段图像，通过模板匹配找到铰接孔感兴趣区域，接着对感兴趣区域图像进行二值化、边缘检测、轮廓连接、拟合椭圆等处理，提取得到铰接孔轮廓特征。

2.1 模板匹配

机械手抓取左右两钢拱架从两端往中间靠近，为保证拼接过程中相机始终能够拍摄到左右两铰接孔，需设置一个较大的视野范围。因此，铰接孔只占实际采集图像的一部分，需对铰接孔进行初定位，找到感兴趣区域，以便进一步处理。模板匹配是一种在原图中寻找与模板图像类似区域的方法，这里采用基于灰度的归一化相关系数匹配法：

式中：R（x，y）—匹配程度；

T（x，y）—模板图像；

（Ix，y）—相机采集图像；

（w，h）—模板图像尺寸。

首先根据铰接孔的形状特征和灰度特征，制作出模板图像，如图1（a）所示。此处只需要对铰接孔进行初定位，为提高模板匹配速度，将原图和模板图像均缩小为原尺寸的1/4，计算原图上每个像素位置的匹配程度R（x，y），找到匹配程度最高的两个位置，即为左右两铰接孔所在位置。以这两个位置为基准，设定一定范围自动框选得到感兴趣区域图像，实现两铰接孔的初定位效果，如图1（b）所示。

图1 模板匹配结果Fig.1 Result of Template Matching

2.2 图像二值化

实际铰接孔表面加工粗糙，凹凸不平，且孔内背景复杂，为防止后续边缘检测生成过多干扰边缘，需对感兴趣区域进行二值化处理。同时为了消除光照影响，设计了一种自适应阈值计算方法。根据铰接孔表面比孔内灰度值更高，且铰接孔表面面积与感兴趣区域总面积之比大致为一定值k的实际情况，统计感兴趣区域图像的灰度直方图，如图2（a）所示。得到每个灰度值i对应的像素数Ni，设感兴趣区域图像总像素数为S，通过计数排序算法计算自适应阈值T如式（2）。利用该阈值，对感兴趣区域图像进行二值化处理，效果，如图2（b）所示。

2.3 轮廓特征提取

目前边缘检测算法的研究已较为成熟，常用算法有Roberts、Prewitt、Sobel、Canny 等，其中，Canny 算法检测出的边缘效果较好。利用Canny算法对二值图像进行边缘检测，将检测出的相邻边缘点连接成轮廓，如图3（a）所示。实际铰接孔是圆孔形，但是由于相机成像平面与铰接孔表面存在一定角度，铰接孔投影到图像上会呈椭圆形。所以根据轮廓长度筛选出铰接孔轮廓后，用最小二乘法拟合成椭圆，得到椭圆方程表达式如式（3），椭圆拟合效果，如图3（b）所示。

图3 铰接孔轮廓特征提取Fig.3 Contour Feature Detection

3 空间圆圆心精确定位

空间圆经过透视投影后在图像上形成一个椭圆，但是椭圆中心和空间圆圆心并非对应关系。在参考文献［12］的基础上进行改进，通过双目视觉解决了空间圆平面法向量计算结果存在双重解的问题，并利用消影线和椭圆参数矩阵计算得到空间圆圆心的实际投影点。

3.1 空间圆平面法向量计算

为获取空间圆圆心实际投影点，首先需要计算空间圆平面的法向量。通过图像处理提取到左右图像中铰接孔椭圆轮廓特征，将椭圆轮廓进行离散化处理，得到椭圆轮廓点的像素坐标。设相机光心为点G，遍历椭圆轮廓点，找到点p、q，使得∠pGq对应最大顶点角。作一平面Gbc，该平面垂直于平面Gpq，且平分∠pGq，平面Gbc与椭圆轮廓的交点为点b和点c，如图4所示。根据参考文献［12］，空间圆平面的法向量计算公式，如式（4）所示。

图4 空间圆透视投影示意图Fig.4 Perspective Projection of Circle

式中：n1，n2—空间圆平面法向量的双重解，设f为镜头焦距，则up’、ub’可由式（5）计算。

利用双目视觉，左相机图像可得到双重解nl1、nl2，右相机图像可得到双重解nr1、nr2，其中，各有一个正确法向量，但由于存在误差，两个正确法向量不会完全相等。计算左右图像法向量之间的夹角，如式（6）所示。

找出θ1、θ2、θ3、θ4之中的最小值θmin，θmin所对应的法向量nl、nr即为左右图像正确法向量，从而解决了空间圆平面法向量双重解的问题。

3.2 空间圆圆心坐标计算

空间中的平行平面于无穷远处相交，其交线在图像上的投影即为该平面的消影线。通过相机标定得到相机的内参矩阵M，空间圆平面在相机坐标系下的消影线L计算公式，如式（7）所示：

根据铰接孔投影椭圆的方程表达式（3），定义该椭圆方程的参数矩阵w为：

则空间圆圆心在图像上的实际投影点o坐标为［13］：

分别计算出空间圆圆心在左右相机上的实际投影点ol和or，利用双目视觉成像模型计算出空间圆圆心的世界坐标，实现空间圆圆心的精确定位。

4 实验验证

为验证本铰接孔定位方法的精度和有效性，搭建了铰接孔视觉测量系统，如图5所示。视觉测量系统由相机、镜头、光源和计算机组成，其中工业相机型号为大恒水星系列MER-1220-9GM，分辨率为4024×3036 Pixels，帧率为9 Fps；镜头型号为Computar V1628-MPY，焦距为16mm；光源为白色漫反射条形光。钢拱架放在移动平台上，该移动平台可精确测量出物体移动距离。实验的计算机配置为：Inter core i7-9750H，Window 10 操作系统，64位，Microsoft Visual Studio 2017，OpenCV343。

图5 视觉测量系统Fig.5 Visual Measurement System

将左右钢拱架固定在移动平台上，利用本铰接孔定位方法计算得到左右钢拱架铰接孔圆心世界坐标，平行移动该平台4mm，再次计算左右钢拱架铰接孔圆心世界坐标，从而得到铰接孔圆心的移动距离，重复移动10次，与平台移动距离进行对比。然后分别移动8mm、12mm、16mm，重复以上实验过程，铰接孔圆心移动距离测量结果，如图6所示。左铰接孔测量误差，如表1所示。右铰接孔测量误差，如表2所示。由实验结果可知，左右钢拱架上的铰接孔均能够稳定的检测得到，并且可计算出两铰接孔圆心的空间坐标；铰接孔移动距离测量结果均在实际移动距离附近上下波动，波动范围为±0.2mm以内；铰接孔圆心移动距离测量结果的相对误差在0.3%以内，实现了钢拱架铰接孔的高精度定位。

表1 左铰接孔圆心移动距离测量误差Tab.1 Moving Distance Measurement Error of Left Hinged Hole Center

表2 右铰接孔圆心移动距离测量误差Tab.2 Moving Distance Measurement Error of Right Hinged Hole Center

图6 实验测量结果Fig.6 Results of Experimental Measurement

5 结论

针对钢拱架自动化拼接需要对铰接孔进行定位的实际需求，提出了一种基于双目视觉的钢拱架铰接孔定位方法。首先设计了钢拱架铰接孔特征提取的图像处理方法，包括模板匹配、二值化、轮廓提取、椭圆拟合等步骤；然后根据空间圆的透视投影性质，利用双目视觉解决了空间圆平面法向量计算存在双重解的问题；最后研究了空间圆圆心在图像中的实际投影点计算方法，并基于双目视觉成像模型计算铰接孔圆心的空间坐标。实验结果表明，该钢拱架铰接孔定位方法稳定性好，且定位精度可达±0.2mm，实现了钢拱架铰接孔的高精度定位，满足实际作业需求，可为钢拱架自动化拼接提供技术支撑。