无重叠视场视觉测量系统与标定方法

张文卿, 阚 艳, 陈根良, JOACHIM Seidelmann, 王 皓

(1.上海交通大学 上海市复杂薄板结构数字化制造重点实验室,上海 200240,E-mail: zwq357@sjtu.edu.cn;2.弗劳恩霍夫制造工程与自动化研究所)

随着工业技术的发展,二维相机的价格、精度、速度等优势愈发明显,以二维相机代替经纬仪、激光测距仪、结构光相机等昂贵的测量仪器,已经成为大尺度测量、大部件调姿控制等领域的研究热点[1-2]。考虑到单目二维相机的测量视野有限,无法独自完成复杂场景下的视觉测量工作,需要搭建多相机系统解决这一问题。

相机标定误差是多相机系统测量误差的重要来源之一,根据实际应用情况,设计合适的多相机标定方法是提高多相机系统标定精度必不可少的一环。根据相机的布置情况,可以将多相机标定分为有重叠视场下的多相机标定方法与无重叠视场下的多相机标定方法。

在多个相机具有共同视野的情况下,可以以重叠视野为媒介,从而得到多相机间的坐标系关系。通常情况下,可以在重叠视野出布置标定板,通过计算各个相机相对于标定板的位姿,解算出相机之间的位姿关系。学者楚圣辉等人[3]安装多个标定板,使每个相机都可以拍到至少2个标定板,从而建立相机间的联系,实现多个有重叠视野相机的坐标系的统一。学者王安然[4]提出了一种基于多个小标定板的多相机标定方法,他以多个小标定板代替大标定板,既提高了标定的精度与灵活性,也降低了标定的成本。

在相机间无重叠视野的情况下,由于相机间无法之间共享场景信息,需要借助硬件设备来提供额外信息。一种方法是利用反射镜调整相机视野,学者Kumar[5]、学者Lébraly[6]等人利用平面镜调整相机的拍摄视野,从而为原相机系统提供额外的重叠视野以实现标定。借助额外的相机也可以为相机组提供额外的位姿信息,学者Zhao Fangda[7]利用额外的辅助相机与AR标签,通过辅助相机拍摄目标相机组的AR标签,完成相机间的位姿计算。也有学者为多相机系统加入额外的固定约束,通过固连相机[8-9]或固连标定板[10],为 AX=XB方程提供额外的信息,从而实现方程求解,得到相机间的位姿关系,该类方法的硬件布置如图1所示。王刚等人将两个相机固连,多次调整相机组合的位姿,拍摄各自视野下位姿固定的标定板,根据多组拍摄结果计算出的位姿矩阵位置误差小于0.01 m,角度误差小于0.05°,马玛双等人将标定板固连,以类似的方法实现无重叠视野的相机标定,经过优化,在0.7m左右的拍摄拍摄距离内,标定的平均位移误差约为5.45 mm。此类方法可以有效解决多相机视野不重叠的问题,但是这些固连方式难以应用于较大的拍摄场景。

▲图1 固连相机法(上)与固连标定板法(下)

在大部件对接场景下,为了全面地观测对接特征,通常需要在大部件末端上安装视野不重叠的多相机系统。由于对接场景的复杂性,难以安装额外的反射镜,此外,由于大部件体积较大,大部件外部的标定板难以被相机识别,而大部件上的标定板与相机会伴随相机同步运动,无法满足标定板固连或相机固连的要求。

▲图2 大部件对接场景模型图

为了实现大部件对接场景下的相机系统标定,本文提出了一种面向大部件对接的无重叠视场视觉测量系统与标定方法。本方法在每个对接部件上各安装一个相机与标定板,相机拍摄对侧的标定板获取两组相机与标定板的位姿信息,结合同侧相机与标定板的位姿相对固定的信息,多次拍摄求解AX=XB方程解算处两个相机的位姿关系。相比于其他学者使用的无重叠视场下的多相机标定方法,本文所使用的方法无需安装反射镜,也无需固连标定板或固连相机,标定板可灵活地放置于对接部件上,可以适用于大部分无重叠视野的多相机视觉系统。

大部件对接场景的硬件布置可以如下图3所示,相机组安装在对接面附近,用于拍摄对接处的视觉特征,两个相机彼此对视且无重叠视野,标定板安装在各个相机的拍摄视野内。

▲图3 大部件对接场景硬件布置示意图

▲图4 标定硬件布置示意图

双相机系统中,左侧相机-标定板子系统为固定系统,右侧相机-标定板子系统固连在机器人上,可通过运动机械臂调整两个相机-标定板系统的相对位姿。

在每个运动状态下,有等式:

(1)

考虑到上式存在两个常量,故可将等式变换为如下所示:

(2)

在多个运动状态下(状态i,j),可联立得到下式方程:

(3)

略微修改方程格式,可得:

由于对位的相机-标定板位姿可以计算出,故上式可简化为:

AX=XB

(5)

2 AX=XB方程求解方法

目前,AX=XB方程的求解方法可分为三类,包含两步法[11]、单步法[12-13]和迭代法,其中,两步法先求解旋转部分,再基于旋转矩阵求解平移部分,会造成误差传递,求解方法精度较差;迭代法求解依赖初值选取,且求解过程繁琐。本文采用基于对偶四元数的单步法求解AX=XB方程,该方法于由Daniilidis提出[14-15]。此方法利用对偶四元数可表示旋转与平移的复合运动的特性,同时解算出旋转部分与平移部分,引入的误差较少,被广泛得用于标定算法方程求解。

2.1 基于对偶四元数的位姿变换表示方法

对偶四元数可以表示三维空间中的旋转-平移复合运动,对偶四元数形式如下:

(6)

其中,qr为实位;qd为对偶位;为对偶算子,满足2=0。

(7)

(8)

即单位对偶四元数的积仍是对偶四元数。

(9)

(10)

(11)

计算可知,任意的旋转或平移对偶四元数都是单位对偶四元数。

(12)

计算可得:

(13)

2.2 基于对偶四元数的AX=XB方程求解

(14)

结合单位对偶四元数的性质:

(15)

可得:

(16)

(17)

即有:

(18)

对于多组手眼关系矩阵,可得

(19)

对矩阵进行SVD分解,有:T=UΣV。

3 实验结果与验证

3.1 试验台搭建

本实验采用的双相机系统均使用Basler ace 2系列相机,型号为a2A4096-30umPRO黑白相机,相机分辨率为4 096 px×3 000 px,镜头选用Basler Lens C11-0824-12M镜头,焦距为8.5 mm,标定板采用圆点标定板,共有7*7个特征点,为了降低成本,采用打印的方式制造。

为了验证无重叠视野标定方法的效果,本实验设计了相机-标定板系统,如图5所示,标定板的一侧还附带一根高度固定的标定针,可用于后续的标定精度验证。

▲图5 相机-标定板系统实物图

双相机标定系统实物场景如图6所示,其中,左相机系统固定在桌面,右相机固连在UR机器人末端,可控制机器人调整姿态,使两个相机聚焦清晰且拍摄视野完全覆盖到标定板,在各个位姿下拍摄多组标定板图像用于后续标定计算。

▲图6 实验台示意图(左)与双相机拍摄效果图(右)

3.2 标定实验测试

在进行相机外参标定之前,需要先对相机内参进行标定,在单个相机固定情况下,多次移动标定板并拍摄识别,根据标定板在图像中畸变情况即可解算出相机的内参。本实验中,由于相机与同侧的标定板相对固定,故只需移动一个相机-标定板系统,即可完成两个相机的内参标定。

标定板识别效果如图7所示,多次拍摄后即可解出相机的内参,本次实验相机畸变模型采用除法模型,左、右相机的内参如表1。

表1 左/右相机内参表

▲图7 标定板识别效果图

完成双相机内参标定后,保持左相机-标定板系统固定,移动机器人多次调整右相机-标定板系统位姿,拍摄多组图像,并识别标定板位姿,进行相机-标定板系统的标定。

▲图8 标定板位姿识别效果图

完成多组图像拍摄后,按照上文所述的标定方法执行相机间位姿标定,拍摄了二十幅图像后,进行标定计算,得到两组相机-标定板系统中,标定板相对于相机位姿关系,结果如表2所示。

表2 外参标定结果

标定的平移误差与旋转误差如表3所示。

表3 标定误差

标定算法表明,移动端与固定端的相机-标定板位姿的平移误差平均为0.86 mm,旋转误差0.65°,基本满足大部件对接系统中的视觉定位精度要求。

3.3 标定精度验证

▲图9 标定针定位

为了验证标定实验的精度,标定装置还在每一个标定板外侧固定了高度标定针,利用视觉算法识别标定针尖在标定板所在平面的投影点位置,再根据相机与对侧标定板的位姿,结合标定针的高度,求解出针尖在相机坐标系下的位姿。精度验证环节,先利用机器人内置的工具坐标系标定方法,计算左相机-标定板的针尖在机器人坐标系下的位置参数,再多次调整机器人位姿,利用相机重新识别针尖位置。本实验所使用的UR机器人重复定位精度为±0.03 mm,故可将其视为真值与相机识别结果进行对比验证。

机器人坐标系完成TCP标定后,可测得固定端的标定针在机器人坐标系下位置为(477.0 mm 37.6 mm, 203.2 mm)。

图10为标定过程中拍摄到的标定针图像以及利用Harris角点检测算法识别的针尖图像坐标,如图10红点处所示。

▲图10 标定针图像(左)、标定针尖端识别效果(右)

▲图11 针尖在标定板平面坐标投影

如图11所示,已知图像坐标系下,针尖的像素坐标为q=(r,c)。由于标定板参数已知,可得到标定板所在平面的任意点的像素坐标与空间坐标对应关系,故可计算出针尖投影点在标定板坐标系下的空间坐标Q=(x,y,z),其中,z=0。

由于标定板坐标系与相机坐标系的位姿变换关系已知,故可求得针尖投影点在相机坐标系下的位置。已知标定针的高度,可将标定板的厚度设为负值,大小等于标定针尖的高度,即可将针尖所在平面视为标定板所在平面。此时,针尖的投影点即为针尖自身的空间坐标,如图12所示,红色平面即为修改厚度后的标定板所在平面。

多次拍摄并计算标定针位置,识别结果如表4所示。

表4 标定针位置误差表

标定验证实验表明,以此方法标定的双相机系统,在对接环节下,对接误差约为1.05 mm,基本满足大部件视觉伺服对接的需求。

4 结论

为了解决大部件对接场景下,多相机阵列没有重叠视野导致无法进行快速高精度的标定问题,本文提出了面向大部件对接的无重叠视场视觉测量系统与标定方法。根据实验结果表面,本方法在保证精度的同时,仅需借助传统二维标定板,无需其他用于定位或传递位姿的硬件设备,极大地简化了视觉系统的安装与标定的流程,操作简单,效率高效,有效地降低了人工作业量,具有很高的应用前景。