一种利用结构光照明的高精度三维测量系统

祁昊， 董健， 赵楠， 余毅

（1.中国科学院 长春光学精密机械与物理研究所 精密仪器与装备研发中心，吉林 长春 130033；2.中国科学院大学， 北京 100049）

1 引言

目前，条纹投影三维测量技术在许多领域发挥着至关重要的作用，如工业检测、医疗检测、文物保护和计算机视觉［1-4］等。随着微光学、微电子和集成化技术的发展，工业产品设计更加高精度化和微小化，因此，机械加工和制造标准必须满足严格的约束，这促进了结构光技术向微小物体表面的三维轮廓信息方向发展［5］。

近年来，国内外许多学者针对显微小视场三维测量系统的结构原理开展了大量研究。Li等人［6］采用针孔镜头投影仪和双远心镜头相机搭建了一套测量系统，通过优先校准投影仪，再利用投影仪解决校准远心镜头时标定板的位姿模糊问题，建立空间中的三维坐标系，系统精度约为10 μm，但测量视场不到1 cm2。艾佳等人［7］将投影仪和相机搭配远心镜头研发了一种小视场三维测量系统，系统精度为10 μm，但测量视场较小且测量深度仅为380 μm。Hu等人［8］提出了一种利用Greenough立体显微镜的显微表面测量系统。该类型的显微镜镜头为轴对称排列，在消除透镜失真影响的情况下，更容易进行高精度校准。史耀群等人［9］利用立体显微镜搭建了一套基于空间相位展开方法的小视场测量系统，但该系统有严格几何约束，需要投影仪和相机与参考面的距离保持一致，导致搭建困难，进而使测量系统丢失了灵活性。由上述研究可知，大部分的测量系统由于标定灵活度低、测量范围小、测量精度低等因素，未能达到工业检测的要求。

本文提出了一种结构光照明测量系统，其结构简单，搭建灵活，在保证大视场的同时视场中心的精度没有降低。该测量系统利用基于DLP4710芯片开发的投影组件，投影正弦条纹到物体表面，搭配同步触发相机采集变形条纹图，并将传统结构光中针孔镜头替换为远心镜头，消除了透视误差，使拍摄景深增大、图像失真小、图像分辨率高。在系统标定过程中使用高精度二维平面标靶，保证标定过程灵活可靠。首先利用系统模型对远心相机参数进行校准，得到初始参数，包括旋转矩阵、平移矢量、有效放大率、畸变系数和失真中心。然后将初始参数进行非线性迭代优化，得到较为准确的标定参数。最后将参数代入系统模型中完成微小物体的三维测量与重建。

2 结构光三维测量基本原理

2.1 针孔相机模型

为了对投影仪进行“逆相机”校准［10］，可以使用传统针孔模型进行描述，图1显示了世界坐标系中一个物点P在图像坐标系中的投影过程。

图1 针孔成像模型Fig.1 Pinhole imaging model

OW(XW，YW，ZW)、OC(XC，YC，ZC)、OI(x，y)和OS(u，v)分别表示世界、相机、图像和像素坐标系。

空间中具有坐标(XW，YW，ZW)的点P投影到图像平面上，由相似三角形可计算出成像平面上的点(f·XC/ZC，f·YC/ZC，f)T，即：

然后考虑外部变换和从图像系统到像素坐标系的映射，得到将世界坐标中三维物点(XW，YW，ZW)映射到图像平面像素坐标中二维像点p(u，v)的变换公式，如式（2）所示：

其中：ZP=ZC，dup、dvp为投影仪像元尺寸为投影仪主点坐标。

2.2 远心相机模型

与针孔成像模型不同，双远心透镜的孔径光阑放置在焦点上，并且只允许从物体侧平行于光轴的光线通过，因此世界空间中所有大小相同的物体无论如何接近或远离镜头，在图像中都会有大小相同的投影，即产生一个仿射投影。其成像模型如图2所示。在不考虑镜头畸变的情况下，远心透镜在X和Y方向上都进行了放大，齐次数学表达式如式（3）所示：

图2 远心镜头成像模型Fig.2 Telecentric lens imaging model

其中，M为远心镜头的放大倍数。考虑外部变换和从图像系统到像素坐标系的映射，得到远心模型中世界坐标中三维物点(XW，YW，ZW)映射到图像平面像素坐标中二维像点(u，v)的变换公式：

其中：duc、dvc为相机像元尺寸为相机主点坐标。

理想情况下，远心镜头不存在镜头畸变，但由于设计和组装上的缺陷，不可避免造成一定误差。虽然双远心透镜相比其他透镜失真较小，但对于测量精度高的系统还需要进行校正，并且由于远心镜头为平行成像，所以切向畸变通常非常小，因此我们只考虑径向畸变［11］，表达式如式（5）所示：

2.3 相移法及相位展开

在过去几年中多种相移算法已被提出。每种算法的稳定性和误差响应均不相同。标准N步相移算法是应用最广泛的技术，主要特点是算法简单，具有较强的抑制噪声的能力。其投影光栅的光强可以表示为：

其中：(x，y)为正弦条纹图案中的像素点坐标；In是采集条纹图像的强度；A(x，y)和B(x，y)是图像的背景强度和调制强度；φ(x，y)是受高度调制的相位；δn是初始相位，且δn=2πn/N，投影的正弦条纹每隔一个周期的2/N移动一次，正弦条纹的相位对应移动2π/N。对应的包裹相位φ(x，y)可以由式（7）算出：

获取截断相位后，通过双频分层法进行相位展开［12］，进而恢复出连续相位。

相位展开时先设光栅的波长分别为λh和λl，各自的阶数为kh和kl，展开相位为Φh和Φl，先分别投影并捕获高频和低频两套条纹图，由相移法求得高频和低频包裹相位分别为φh和φl，因为单位频率相位φl不需要相位展开，即Φl(x，y)=φl(x，y)，可以通过单位频率相位分布φl展开高频包裹相位，所以只需展开高频相位即可，由式（8）求出：

其中，kh的表达式为：kh(x，y)=RoundRound［］为求最接近整数值函数。在得到相位展开图后，由投影仪与相机之间的对应关系即可求出投影仪投射图案中的坐标。

3 系统标定

3.1 远心相机标定

目前，基于张正友提出的二维平面靶标标定法［13］已被广泛应用在传统针孔相机标定中，所以本节针对远心成像系统对标定算法进行改进，同样使用具有特征点的靶标来完成相机的内外参数标定。为了得到精确的标定结果，该靶标应具有一定程度的平面性。

首先忽略镜头畸变，并设平面标靶世界坐标的ZW=0，设M/duc=M/dvc=m，则式（4）变为：

由已知特征点的世界坐标与图像像素坐标之间的关系，可得：

其中，hij是仿射矩阵H的第i行和第j列元素。由于特征点个数大于需要求解的参数个数，所以通过DLT方法［14］与最小二乘法求解出其线性最优解。

由式（9）可得：

因为旋转矩阵是单位正交矩阵，可以得到：

联合式（11）和式（12），可得：

因为远心相机没有投影中心，所以可以自由设置图像平面中心位置，一般取探测器平面中心为中心点，进而可以确定tx、ty。

由于模型参数的退化，r13和r23的符号不能确定，Zhang［15］利用微动平台添加一个新的约束条件解决了符号模糊的问题，但该方法需要添加新的设备且增加了额外操作步骤。Rao等人［11］利用模型的外部参数不变性和张氏标定法，辅助确定参数符号的正负，从而求得完整旋转矩阵，并且该方法可以重复利用投影仪标定时所使用的图片，没有新增操作步骤。

在得到所有内部、外部参数后，引入镜头畸变，并对所有参数进行非线性优化。将畸变参数和主点参数作为优化参数加入目标函数中，通过最小化式（15），确定最终标定结果：

其中：pi是特征点的图像坐标k2R，ts)是特征点的世界坐标根据式（2）、（4）计算得到的投影点坐标，R为旋转矩阵的前两行。式（15）是一个非线性最小化问题，可以用L-M算法［16］求解。

3.2 投影仪标定

投影仪标定是将投影仪看作“逆相机”，其校准与相机校准几乎相同。由于投影仪不能直接捕捉图像，可以使用相机捕捉图像，然后将图像转换为投影仪图像，关键是在相机像素和投影仪像素之间建立高度精确的对应关系。本文使用第2.3节中的相移法完成这项任务。首先将一系列在垂直方向和水平方向上的正弦条纹图案投影到二维平面靶标上，如图3、图4所示，并用相机捕获图像，使用第2.3节中的方法计算出每个像素在垂直和水平方向上的展开相位，再从全白的标靶图像中提取每个圆心的亚像素位置坐标(uc，vc)［17］，如图5所示。

图3 竖直条纹图Fig.3 Vertical fringe patterns

图4 水平条纹图Fig.4 Horizontal fringe patterns

图5 投影仪圆心图Fig.5 Circle center image of projector

通过移相算法和线性插值方法提取两个方向中圆心点的绝对相位，进而求得具有相同的绝对相位的投影仪对应点坐标(up，vp)，计算公式如式（16）所示。

其中：Nv和Nh分别为垂直和水平条纹图案的条纹周期，W和H为投影仪条纹图案的宽度和高度。在相位相等的条件下，即可建立相机图像和投影仪图像之间的一一映射关系。

将上一步提取的投影仪圆心坐标输入到MATLAB相机标定工具箱进行标定，可得到投影仪的内部参数。相机与投影仪的内部、外部参数标定结果见表1和表2。将以上代入对应模型计算得到相机与投影仪的反向投射误差，相机反投影误差为0.03像素，投影仪反投影误差为0.05像素。由于“逆相机”法标定投影仪需要利用相机捕捉的图像，所以相机的标定误差会传递给投影仪。

表1 远心镜头和投影仪内部参数Tab.1 Intrinsic parameters of telecentric lens and projector

表2 远心镜头和投影仪外部参数Tab.2 External parameters of telecentric lens and projector

4 三维重建

4.1 重建原理

完成远心相机与投影仪标定后，将最终标定参数代入模型中，将内部参数与外部参数合并，得到其标定矩阵：

进一步计算得：

由式（10）可知，求解该点世界坐标要找到投影仪投影像素和相机成像像素的对应关系，并且仅需要4个方程式中的3个即可。因此在测量物体过程中，只需投影垂直或水平条纹中的一组。投影条纹方向的选择与相机和投影仪的相对位置有关，一般选择正弦条纹形变最大的方向进行投影［18］，使测量结果更加准确可靠。

4.2 实验设备

基于以上原理，本文搭建了一套显微小视场三维形貌测量系统，测量系统如图6所示。测量系统采用投影芯片型号为TI DLP4710LC DMD，投影仪分辨率为1 920 pixel×1 080 pixel，相机型号为大恒MER-230-168U3M，分辨率为1 920 pixel×1 200 pixel，远心镜头放大倍率为0.231，景深为12 mm。测量时依次将正弦图投影到视场大小为55.4 mm×43.8 mm内的物体表面上，并使用相机与投影仪进行同步触发采集照片。

图6 测量系统装置图Fig.6 Photograph of hardware system

标定时采用72 mm×72 mm高精度圆形标定靶，图7为标定靶图，特征点圆心间的宽度为3 mm。由于相机视场不足以覆盖整个标定靶，可以只选取8×11的特征点进行标定。

4.3 重建结果

本文测量的微小物体为5角硬币和PCB电路板，相机采集的硬币与PCB电路板的照片如图8所示。去除掉无关噪声点［19］并将重建数据点调整到水平坐标系下，硬币的三维重建结果如图9所示，其局部重建结果如图10。电路板重建结果如图11所示，其局部重建结果如图12所示。

图8 被测物体照片Fig.8 Photo of the object

图9 五角硬币重建结果Fig.9 Photo of reconstructed coin

图10 硬币局部重建结果Fig.10 Region of reconstructed coin

图11 PCB电路板重建结果Fig.11 Photo of reconstructed PCB board

图12 PCB电路板局部重建结果Fig.12 Region of reconstructed PCB board

下面对系统的测量精度进行检测。将标定板置于任意位置并重建特征点的空间坐标，然后计算位于两条对角线（图7）的长度，重建结果如图13所示。为了获得更好的视觉效果，10个位置中只显示3个，计算得到的测量结果如表3所示。

表3 标定板对角线测量结果Tab.3 Measurement results of two diagonals on calibration board mm

图13 3个不同位置的特征点3D图像Fig.13 3D images of the control points in 3 different positions

测量结果表明，平均测量误差为32 μm。为了进一步检查测量系统的不确定度，我们测量了陶瓷标准平面，并与最小二乘拟合得到的理想平面进行了比较，图14为误差图。测量平面的均方根（RMS）误差为9.8 μm，其误差的主要来源为测量表面的粗糙度与相机的随机噪声。由图13可知，在视场中心的一定范围内测量精度可提升至约10 μm。实验结果表明，本文所提出的校准方法可以为三维几何重建提供良好的精度。

图14 标准平面误差图Fig.14 Error map of the flat plane

5 结论

本文基于二维平面与逆相机标定法，使用针孔镜头投影仪与双远心镜头相机，设计搭建了一套显微高精度三维形貌测量系统，其视场范围为55.4 mm×43.8 mm。标定时使用二维平面标靶，简化了标定流程，提升了标定速度，保证了测量精度。实验结果表明，该系统的全视场测量精度为32 μm。如果将被测物体置于视场中心20 mm×20 mm附近，则由标准平面的均方根误差可知，测量精度约为10 μm，这与其他高精度结构光测量精度相当。即使在视场边缘也有40 μm精度，优于其他测量方法。使用远心镜头后，测量深度为12 mm，相比于其他方法，本测量系统的测量体积可以容纳绝大多数电路板，满足高精度的工业检测的要求，实现了对封装电路板缺陷的检测，在未来具有进一步探索和应用的潜力。