主动激光散斑投射的面部测量方法研究

赵鹏亮 ， 梁 晋 ， 徐劲澜 ， 武国庆 ， 孟繁昌

（1.西安交通大学机械工程学院 机械制造系统工程国家重点实验室，陕西 西安，710049；2.广东顺德西安交通大学研究院，广东 佛山 528300；3.中航工业洛阳电光设备研究所，河南 洛阳 471009）

主动激光散斑投射的面部测量方法研究

赵鹏亮1，2， 梁 晋1，2， 徐劲澜1，2， 武国庆3， 孟繁昌1，2

（1.西安交通大学机械工程学院 机械制造系统工程国家重点实验室，陕西 西安，710049；2.广东顺德西安交通大学研究院，广东 佛山 528300；3.中航工业洛阳电光设备研究所，河南 洛阳 471009）

针对医学等相关领域对面部轮廓测量的需求，提出一种主动激光散斑投射的面部点云获取方法。该方法结合数字图像相关法和双目立体视觉原理，能够快速重建面部三维轮廓。首先，介绍数字图像相关法的基本原理；其次，提出一种匹配前的散斑图像预处理方法，去除散斑图像的边缘化区域，提高散斑匹配质量；最后，计算面部三维点云。为验证该方法的可行性及最终重建效果，设计面部扫描重建及误差实验，结果表明：该方法具有体积小和不受光强影响的特点，能够较好地重建出面部模型，整体测量误差为±0.2mm。

面部测量；激光散斑；数字图像相关法；图像去边缘化

0 引 言

随着三维光学测量的发展，提取物体轮廓信息已经变得越来越方便，而面部的三维轮廓信息也正在被越来越多的行业所需要。例如：医学整形和临床治疗[1]，CG电影中数字虚拟演员的设计[2]，VR人物开发等[2]。

目前在国内相关研究中，面部三维的信息提取和重建方法按照原理的不同大致可以分为结构光投影方法[3]、激光线扫描方法[4]、基于特征分块的方法[5]。其中结构光投影法是一种基于光学三角形测量原理，采用格雷码和相移组合编码的方法，通过摄像机捕捉面部结构光调制信息并运用图像处理技术进行解调，实现面部外形的三维测量和重建，但该方法对光源比较敏感；激光线扫描法是指利用激光测距原理，采用激光光带扫掠人整个面部，最终得到完整的面部点云模型，近年来为了提高其效率也有人提出了多光带激光扫描的方案[6]，但是总体来说激光线扫描的方法耗时较长；基于特征分块的三维面部重建是利用原始三维数据库中的人脸进行特征定位与分割，然后建立每个特征分块的形变模型，通过对二维面部图像的特征定位与分割，最终实现每个特征分块的三维重建，但该方法流程比较繁琐。

本文提出一种主动激光散斑投射的面部测量方法。首先通过主动激光散斑投射器向面部投射红外散斑图案；其次由两个黑白相机采集脸部带有红外散斑图案的灰度图像，由彩色相机采集面部的彩色图像；然后对获取的散斑图像进行去边缘化处理，去除无效散斑区域；最后通过双目立体视觉原理、数字图像相关方法以及纹理映射重建出面部的彩色点云信息。

1 系统方案设计及测量流程

1.1 测量系统方案设计

测量系统主要包括两个测头，每个测头由两个黑白相机、一个彩色相机、一个主动激光散斑投射器组成，如图1所示。测头中散斑投射装置采用自主设计的主动激光散斑投射器，其结构如图2所示。其工作原理是：首先由Vcsel激光阵列发射出红外激光，依次经过双凸镜的会聚与发散，聚光镜的会聚，然后穿过已经被刻蚀好的散斑玻片，最终经过镜头向物体投出散斑。该主动激光散斑投射器内部高度集成体积较小，寿命较长，使用过程中光束发散角小，抗干扰性强，激光阵列亮度较高，可实现远距离清晰投射。在复杂环境下，有效解决了散斑成像弱化问题，实现了高清晰度、均匀亮度散斑图像的采集。

图1 测试系统结构示意图

图2 主动激光散斑投射器结构示意图

该系统相机视场大小为960mm×600mm，采用的红外散斑波长为850nm，相机分辨率为1920像素×1200像素。考虑到激光使用安全等级以及激光测量可能对人体造成的伤害，经过计算采用5W的主动激光散斑投射器，光线强度经过扩散衰减之后的安全测量距离是800mm。

1.2 面部点云计算流程

1）相机标定。相机标定之前，应首先对标定板进行摄影测量，计算出标定板的全局点，然后调节相机焦距，使相机能够清晰地看到标志点。将标定板摆放多个不同位置，分别采集图像信息，然后计算出各个相机相对于世界坐标系的旋转矩阵和平移矩阵以及相机的夹角和内参数。

2）图像采集。通过主动激光散斑投射器向面部投射红外散斑图案，并利用两个测头中的黑白相机和彩色相机进行图像采集，黑白相机获得面部的散斑图像，彩色相机获得面部的彩色RGB图像。

3）点云重建。首先对灰度图像进行去边缘化处理，然后利用盒图像运算法及数字相关法对其进行比配，待匹配完成后，结合相机的内外参数重建出面部三维点云。

4）颜色贴图。将彩色图像的RGB信息映射到已重建好的点云上，形成更加逼真的彩色点云。

2 系统关键技术

在获得散斑图像后，为快速有效地得到高准确度三维轮廓，设计了计算流程，如图3所示。并针对传统散斑匹配图像边缘问题导致的误匹配问题，重点研究了散斑图像去边缘化的预处理过程。

图3 三维轮廓计算流程

2.1 数字图像相关法

数字图像相关法[7-9]的基本问题是对两个散斑图像进行相关计算。在面部扫描过程中，单测组黑白相机采集的散斑图像需要利用数字图像相关方法进行匹配，匹配原理如图4所示。在左侧黑白相机图像中，取以待匹配点 C 为中心的（2N+1）×（2N+1）大小的矩形子图像作为参考子图像，在右侧黑白相机图像中，通过一定的搜索方法，并按照预先定义的相关系数进行计算，寻找与参考子图像相似度最大的以C′为中心的待匹配图像，则点C′即为点C在右侧黑白相机图像中的对应点。

图4 数字图像相关原理

在本方法中所采用的相关系数为最小距离平方和函数：

2.2 图像去边缘化

数字图像相关法是一种区域性的匹配方法，是图像子区中所有像素均参与的特征匹配，但在图像的尖锐部分（如图像边缘），会产生很多错误匹配点。为了消除该方法的边缘效应，使用梯度均值和梯度重心偏移量的算子来定位和去除边缘区域就显得非常必要。对图像梯度 g（x，y）的计算采用 Sobel算子，梯度均值为图像子区范围内所有图像点的平均值：

引入梯度均值阈值α，当子区梯度均值大于α，代表该子区特征饱满，可进行计算；当子区均值小于α，则表示该区域特征过于统一，即整体偏白或偏黑，不利于计算，可以将其去除。梯度重心偏移量d表示图像子区梯度重心（dx，dy）相对于子区中心（x0，y0）的偏移程度：

同样引入阈值β，当d＞β时，表明该区域梯度特征分布不均，可能处于边缘区域，可以去除。

为提高该环节的计算速度，本文采用盒滤波运算法[10-11]来加速散斑图像梯度计算过程。其基本思想是采用一个不断更新数据的像素窗口，利用前一个图像子区的梯度计算代价，为下一个图像子区梯度计算消除冗余的加法、乘法运算，并且在数据访问时通过直接访问数据位置而有效减少了寻址操作，计算效率显著提高。对于一幅1920像素×1200像素的散斑图像，计算子区大小为30像素×30像素，选取α=64，β=0.25，去边缘化效果如图5所示。对散斑图像进行该处理后，在匹配阶段可有效改善散斑的误匹配以及被测物外的无限制匹配所产生的诸多数据杂点。

3 实验分析

3.1 面部点云扫描

为验证该方法点云重建效果，设计了面部轮廓测量实验。首先对相机进行内外参数的标定，调节散斑投射器，标定后固定相机位置。人位于两测头中心线上，与每个测头相距1 050 mm，扫描面部时，黑白相机曝光时间设置为3 ms，彩色相机曝光时间设置为15ms。扫描时，通过驱动电路板触发两测头上的主动激光散斑投射器来投射散斑，在投射散斑5ms后，控制所有的相机同步采集面部散斑图片和彩色图片，16ms后关闭散斑投射器，相机停止数据采集。获取散斑图像后，通过设定的三维轮廓计算流程，对其进行边缘化去除操作，随后根据数字图像相关原理及多种子点扩散原理进行面部点云重建。

由图6、图7中图像可以观察到，使用主动激光散斑投射器采集的面部散斑图像亮度均匀，散斑密集且清晰。在环境光线较弱情况下，依然能够得到优质的散斑图像；在高亮环境下，黑白相机加装850滤光片后可屏蔽环境光影响，保证散斑效果。对散斑图像进行轮廓重建之后，将点云分别保存为“.wrl”格式的彩色点云文件、“.asc”格式的正面点云文件和“.stl”格式的三角面片文件，如图8所示。从点云信息中可看出，通过该方法所得到的面部点云比较光滑，眼、鼻、眉等细节特征保存比较完整，能够较好地识别出主要特征。

图5 去边缘化处理实例效果

图6 右测头相机采集图片

图7 左测头相机采集图片

通过多次测量点云的结果来看，该方法在保证了重建效果的同时，还具有较好的稳定性。另外，采用双测头的测量方案能够比较完整地获取人面部两侧的点云信息，而且对于两测头测量范围相交区域，互补作用使点云数据更加完整，可以满足相关行业的使用要求。

图8 扫描点云

3.2 误差验证

实验采用直径为100mm的标准球进行点云重建，然后根据生成的点云进行球体拟合并计算其直径，将计算值与标准值进行对比分析，验证散斑点云重建的误差，散斑图像及球体拟合效果如图9所示。

图9 标准球直径拟合

对标准球的扫描测量实验共进行5次，多次拟合球直径得到的结果如图10所示。

图10 多次拟合结果图

根据5组实验的标准球直径拟合结果得到平均拟合直径为99.64mm，标准差为0.15mm。因此，该方法的散斑测量误差在±0.2mm左右。

4 结束语

本文针对目前对面部轮廓信息测量的需求，使用一种主动激光散斑投射器向人面部投射激光红外散斑，该方法数据采集时间较短，不易受环境光强的影响。在三维轮廓重建流程中，对获得的散斑图像进行预处理去边缘化操作，防止误匹配及无限匹配的发生，最终重建面部轮廓。实验证明该方法所获得面部点云信息拥有较好的特征辨识度，五官清晰，验证了该方法的可行性，并通过误差测试验证了该方法的测量误差可以达到±0.2mm。

[1]钟世镇．数字化虚拟人体研究现状和展望[J]．解放军医学杂志，2003，28（5）：385-388.

[2]潘红艳，柳杨华，徐光祐．人脸动画方法综述[J]．计算机应用研究，2008，25（2）：327-331.

[3]熊耀阳，陈晓波，孙健，等．结构光投影面部三维测量系统的研制[J]．上海交通大学学报（医学版），2009，29（7）：837-841.

[4]杨宇，阚凌雁，于佳，等．基于激光扫描的人脸三维重建方法[J]．红外与激光工程，2014，43（12）：3946-3950．

[5]鹿乐，周大可，胡阳明．基于特征分块的三维人脸重建和识别[J]．计算机应用，2012，32（11）：3189－3192．

[6]葛宝臻，赵丹，田庆国，等．三光带激光三维人脸扫描方法[J]．2010，37（6）：1594-1598.

[7]唐正宗，梁晋，肖振中，等．用于三维变形测量的数字图像相关系统[J]．光学精密工程，2010，18（10）：2244-2253．

[8]SAVIC V， HECTOR L G J， FEKETE J R.Digital image correlation study of plastic deformation and fracture in fully martensitic steels[J].Experimental Mechanics，2010，50（1）：99-110.

[9]KARTAL M E，MULVIHILL D M，NOWELL D，et al.Determination of the frictional properties of titanium and nickel alloys using the digital image correlation method[J].Experimental Mechanics，2011，51（3）：359-371.

[10]邓祥．多分辨率与视差梯度相结合的快速区域匹配[J]．山西电子技术，2014（6）：9-11.

[11]MCDONNELL M J.Box-filtering techniques[J]．Computer Graphics and Image Processing，1981，17（1）：65-70.

（编辑：商丹丹）

Research on active laser speckle projection for facial measurement

ZHAO Pengliang1，2， LIANG Jin1，2， XU Jinlan1，2， WU Guoqing3， MENG Fanchang1，2
（1.State Key Laboratory for Manufacturing Systems Engineering，School of Mechanical Engineering，Xi’an Jiaotong University，Xi’an 710049，China；2.Guangdong Shunde Xi’an Jiaotong University Academy，Foshan 528300，China；3.Institute of Electro-Optical Equipment，AVIC，Luoyang 471009，China）

In order to solve the problem of facial measurement in medical and other related fields，a method to acquire the facial point cloud based on active laser speckle projection is proposed.This method can rapidly reconstruct the three-dimensional facial contour by combining stereo vision with digital image correlation method.Firstly，the fundamental of digital image correlation method is introduced，and then a preprocessing method of speckle image before matching is proposed to remove the marginalized area of the speckle image for high quality speckle matching.Finally， according to the speckle matching，the facial three-dimensional point cloud is calculated.To verify the feasibility and the final reconstruction effect of the method， the facial scan reconstruction and error experiment are designed and conducted.Experimental results demonstrate that the method has small measuring device size and light robustness.It can reconstruct the facial model well， and the overall measurement error is ±0.2mm.

facial measurement； laser speckle； digital image correlation method； image marginalization removal

A

1674-5124（2017）09-0008-05

10.11857/j.issn.1674-5124.2017.09.002

2016-12-23；

2017-02-10

国家自然科学基金项目（51421004）；广东省公益研究与能力建设专项资金（2014A010104003）

赵鹏亮（1991-），男，河南许昌市人，硕士研究生，专业方向为三维光学测量。

梁 晋（1968-），男，河南郑州市人，教授，博士生导师，主要从事机电控制、机器视觉等方面的研究。