基于嵌入式系统的表面划痕测量装置的设计与实现

李 艳, 贾志婷, 瞿剑苏, 马晓苏, 王 霁

(中国航空工业集团公司北京长城计量测试技术研究所，北京 100095)

1 引 言

在飞机制造、使用、维修等多个环节中,容易在飞机蒙皮、座舱玻璃等部位产生划痕,通常表现为细长且伴有表面材料损失的损伤。一旦产生划痕,飞机高速运动过程中空气将在划痕附近产生集中应力,若这些应力位于飞机的某些关键部位,则会影响飞机的飞行质量,甚至会影响飞行安全。

现行适航性条例明确规定,对新、老飞机必须按照损伤容限原理进行设计和评估,保证飞机在整个使用寿命期内,一旦发生疲劳、腐蚀或意外损伤时,在被检出前,飞机结构仍能承受规定的载荷而不出现损坏或者过度的结构变形[1]。外场人员需要明确损伤的深度、宽度等信息,查找允许损伤的容限值,如果在允许损伤的范围内,则可以正常放行,如果超出损伤容限,则需要进行维修处理。因此,对表面划痕的定量检测需求较为迫切。

目前,用于测量划痕的方法有目视、触摸等定性判断方法,以及翻模法、测针法、激光三角法、调焦景深法等定量测量方法[2,3],这些方法存在测量精度低、易造成二次损伤、测量效率低、现场操作困难等缺点。针对该问题,马晓苏等研制了一种用于物体表面划痕损伤深度测量的设备[4,5],并将人眼瞄准读数改进为相机成像测量,实现了表面划痕的数字化定量测量。目前,该设备已在飞机维修厂、主机厂、汽车、铁路机车、核电等多家单位得到应用。根据客户反馈及调研,该设备测量精度高、测量结果容易溯源、可靠性好,能够解决现场微小划痕的准确测量问题。但同时,也存在以下明显不足:

1) 设备需要连接计算机使用,在测量现场,当测量位置不方便携带计算机时,就需要一名操作者和一名图像观察人员配合完成测量任务:操作者需要根据观察人员的反馈调整设备位置、相机参数等,再由观察人员完成划痕图像采集工作,降低了测量效率;

2) 光强对测量结果有一定的影响,在不同的环境、不同的曝光时间、不同的增益情况下测得的结果之间存在一定程度的差异。

针对上述问题,对上述划痕测量设备进行了改型,将基于ARM(advanced RISC machines)的微型计算机集成于设备中,配备触摸显示屏,形成嵌入式一体化设备,增加使用的便携性、提高测量效率;同时,优化图像处理算法,增强算法的抗干扰性,提高测量精度和测量结果的一致性。

2 系统方案设计

基于嵌入式系统的表面划痕测量装置基于光切原理设计[6],主要由光条投射模块、成像模块、嵌入式处理模块、供电模块及装置机械结构件等组成。系统的组成框图如图1所示。

图1 系统组成框图Fig.1 System composition diagram

光条投射模块主要包括光源及光源开关、光条投射镜组、镜筒等组成,用于生成平行光带,投射到被测表面。

图像观察模块主要由显微镜组、镜筒、工业相机等组成。光带照射到被测表面后,反射至观察光路,经过显微镜组放大后由工业相机成像。

装置机械结构件用于将光条投射模块、焦距调节机构、图像观察模块、嵌入式模块等各部分进行定位安装。此部分实现装置支撑及相机焦距调节的作用。

嵌入式处理模块主要包括嵌入式处理器、触摸式显示屏、嵌入式操作系统及嵌入式操作软件等[7]。工业相机采集放大后的划痕图像,经由图像采集模块传送到嵌入式处理系统中进行处理,触摸式显示屏可显示用户操作界面。用户操作软件实现划痕图像的处理并保存计算结果。

2.1 系统测量原理

系统测量原理如图2所示。光源S0发出的光经过聚光镜O0、狭缝光阑S,投射物镜O1组成的光路后,生成平行光束,以θ=45°方向投射到零件被测表面上形成光切面。如果被测表面存在划痕,光束分别在被测表面和划痕底部产生反射,反射光通过观察物镜O2,在摄像机中成像,得到划痕的放大影像。划痕深度h的理论计算公式为:

(1)

1—投射光轴;2—光源;3—狭缝光阑;4—光学镜组;5—摄像机;6—被测划痕;7—观察视场

图3 NanoPC-T4布局Fig.3 NanoPC-T4 layout

划痕宽度w的理论公式为:

(2)

式(1)、式(2)中:设摄像机成像传感器的像素尺寸为p×p,N为划痕深度成像物理距离,深度像素距离为n,则N=np;M为划痕宽度成像物理距离,设深度像素距离为m,则M=mp;V为观察光路系统的放大倍数;θ为摄像机光路倾斜的角度。

由式(1)、式(2)可知,在p、V及θ固定不变的情况下,划痕的深度及宽度与划痕图像中深度及宽度的像素距离成比例关系,即可将式(1)、式(2)分别写为:

(3)

(4)

式(3)、式(4)中:k1、k2为比例系数,即测量系统的放大倍数。

2.2 硬件系统设计

2.2.1 核心器件选型

测量装置的嵌入式硬件平台选用了友善之臂NanoPC-T4 ARM开发板。该开发板采用RockChip RK3399处理器,以64位双核Cortex-A72及四核Cortex-A53为内核,主频最高2.0 GHz,标配4 GB内存和16 GB闪存,带有HDMI、USB3.0/2.0、Type-C、GPIO等接口;内置图像处理器Mali-T860,支持运行Android和Lubuntu Desktop操作系统[8,9],满足图像传感器连接、触摸式显示屏连接、图像实时传输与快速图像处理的功能要求。整体尺寸为100 mm×64 mm,满足装置小型化要求。

选用了大恒图像的MER2-302-56U3C-L USB3.0彩色工业相机,分辨率2048×1536,帧率56fps(frames per second,每秒帧数),像元尺寸3.45μm×3.45μm。相机可采用USB供电方式,不需要外部电源,提高了系统的便携性。相机的驱动程序支持Linux、ARMv7、ARMv8和Mac OS等操作系统及架构,并且具有免费的SDK和二次开发实例源码[10,11],可在此基础上实现软件的快速二次开发。

触摸屏选用微雪电子5.5英寸(1英寸=2.54cm)电容屏,分辨率为1080×1920,显示接口为HDMI,显示面板为AMOLED,触摸接口为USB接口,触摸面板可实现5点触控[12]。

电源模块选用可充电式锂电池,为光源及嵌入式开发板供电。在非工作状态下,可通过外接电源对电源模块进行充电;充电完毕即可脱离外接电源进行使用,使得测量系统能够成为便携式移动设备。

光源选用LED发光二极管,亮度高,耗电量小,持续工作时间长,使用安全。

2.2.2 光学系统设计

光条投射模块与图像观察模块中的光路部分关系到测量装置能否获取理想光带,制约着测量装置的测量范围,对装置性能有重要影响。将投射光路倾斜角度与观察光路角度θ设计为45°[13]。为了满足0.005～2.000 mm的测量范围要求,结合相机选型,所设计系统的镜头放大倍数为2倍。经光学仿真设计,确定了光学系统由2组透镜及半五棱镜组成。从被测物至成像区域,光路总长度确定为101.967 mm;每组透镜由正负2个单独透镜组成,各个透镜的弧度和厚度也可由仿真结果获得。

图4 光学系统仿真优化设计结果Fig.4 Simulation and optimization design result of optical system

2.2.3 机械结构设计

机械结构设计主要包括光学镜片镜筒设计、镜筒基座结构设计、焦距调节及升降结构设计等。本文不作为重点进行详述。机械结构整体设计及装配效果如图5所示。

图5 机械结构整体设计Fig.5 Overall design of mechanical structure

综上,基于嵌入式系统的表面划痕测量装置的硬件组成、硬件相互之间的连接关系及接口如图6所示。

图6 硬件连接示意图Fig.6 Hardware connection diagram

2.3 软件系统设计

2.3.1 嵌入式操作系统

考虑到后续所开发程序的普适性,选择Android系统作为嵌入式软件开发平台,在该平台下开发Android应用程序,实现装置测量与用户交互等功能。

在开发过程中,涉及到对Android源代码的修改和系统编译。主要过程如图7所示。

图7 嵌入式操作系统移植过程Fig.7 Embedded operating system migration process

2.3.2 划痕测量软件工作流程设计

划痕测量软件主要实现相机连接、图像采集、相机参数调节、图像存储、划痕计算、结果保存及查看等功能。软件工作流程如图8所示。

图8 划痕测量软件工作流程图Fig.8 Scratch measurement software workflow diagram

采集的划痕图像及处理后的结果图像保存至Android系统相册;图像名称、划痕测量结果等信息以xml文件形式存储。

3 系统实现

3.1 系统标定

3.1.1 划痕深度及宽度的像素距离的定义

由于被测划痕的形态、划痕所处表面的材料类型及外形轮廓等的不同,会使划痕成像后呈现出的特征具有多种不同的特点,因此需要提炼出划痕图像的本质特征,在图像中对划痕深度及宽度的像素距离给出明确定义。根据采集到的大量划痕图像,由光切法得到的划痕图像的几点要素总结如下:

1) 划痕基线:划痕基线定义为由光切截面与被测划痕所在的表面(划痕基准面)的交线构成的基准线。在划痕图像中,在被测表面成像表现为直线(平面或曲率较小的曲面)或具有一定弧度的弧线(曲率大的曲面)。

2) 划痕底部轮廓:光条在有划痕的位置会产生一个凹凸,体现划痕的不同形态。

3) 光带的不连续性:光带在有划痕的位置会在划痕宽度方向两侧位置产生不连续段。

根据以上分析的划痕成像的共同特点,对光切法所得划痕图像中划痕深度及宽度像素距离的定义为:

1) 划痕深度的像素距离:划痕基线到划痕底部的最大距离。

2) 划痕宽度的像素距离:光带由划痕造成的不连续段的最大距离。

基于以上定义,划痕光带图像处理的主要目的即为提取划痕特征、计算划痕深度和划痕宽度的像素距离。

3.1.2 系统放大倍数标定

由测量模型可知,划痕测量结果与划痕深度及宽度的像素距离直接成比例关系,事先将该比例系数标定出来,在确定像素距离的情况下,即可给出划痕测量结果。将式(3)、式(4)分别写为:

(5)

(6)

可以根据光学系统设计参数和工业相机选型参数计算出k1、k2的理论值。然而,由于图像传感器存在机械、电学以及光学等方面的误差,因此在微小尺寸的高精度测量中不能直接使用厂家提供的像素尺寸p,需要对其校准;另外,由于加工、装配等各种因素的影响,光路系统的显微镜放大倍数V和光路倾斜角度θ的设计值与实际值之间也存在一定的误差,因此放大倍数的理论值是不准确的,需要进行准确的标定。

由式(5)、式(6)可知,可以通过对已知深度和宽度的标准划痕对测量系统的放大倍数k1、k2值进行标定,减小测量系统的放大倍数对结果造成的干扰。本文利用具有标准刻线宽度的宽度样板对系统放大倍数进行标定。对该样板进行了重复6次测量,记录测量标准宽度时的像素距离值,如表1所示。

表1 系统放大倍数的标定数据Tab.1 Data for calibrating system parameters

6次测量结果取平均,并对测量平均值与标准宽度值进行线性拟合,拟合结果如图9所示,R2=0.999999,线性度佳。拟合曲线的斜率即为k2,k2=1.459 μm/pixel。采用同样方法可标定出k1=1.032 μm/pixel。

图9 实际距离与像素距离之间的线性关系Fig.9 Linear relationship between actual distance and pixel distance

3.2 图像处理算法

划痕光带图像处理技术主要目的是获取亮度适中、清晰度高的划痕图像,并对划痕图像进行处理,根据上文给出的定义计算出划痕深度及宽度的像素距离。如图10所示,为了减小不同测量环境和相机参数对测量结果的影响,在用户观测划痕图像时加入了亮度评价和清晰度评价函数,辅助用户调节相机参数和镜头焦距,提高图像质量以及测量精度。

图10 划痕图像采集及处理工作流程Fig.10 The workflow of scratch image acquisition and processing

3.2.1 亮度评价函数

本文以目标区域的灰度均值GAVE作为亮度评价参数,函数定义为:

(7)

式中:s是图像评价窗口的面积;fk(x,y)表示图像视频中第k帧图像中像素(x,y)处的灰度值。GAVE(k)的最佳取值需要根据实际经验确认。经试验,图像亮度评价函数GAVE取值范围为170～230(灰度饱和值为255)时,成像效果较佳。

3.2.2 清晰度评价函数

综合考虑清晰度评价函数的单峰性、无偏性和灵敏性要求,本文采取基于梯度函数的评价方法对图像清晰度进行评价[14～16]。基于目标窗口的能量梯度评价函数D(fk)定义如下:

D(fk)=∑x∑yIk(x,y)

(8)

其中,

Ik(x,y)=[fk(x,y)-fk(x+1,y)]·

[fk(x,y)-fk(x,y+1)]

(9)

式中fk(x,y)表示图像视频中第k帧图像中像素(x,y)处的灰度值。清晰度评价函数的值越大表明图像灰度差越大,图像越清晰。试验证明,当测量系统偏移焦距的范围在±0.2 mm范围内时,能够保证图像清晰,示值误差较小。

3.2.3 图像评价窗口的选取

图像评价窗口是图像中的感兴趣区域,亮度及清晰度评价都是对感兴趣区域的评价。图像评价窗口的选择直接影响评价算法的复杂度、计算量和精确度。如图11所示,在计算亮度评价函数时,本文选取最具代表性的划痕不连续段上部中的光条区域作为评价窗口;在计算清晰度评价函数时,选取能够反映图像清晰度的划痕边缘区域作为评价窗口。

图11 图像评价窗口Fig.11 Image evaluation window

3.2.4 划痕特征提取及边缘轮廓拟合技术

划痕图像处理主要可分为图像预处理、图像分割、边缘检测、划痕特征提取、划痕宽度及深度计算等过程,如图12所示。具体过程如下:

1) 图像预处理。图像采集过程中,光源照度不稳定、图像传感器噪声、像素抖动等会给图像造成一定的噪声污染。图像预处理可有效去除图像噪声。划痕图像处理需要保留边界信息,因此选用中值滤波方法对图像进行预处理,滤波效果更为平滑,边界保留效果好。

2) 图像二值化。利用彩色图像颜色分离方法将RGB图转化为灰度图,并利用自动阈值方法对图像进行二值化。

3) 形态学运算。考虑毛刺、表面凹凸等噪声对划痕轮廓边缘的影响,使用形态学运算方法对划痕光带进行毛刺去除和表面凹凸的平滑。首先通过孔洞填充等方法连接相邻连通区域,使用腐蚀运算去除离散区域和毛刺,再利用图像膨胀对划痕光带进行边界平滑。

4) 边缘检测。使用Canny算子进行边缘检测。Canny边缘检测不容易受到噪声干扰,能够检测到真正的弱边缘。使用2种不同的阈值分别检测强边缘和弱边缘,并且当弱边缘与强边缘相连时,才将弱边缘包含在边缘检测结果中。

5) 基线提取。多数情况下,被测划痕所在的小区域是相对平坦的,此时划痕基线在经过平滑后近似1条直线,可以采用霍夫变换(Hough transform)方法提取直线特征。为提高计算效率,使用累计概率霍夫变换(progressive probability Hough transform, PPHT)方法对提取到的边缘轮廓进行处理,来获取1条或多条连续的直线,通过对直线长度和直线位置的判断,得到1条基线。

6) 轮廓边缘拟合。当被测划痕位于大曲率表面处,光带带有一定弧度,基线将不再是1条直线,此时应通过多项式拟合方法获取基线[17,18]。另外,在对划痕底部进行特征提取时,也需要针对底部特征进行直线拟合或多项式拟合。拟合后的划痕方程为:

(10)

式中t为拟合次数。

7) 划痕深度与宽度的计算

以基线为直线为例,假设基线方程为:

y=kx+b

(11)

于是划痕深度的像素距离n可表示为:

(12)

式中(xt,yt)表示轮廓边缘上的点集。由划痕深度计算公式(3)可知,已知像素距离n和系统放大倍数标定值k1,即可求出划痕深度h。同理,可计算出划痕宽度。

4 实 验

本文设计的基于嵌入式系统的表面划痕测量装置的实物图如图13所示,装置整体尺寸为:长×宽×高:175 mm×85 mm×125 mm;整体重量为1.3 kg。触摸屏大小5.5英寸,可翻转角度10°～90°。装置左侧面为按键及接口区,从上到下依次为充电接口、开关按钮、底部照明开关、数据传输(调试)接口。底部照明灯便于用户在现场环境中更好地观察被测对象表面。

图13 基于嵌入式系统的表面划痕测量装置实物图Fig.13 Surface scratch measurement device based on embedded system

通过前述方法对该装置进行标定后,利用该嵌入式表面划痕系统进行测量实验。

4.1 不同材料表面划痕的测量实验

为验证本文研制的嵌入式划痕测量系统可测量多种材料表面的划痕,选取了由铝合金、座舱玻璃、碳纤维等材料制作的样件,样件尺寸无特殊要求,样件表面刻划了若干条深浅不一、任意方向的划痕(图14);在每块样件上任意选取一条划痕,使用本文研制的划痕测量装置进行测量,得到的划痕图像及测量结果如图15所示,装置对划痕特征进行了准确提取,计算出了划痕深度及宽度。

图14 具有划痕的多种材料Fig.14 Multiple materials with scratches

图15 不同材料表面的划痕图像(截取部分划痕成像区域,大小:900 pixels×600 pixels)Fig.15 Scratch images on surfaces of different materials

4.2 系统示值误差评估

分别使用单刻线样板和量块评估系统在0.005～0.06 mm和0.06～2 mm范围内的划痕深度测量示值误差[19,20]。利用本文研制的划痕测量装置对单刻线样板的刻线深度和不同尺寸量块构成的量块阶梯差进行测量,测量结果如表2所示。

表2 深度测量结果Tab.2 Depth measurement results

使用具有标准刻线宽度的宽度样板评估系统在0.005～2 mm范围内的划痕宽度测量示值误差。如图16所示,宽度样板采用光学玻璃作为基板,表面镀铬,刻线处透光。刻线宽度见图17,线宽的均匀性不超过0.5 μm;刻线长度为8 mm,刻线间隔为4 mm;玻璃基板尺寸为50 mm×50 mm。测量结果如表3所示。

表3 宽度测量结果Tab.3 Width measurement results

图16 宽度样板实物Fig.16 Standard width specimen

图17 宽度样板的刻线宽度Fig.17 Widths of the grooves on the standard width specimen

试验结果表明,系统在0.005～0.060 mm测量范围内的示值误差不超过±2.0 μm;在0.060～2.000 mm范围内的相对示值误差优于±4%。

4.3 实际应用场景中表面划痕测量

在实际应用场景中,材料表面划痕可能更具复杂性,本文给出了2个复杂划痕的测量实例。

实例1：材料表面存在多条划痕相互交错且深浅不一。图14(a)中金属样件表面有多条深浅、宽度不一且相互交错的划痕,获取某处的划痕图像如图18(a)所示。由于此处划痕较多,划痕基线难以准确获取,测量软件提供辅助测量模式,利用该模式可在系统焦距不变的情况下根据光带位置确定1条辅助基线作为划痕基线,参与后续图像处理(图18(b)、图18(c))。

图18 复杂划痕测量示例Fig.18 Example of measuring complex scratche

实例2：轴类零件表面划痕的测量。如图19所示为某管件上沿轴向方向的划痕,图20(a)为划痕测量装置获取的划痕图像,光带呈一定程度的弯曲;如图20(b)所示,测量软件可根据划痕轮廓进行曲线拟合并将该曲线作为划痕基线,参与后续计算,减小测量误差;测量结果如图20(c)所示。

图19 管件表面划痕Fig.19 Scratch on the surface of a tube

图20 管件表面划痕测量示例Fig.20 Example of measuring scratch on the tube surface

5 结 论

本文设计了以嵌入式RK 3399开发板为核心的表面划痕测量系统,通过触摸显示屏,用户可直接观测基于光切法获取的划痕图像,实现图像采集、划痕图像处理和计算等操作,与原有以计算机为主机的划痕测量装置相比,系统体积小、集成化高、功耗低、成本低廉,便于应用到便携式环境中,节省人力、提高测量效率。另外,对系统参数进行了准确标定,引入图像质量评价参数以帮助用户获取划痕图像的本质特征,优化图像处理算法,提高测量精度。试验表明,本文设计的嵌入式划痕测量系统适用于金属、复合材料、玻璃等多种材料表面划痕的测量,且测量精度能够满足实际使用要求。