基于数学形态学的手机屏缺陷检测算法设计

许祖鑫，毕明德，孙志刚

（华中科技大学 控制科学与工程系 信息所，湖北 武汉 430074）

0 引言

当前手机产业中，对手机屏表面缺陷检测的手段依旧停留在依靠人工肉眼观察。然而人工检测受检测主体的主观因素的限制且人眼无法实现产品高速生产时的在线缺陷检测。机器视觉的发展使其能够替代人眼，利用数字图像处理技术完成手机屏表面缺陷检测具有一定的实际意义。

数学形态学是由一组形态学的代数运算子组成［1］。最基本的形态学运算子有腐蚀、膨胀、开、闭。运用这些算子及其组合，进行图像形态和结构的分析及处理，包括图像分割，边缘检测，图像滤波，图像增强和复原等方面的工作［2－3］。本文针对手机屏表面灰度图像背景单一，缺陷有明显形状特征的特点，提出一种基于数学形态学的缺陷检测方法。

1 手机屏表面缺陷图像特征分析

在生产过程中，手机屏可能出现的缺陷可分为两类，一类是划痕（见图1a），这类缺陷主要是人为因素造成的;另一类是晶点（见图1b），这类缺陷主要是由产品本身内部结构发生微小畸变所导致的。

对大量缺陷图像进行统计分析，表明缺陷在整个图像中占的像素比重比背景小，轮廓比较清晰，但是背景与缺陷的灰度分布集中，二者对比度不明显。从直方图上看，图像大都呈现比较集中的单峰结构。可见，这些图不宜直接采用阈值分割处理，而区域生长法严重依赖于初始种子像素［4］，同时计算量也较大，检测的速度较慢。

图1 （a），（b）分别划痕与晶点缺陷样本图，（c），（d）分别为（a），（b）的直方图

数学形态学方法能够凸显手机屏缺陷的形状特性，并将其从背景中地分割出来，从而达到检测疵点的目的。

2 灰度数学形态学

本文处理的缺陷图像为灰度图像，需利用灰度形态学［5］。二值数学形态学可方便地推广到灰度图像空间。只是灰度形态学的运算对象不是集合，而是图像函数。设f（x，y）是输入图像，b（x，y）是结构元素。用结构元素b对输入图像f进行膨胀和腐蚀运算分别定义为:

式中:Df和Db分别是f和b的定义域。

对灰度图像的膨胀（或腐蚀）操作有两类效果:

（1）如果结构元素的值都为正的，则输出图像会比输入图像亮（或暗）;

（2）根据输入图像中暗（或亮）细节的灰度值以及它们的形状相对于结构元素的关系，它们在运算中或被消减或被除掉。

灰度数学形态学中开启和闭合运算的定义与在二值数学形态学中的定义一致。用b对f进行开启和闭合运算的定义为:

开运算和闭运算操作几乎都是“保留区域”形式的:最显著的效果是，在灰度级上，闭运算消除了低于其邻近点的孤立点，开运算消除了高于其邻近点的孤立点。

基于以上灰度形态学基本运算，本文在缺陷提取中用到“黑帽”法来增强图像阴影的细节。“黑帽”法就是 Black-Hat变换［6］，即对原始图像闭运算再减去原始图像后得到的图像，可以得到一些重要的标记点。灰度图像分析中，这种方法对比较亮的背景中求暗的像素聚集体（颗粒），或在较暗的背景中求亮的像素聚集体非常有效。

Black-Hat变换的数学表达式为:

其中b是适当的结构元素，f是输入图像。

在使用Black-Hat变换时，结构元素的选取对结果会有很大的影响。适当的选取阙值，便可得到边缘图像。

3 手机屏表面缺陷检测算法设计

基于数学形态学的手机屏表面缺陷检测算法流程如图2所示。

图2 表面缺陷检测流程图

3.1 图像预处理

在图像预处理过程中采用中值滤波［7］方法对待检测图像进行滤波。由于CCD面阵相机采集的图像会因光照不均、CCD器件本身的噪声等原因，而使得图像存在噪声。中值滤波不仅能有效滤除噪声，且可克服线性滤波器带来的图像细节模糊，较好地保持了图像边缘，中值滤波对平滑脉冲干扰及图像扫描噪声尤为有效。

中值滤波就是用一个有奇数点的滑动窗口，将窗口中心点的值用窗口内各点的中值代替，用数学公式表示为:

式中Med为窗口内像素灰度值的中间值，fi为窗口内的像素灰度值。

本文采用中值滤波不仅能有效滤除噪声，且可以保持缺陷轮廓，不影响后续形态学处理。根据观察大量样本图像，窗口大小选择5×5较为合适。

3.2 形态学处理

步骤一:对滤波后的图像进行Black-Hat变换。实验采用明场照明方式，光线经过缺陷位置时其方向会突变，只有少量光线进入相机。在图像上的反映则为缺陷位置比正常区域暗。Black-Hat变换能将这些形状明显的较暗区域分离出来，在本研究中选择5×5的结构元素。Black-Hat变换结果如图3所示。

图3 （a），（b）分别为划痕经Black-Hat变换前后图，（c），（d）分别为晶点经Black-Hat变换前后图

步骤二:对Black-Hat变换后的图像进行二值化分割。Black-Hat变换后，图像的灰度级主要集中在两类，一类为缺陷，另一类为背景;因此采用最大类间方差法进行二值化。阀值T选取公式为:

式中m（i）、n2（i）分别为灰度级小于i的像素数目和大于、等于i的像素数目;v1（i）、v2（i）分别为它们的平均值。

公式（8）的意思是，取w（i）中的最大值时的下标作为二值化的分割阈值。w（i）实际上是一个以灰度值为自变量的函数，求阈值就是找出函数值取最大值的位置。对图3（b）、（d）二值化的结果如图4所示。

图4 二值化后的图像

步骤三:对二值化后的图像进行形态学开运算。二值化后的图像还有大量椒盐噪声，根据数学形态学理论，开运算能够有效地滤掉这些噪声，得到完整的缺陷图，本研究选择的结构元素大小为5×5。开运算结果如图5所示。

图5 开操作去掉噪声点后的完整缺陷图

步骤四:绘制轮廓。运用OpenCV库提供的轮廓绘制函数将缺陷轮廓画出，保存轮廓数据，为后续提取特征量做准备。绘制轮廓结果如图6所示。

图6 缺陷轮廓图

3.3 缺陷特征提取

形态特征是目标缺陷的基本特征，通过缺陷区域的面积、周长、重心、圆度、扁平度等形状描述符来表示。手机屏表面缺陷的形态特征有比较明显的区别，如划痕缺陷一般长度较长，宽度较窄;而晶点缺陷的长和宽差异不大。本文选取面积、周长、圆度、扁平度四个特征量组成特征向量，各参数定义如下:

（1）面积A即缺陷区域内的像素总个数，定义如下:

式中Ψ为整个图像区域。

（2）周长P即缺陷边界像素的总和。

（3）圆度C反映缺陷接近圆的程度，缺陷形状越接近圆，圆度越小;形状越复杂，圆度越大。圆度的计算公式为:

（4）扁平度R是缺陷的高度与宽度的比值，反映了缺陷在长轴方向上的长宽比例，其计算公式如下:?

式中L为缺陷长轴，即通过重心连接缺陷边界上两个最远点线段的长度;W为短轴，即通过重心与长轴垂直并与缺陷外接矩形相交线段的长度。

3.4 缺陷分类

手机屏缺陷类别主要有两类划痕类、晶点类，且两类形态特征区别较为明显，因此本文采用最小距离分类器［8］进行缺陷分类。选择马氏距离［9］作为距离度量，因为马氏距离考虑到了各种特性之间的联系，并且是与尺度无关的。第i个样本xi到样本集X={x1，x2，…，xm}的马氏距离定义为:

当计算出一个未知类别缺陷x的特征向量（面积、周长、圆度、扁平度）时，分别计算x到标准样本集划痕类和晶点类的马氏距离，然后将它分配给距离最近的标准样本所代表的类。

4 实验结果

本研究采用VS2008的MFC编程来实现软件平台的搭建，其中部分图像处理函数（如轮廓提取及绘制）用OpenCV的库函数实现。相机型号是微视工业黑白面阵相机MVC－610DAMGE110，帧率110 fps，采集图像分辨率为659×494。实验结果如图7所示，缺陷轮廓用黑线标出。

图7 实验结果图

实验中选取100幅尺寸为659×494的缺陷图像（包括划痕、晶点），提取特征向量作为标准样本集，在vs2008上进行样本缺陷分类实验。图6中各缺陷目标的形态特征量和分类结果见表1。

表1 表面缺陷的形态特征量

实验结果表明，本文算法能够快速、客观地将缺陷目标提取出来，并能获取准确的缺陷特征数据用于判别缺陷类型，分类正确率达到92%。算法平均用时为233 ms（实验中使用的PC机CPU 为 Pentium（R）Dual-Core，2.00 GHz，内存为 2 GB），该算法在快速性上能够满足工业生产的需求。

5 结束语

本文针对常见手机屏表面缺陷的特征，提出了一种基于数学形态学的表面检测方法。首先针对图像中存在的噪声利用中值滤波器消除了椒盐噪声;再用灰度形态学方法将缺陷图像分割出来;最后对提取的形态特征进行分析，确定缺陷分类标准，根据标准判别缺陷类型。结果表明，这种方法能够有效地判别缺陷类型，具有速度快、检测结果客观等特性。

［1］ Serra J.Introduction to Mathematical Morphology［M］.New York:Academic Press，1982.

［2］Castleman K R.数字图像处理［M］.朱志刚译，北京:电子工业出版社，2000.

［3］刘真.用形态学方法进行数字图像的分析和处理［J］.华北电力大学学报，1996，23（3）:59－64.

［4］王吉晖，伟其，王霞，等.基于数学形态学的像增强器缺陷的图像检测方法［J］.光学技术报，2005，31（3）:129－131.

［5］ Sternberg S R.Gray scale morphology［J］.Computer Vision，Graphics，and Image Processing，1986，35（1）:333－355.

［6］叶斌，彭嘉雄.基于形态学Top－Hat算子的小目标检测方法［J］.中国图像图形学报，2002，11（7）:638－641.

［7］唐世伟，林君.小波变换与中值滤波相结合图像去噪方法［J］.哈尔滨工业大学学报，2008，40（8）:1334－1336.

［8］曾勇.广义近邻模式分类研究［D］.上海:上海交通大学，2009.

［9］李仁兵，李艾华.马氏距离法在支持向量机拒识区域中的应用［J］.信息与控制，2010，3（39）:367－372.