基于HALCON的印花鞋面剪裁图像处理系统设计

，

(东华大学 机械工程学院，上海 201620)

0 引言

随着国内外鞋面剪裁系统逐渐成为一系列具有智能化、自动化、可视化的多功能数控集成系统。机器视觉代替人眼对目标进行识别愈发广泛，部分剪裁切割机拥有专业的机器投影软件对切割对象进行定位切割，但由于其系统功能相对单一且有局限性，对于不同图案印花鞋面不能进行有针对性的轮廓剪裁。而多数制鞋厂还在利用人工剪裁和模具切割鞋面，造成人员浪费且工作效率低。

针对以上问题，本文提出将机器视觉技术运用于运动鞋面剪裁系统。利用HALCON图像处理软件平台，将经过一定图像处理的标准印花鞋面图像作为模板与实时拍摄得到的待剪裁鞋面图像进行图像匹配，从而得到印花鞋面的剪裁轮廓信息。先对标准印花鞋面进行图像采集，再利用中值滤波方法对其进行图像去噪以减少成像设备与外部环境等噪声干扰，进行阈值分割得到二值图像，利用连通区域面积筛选得到标准印花区域，再对印花区域图像进行Canny边缘检测得到标准印花轮廓作为特征空间建立带有旋转缩放的模板。对待剪裁印花鞋面进行图像采集，并同样进行中值滤波进行图像去噪，利用金字塔分层搜索策略以及Hausdorff距离作为相似性度量，寻找带尺寸形状模板最佳匹配仿射变换得到待剪裁印花鞋面的剪裁轮廓信息，为接下来控制系统进行印花鞋面剪裁提供剪裁信息。

1 系统总体设计

印花鞋面剪裁图像处理系统包括图像采集、图像预处理、边缘检测、图像匹配等部分，如图1所示。本文印花鞋面剪裁图像处理系统利用德国MVtec公司研发的HALCON机器视觉算法包实现，利用其集成开发环境与灵活的构架可大大缩短图像处理开发周期、且稳定性高等特点。

图1 印花鞋面剪裁图像处理流程图

2 印花鞋面图像采集及预处理

2.1 图像采集

图像采集是图像处理的第一步，是将数字图像由彩色RGB图像转化为灰度图像[1]，则得到的灰度图像为:

f(x,y)=0.299R(x,y)+0.587G(x,y)+0.114B(x,y)

(1)

其中:R(x,y)、G(x,y)、B(x,y)分别为彩色图像中各像素点红、绿、蓝的值。如图2所示为采集得到的鞋面灰度图像。

图2 印花鞋面灰度图像

2.2 图像去噪

数字图像常包含图像噪声，图像噪声会使图像质量下降，掩盖图像的重要信息。数字图像在传输过程中常受到外部环境噪声干扰等影响，图像去噪可有效减少数字图像中噪声的影响。每幅图像都包含某种程度的噪声，其实噪声可是看作是由多种原因造成的灰度值的随机变化[2]，是一种平稳的随机过程[3]。

图像去噪常用的方法有均值滤波、高斯滤波、邻域平均法、中值滤波、小波去噪等。由于接下来要进行边缘检测，需要在良好的去噪效果下保留比较完整的边缘信息，所以本文采用中值滤波进行图像去噪处理。中值滤波在去噪的同时能保留更好的边缘轮廓信息[4]。

中值滤波是一种非线性滤波技术，其基本原理是把数字图像中每一像素点的灰度值设为该点的一个邻域内所有像素点灰度值的中值。通过使用随机选择算法，中值可以在线性时间内算出来[5]。将邻域灰度差值较大的像素改取为与像素值接近的值，从而消除孤立的噪声点，对去除椒盐噪声非常有效，可以达到既平滑噪声又保护图像边缘信息的目的。设原始图像为f(x,y)，二维模板窗口为W，窗口中的坐标为(i,j)，则经中值滤波处理后的图像为:

g(x,y)=Med

(2)

首先排列图像中像素点强度的大小，再利用排序好的像素点的集合的中值作为二位模板窗口中间点的新值。一般利用像素点为奇数的窗口来计算图像中值，若为偶数像素点窗口时，则取其中间两点的平均值作为其像素点的中值。

在HALCON中实现中值滤波采用median_image算子。如图3所示，中值滤波后的图像有效去除了图像噪声，并保留了边缘的锐利程度。

图3 图像去噪局部图

2.3 印花图形定位

在图像进行上述处理后，为了得到图像中印花部分的信息，需要对滤波后的图像进行印花部分的定位，如图4所示。本文印花图形定位步骤如下：

1)将图像进行阈值分割。图像分割就是提取图像中与感兴趣物体相对应的那些区域，以一幅图像作为输入，返回一个或多个区域或亚像素轮廓作为输出[6]。阈值分割是利用图像的阈值进行分割，利用阈值作为一个图像像素灰度的临界值，将图像区分得到不同的区域。由于图像像素灰度值是图像自身的属性，所以当图像中感兴趣的物体所在的区域与图像的背景灰度值差距较大时可以利用阈值分割以提取图像中感兴趣的区域。阈值分割方法计算量小、易实现，且简化了图像的复杂程度。在HALCON中采用bin_threshold算子实现。

2)提取连通区域。阈值分割后得到是多个区域，而图像中感兴趣的目标一般为相互连通的像素集合。而为了获得独立的每一个区域，需采用connection算子计算分割后所得区域内所包含的所有连通区域。如图4(b)，对图像进行连通区域后，目标区域与不相关的区域被区分开。

3)通过区域面积筛选得到相应印花区域。其中面积计算采用area_center算子，筛选面积区域采用select_shape算子。

图4 印花图形定位

3 边缘检测

3.1 边缘检测基本方法

图像边缘是指其一定范围内像素灰度发生明显变化的像素的集合，是图像的最基本的特征之一。图像边缘往往对应真实景物等目标的边缘，最能反映图像中景物的特征，正如人类的视觉系统也是根据目标边缘识别的。边缘也是位置的标志，且图像边缘受到遮蔽、非线性光照等的影响很小，因此边缘也是图像匹配中的重要特征。

边缘检测则是达到标识数字图像亮度发生明显变化的地方的目的，不仅可以大幅度减少数据量，且可以去除不必要的信息，并保留图像的基本属性。边缘检测的方法一般可分为两种：图像的一阶微分方法和二阶微分方法。

图像的一阶微分边缘检测方法是利用梯度来检测局部特征的显著变化，正如函数变化程度需用一阶导数表示[7]。对于连续函数f(x,y)，其在点(x,y)处梯度定义为：

(3)

梯度是一个矢量，函数的梯度方向是导数取最大的方向，用θ(x,y)表示梯度方向为:

(4)

梯度θ(x,y)的幅度为:

(5)

图像的二阶微分边缘检测方法是利用图像灰度的二阶导数的零交叉点来精准确定边缘点位置，相当于拉普拉斯算子过零。拉普拉斯值定义为:

(6)

但利用拉普拉斯算子进行边缘检测呈各向同性，且对较细的线和孤立点检测效果较好，但常出现双像素边缘。本文采用一阶导数对图像进行边缘提取。

3.2 Canny边缘检测

对于运动鞋面图像有物体干扰纹理，需对信号先进行平滑处理以抑制噪声，可以通过图像与平滑滤波进行卷积实现，设平滑滤波脉冲为h(x,y)，则图像平滑后的图像为:

g(x,y)=f(x,y)⊗h(x,y)

(7)

后可利用一阶导数对平滑后的图像进行边缘提取，根据式(3)与式(7)得平滑后图像的梯度为:

▽g(x,y)=▽[f(x,y)⊗h(x,y)]

(8)

而利用卷积的特殊运算特性，平滑后图像的梯度有:

▽g(x,y)=▽[f(x,y)⊗h(x,y)]=f(x,y)⊗▽h(x,y)

(9)

即可得到边缘检测过程可以利用原图像与平滑滤波的一阶微分的卷积运算实现。Canny边缘检测给出最优边缘检测的3个评价准则：低错误率、高定位性和最小响应。其中低错误率是指边缘检测要保证检测的高质量性，减少图像每个边缘点的错误检测和漏检的可能性，保证其图像输出信噪比最大化。高定位性是要保证检测得到的边缘与真实边缘尽量靠近，使得到的边缘方差最小。最小响应为保证得到有且只有一条边缘，去除多种响应的可能。Canny使用变分法，最优检测到近似于高斯函数的一阶导数，则可选择高斯平滑滤波器卷积降噪[8]。Canny边缘检测算法如下：

1)利用高斯滤波平滑图像。

2)利用一阶微分边缘检测方法计算梯度矢量。

3)用梯度的幅值进行非极大值抑制。即在梯度方向上比较邻域像素梯度幅值，去除邻域内梯度幅值的非极大点，使得边缘宽度变细。

4)利用滞后阈值进行检测和连接边缘。由于去除非极大点仍会使图像包含一些由噪声与纹理等导致的假边缘，需利用滞后阈值方法(高、低两阈值)约束。保留幅值超过高阈值的像素作为边缘像素，去除低于低阈值的像素，而幅值在高低阈值间的像素则只有与被保留的边缘像素相邻时才会被保留，直至边缘像素间无断点为止。

在HALCON中实现Canny边缘检测采用edges_sub_pix算子，边缘检测后图像如图5所示。

图5 Canny边缘检测图像

4 印花图像匹配

图像匹配是印花鞋面剪裁过程中的重要环节，对标准印花鞋面与未进行识别的印花鞋面进行匹配，通过标准鞋面印花与实时采集的鞋面印花的匹配程度来判断鞋面是否符合剪裁标准，并得到剪裁轮廓信息。

4.1 图像匹配

图像匹配是通过一些算法在两幅及以上的图像之间识别共同目标的过程[9]。但由于目标物体类型较为特别且经常会发生变化，例如图像在不同光照条件、不同时间、不同传感器、不同视角下等外界条件的改变。为更好地识别出目标物体，可通过目标物体内容、灰度、结构、纹理和特征等要素建立多幅图像的关系来找寻相似要素的方法。为更为方便描述，在两幅图像进行匹配时，可将其中一幅图像作为匹配模板图像，另一幅图像作为目标匹配图像。设两幅待匹配图像分别为f1(x,y)和f2(x,y)，f1(x,y)作为匹配模板图像，f2(x,y)为目标匹配图像。则两幅图像间的变换关系利用数学定义为:

f2(x,y)=g(I(f1(x,y)))

(10)

其中:g为一维的灰度变换，I为二维的坐标变换。

图像匹配会受到传感器噪声与使用、成像视角和光照变化、目标变形和移动等因素影响，为解决以上问题，因此图像匹配算法基本由以下要素组成：

1)特征空间。由参与匹配的图像特征组成的特征集，例如图像中提取的点、线、颜色、图像之间的空间关系等。特征空间决定了匹配的性能、数据量、算法执行效率等，优秀的特征选择可降低不确定因素对图像匹配的影响。

2)相似性度量。用来度量待匹配特征间的相似性的指标，例如相关度量、距离函数和概率度量等。

3)图像变换类型。指图像匹配中的图像进行的几何变换，即图像中像素点的几何位置变化，例如平移变换、比例变换、旋转变换等。使匹配图像与待匹配图像像素点间达到一一对应。

4)搜索策略。用于提高搜索效率的策略，用适合的方法在搜索空间内找出变换参数的最优值，使图像变换后得到最大相似性。在图像匹配中只利用相似性度量进行匹配的计算量巨大且速度慢，其算法的复杂度为O(whn)，其中w和h分别为图像的宽度和高度，n为匹配模板像素点的数量，通过合适的搜索策略可以改变其算法复杂度。

4.2 基于形状的模板匹配

图像匹配方法可分为两大类，基于灰度的匹配和基于特征的匹配。基于灰度的匹配是利用统计相关的方法搜索图像信号间的相关性的匹配方法。但基于灰度的图像匹配计算量较大、效率较低，本文并不采用。基于特征的匹配是利用两幅或多幅图像的特征进行参数描述的匹配方法，常用的特征为点、边缘、区域等特征。基于特征的匹配计算量较小、且提高了匹配的精准度。

本文采用基于特征的模板匹配，即以标准图像为模板，待匹配图像中寻找标准图像特征相似的特征的匹配。特征空间采用边缘检测得到的亚像素轮廓。相似性度量采用Hausdorff距离，可以很好的避免图像混乱和遮挡情况。设模板图像边缘点集为A，待匹配图像边缘点集为B，则Hausdorff距离定义为:

(11)

Hausdorff距离其实是标准模板图像边缘与最近的匹配图像边缘间的最大距离以及匹配边缘与最近的模板边缘间的最大距离的最大值，即h(A,B)与h(B,A)的最大值。且Hausdorff距离度量遵循匹配模板图像与目标图像越相似，其值越小的原则。

图像变换类型采用仿射变换，在图像匹配过程中，待匹配图像由于摄像机与物体间的距离变化，会导致图像中物体发生明显的尺寸变化。物体的位置不能通过简单的平移和旋转变换来表示，可用仿射变换表示。仿射变换由平移、缩放、旋转这些基本变化构造而来。若原始坐标为(x,y)，则仿射变换表示如下:

(12)

其中:a11、a12、a21和a22表示线性变换，a13和a23表示平移部分，齐次坐标。

搜索策略采用金字塔分层搜索策略，金字塔是由粗到精的加速搜索算法，以在不同尺度上寻找物体。为提高搜索速度可以在匹配模板图像与目标图像间的点的集合中得到匹配模板图像的大致位置，再利用间隔更小的点的集合在已经得到的大致位置中进一步搜索得到精准的结果。但对图像进行二次抽样可能会使图像结果产生锯齿甚至丢失匹配模板图像的实例，且对图像直接缩小过大的比例不如使图像多次缩小较小的比例的效果优秀。所以可以建立目标图像与匹配模板图像多次缩小较小比例而形成类似于金字塔的数据结构。图像金字塔是以金字塔结构逐层分辨率降低且源于同一图像的集合。金字塔第一层即最底层为待处理图像，随层数越高，其图像尺寸和分辨率越低。为确定匹配位置，需在金字塔顶层进行模板的相似性度量，并通过匹配分值进行加速搜索。图像金字塔搜索方法如下，选择适当层数的图像金字塔，在金字塔顶层进行完整匹配，将匹配的实例映射到金字塔的下一层以确定新的搜索区域，对新的搜索区域进行匹配，循环上述搜索直至映射到图像金字塔第一层。通过金字塔分层搜索可以合理减小搜索区域、减少运算量并加速了搜索[10]。

图6 图像模板匹配流程图

图6为基于特征的图像模板匹配流程图，其算法关键算子如下：

1)创建模板。使用XLD创建带有缩放的匹配模板，在HALCON中采用create_scaled_shape_model_xld算子实现。

2)保存模板。在HALCON中采用write_shape_model算子实现。

3)读取模板。读取上述保存好的模板，在HALCON中采用read_shape_model算子实现。

4)寻找模板。寻找单个带尺寸形状模板最佳匹配，得到图像中模板的点、位置、角度、尺度和匹配值，在HALCON中采用find_scaled_shape_model算子实现。

5)获取模板轮廓。并选择对应金字塔层数，在HALCON中采用get_shape_model_contours算子实现。

6)历遍图像进行图像变换。其中单匹配计算刚性变换矩阵利用vector_angle_to_rigid算子实现。增加放缩到2D齐次仿射变换矩阵、实现仿射变换，利用hom_mat2d_scale算子和affine_trans_contour_xld算子实现。循环使用for...endfor算子实现。

如图7所示，通过模板图像得到匹配图像的剪裁轮廓信息。

图7 匹配图像的剪裁轮廓图像

4.3 实验数据与分析

利用上述图像匹配方法进行HALCON软件实验，通过对多个未剪裁鞋面与标准鞋面图像进行匹配，如表1所示为部分鞋面图像匹配率和匹配时间。

由表1可以得出图像匹配率基本都在98.8%以上，且匹配时间不超过0.13 s。其平均匹配率为98.88%，平均匹配时间为0.109 8 s，适用于印花鞋面剪裁图像处理系统要求。

表1 部分鞋面图像匹配率和匹配时间

5 总结

本文利用HALCON软件对大量未剪裁印花鞋面进行模板匹配实验，其匹配率达98.8%，不超过0.13 s便可匹配得到印花轮廓信息。

本文针对印花鞋面剪裁技术不完善效率低下等，将机器视觉技术运用到制鞋生产线中的鞋面剪裁环节，实现对印花鞋面自动匹配筛选得到匹配率和效率较高的鞋面剪裁轮廓信息，并完成具有自动化、智能化的鞋面剪裁生产线系统中的关键技术研究。对制鞋业未来全部实行全自动化生产流水线具有一定的应用价值。