基于MS-FCM 算法的船体板熔池图像处理技术

徐远钊，罗玖田，方乃文，冯志强，武鹏博，黎泉

(1.北部湾大学,广西船舶数字化设计与先进制造工程技术研究中心,钦州,535011；2.广西海洋工程装备与技术重点实验室,钦州,535011；3.中国机械总院集团哈尔滨焊接研究所有限公司,哈尔滨,150028)

0 序言

焊接技术在船舶制造业中是一项关键的工艺流程，在现代造船工业中，焊接工时和成本在整个船体建造周期中占40%左右[1].因此，焊接效率的提升对提高生产率起到巨大作用[2].传统手工焊在高强度工作条件下会使焊接效率降低，且会对焊工身体造成巨大影响[3]，因此，焊接智能化已成为一种发展趋势[4].视觉传感技术在船舶焊接领域中是近年来的研究热点，在实际的焊接过程中产生的弧光、烟雾、飞溅等干扰使稳定的熔池信息难以获取.随着机器视觉的进步，在焊接过程中采用视觉传感器代替了焊工的人眼，使得许多学者针对焊接视觉图像的信息获取进行研究，例如利用激光视觉对钢结构焊缝的图像处理系统进行研发[5]；监测铝合金钨极气体保护焊(tungsten inert gas,TIG)焊接过程的成型缺陷[6]；采用双相机对GMAW 焊接过程中的熔池动态变化进行监控[7]；建立双向同步视觉传感系统获取图像信息[8]；利用高速摄像机获取激光熔化极活性气体保护焊(metal active gas,MAG)复合焊过程中的熔池图像[9].

CO2气体保护焊在船舶制造中应用较多，但在焊接过程中产生大量的烟雾、飞溅等不利因素给图像处理工作带来了巨大困难.针对熔池图像处理问题，杨家林等人[10]采用边缘锐化与边缘跟踪相结合的方法确定了搜索起始点和搜索准则，对激光深熔焊熔池进行了边缘提取.崔勇等人[11]采用了阈值大津法将图像与背景分开，然后使用形态学开闭运算平滑图形边缘.薛家祥等人[12]提出了一种Bubble小波基与零交叉检测相结合的方法对熔池边缘进行检测.Chen 等人[13]使用三光路传感器采集熔池图像信息，通过感兴趣区域(ROI)提取技术将图像分割出来，之后采用主动外观模型进行熔池图像特征提取.刘坚等人[14]采用膨胀腐蚀与sobel 算子相结合的方法提取熔池边缘，然而实际焊接过程中所获取的熔池图像有模糊性、边缘不确定性的特点，使经典数学算法的处理精度较低.

FCM 算法有着良好的去模糊性和不确定性的分析能力，在图像处理领域中被广泛使用[15]，但传统的FCM 算法忽略了图像中像素空间邻域信息[16-18]，使算法对图像中的噪声敏感，且算法收敛速度慢.针对FCM 算法的问题国内外学者提出了改进的方法，Fang 等人[19]提出了一种基于CV 模型和FCM 算法相结合的分割算法，但其只能用于分割分布均匀的图像，且对熔池图像内的熔池初始轮廓敏感.兰蓉等人[20]提出了一种抑制式非局部空间直觉模糊C 均值图像分割算法，提高了分割的精度.Gao 等人[21]引入了一种基于隶属度的自适应弹性距离，并提出了弹性模糊C 均值，该方法提高了识别内在团簇结构的能力，但由于船舶焊接中所采用的CO2气体保护焊会产生大量的干扰，增加了焊后图像处理难度.因此，文中将以GMAW 焊接过程为研究对象，针对焊接过程中的烟雾、飞溅和弧光等问题，搭建了熔池视觉采集系统，获取了清晰的熔池图像，提出了一种改进的模糊C 均值聚类的熔池轮廓分割方法，通过MS 算法获取超像素图像，使用MS 分割后的图像作为输入图像，以此提高FCM 算法的抗噪性和抗干扰性，同时考虑到像素空间邻域信息，采用一种加权的窗口对FCM 算法进行改进，提高了FCM 算法的性能，克服了熔池图像的烟雾、飞溅等干扰，以期为船舶焊接智能化提供理论基础有和试验数据.

1 试验方法

图1 为试验平台，它主要由可编程控制器、PulseMIG-500RP 型焊机、KUKA KR-5 型六轴机器人、送丝机、焊接工作平台(变位机−外部轴−两轴)、工控机、视觉采集传感系统组成，通过工控机发送控制信号与可编程控制器建立通信，将试验所需要设置的焊接电流、电弧电压、焊接速度等参数信息传送给机器人和送丝机，在焊接过程中，电荷耦合元件(charge coupled device,CCD)相机将采集到的图像数据传送至图像采集卡，通过微机处理，将图像采集卡所采集到的信息转化为数字信息，并保存到计算机中储存，以供离线分析.

图1 GMAW 试验平台Fig.1 GMAW experimental platform

视觉传感系统主要由具有外部触发功能的CCD 工业相机、近红外窄带复合滤光系统(减光片、窄带滤光片和玻璃片)组成，硬件的采集速度和软件图像的处理速度影响传感技术的高效性和时效性，试验采用了MER-231-41GC 型号的水星二代MER2-G 系列工业数字摄像机，相机与焊枪之间的相对位置式中保持稳定，相机内部采用全局曝光的Sony IMX249 CMOS 感光芯片，集成I/O(GPIO)接口，通过GigE 数据接口进行数据传输，选用了M0814-MP2 型号的2/3 寸百万像素定焦8 mm 手动光圈Computar 工业镜头.CCD 相机与镜头的主要参数如表1 所示.

表1 CCD 相机的主要性能参数Table 1 Main performance parameters of CCD

针对船体结构进行重点研究，选用船舶焊接中常用的CO2气体保护焊接方法，使用浓度为99.99%的CO2作为焊接过程的保护气.选用Q235B 船用低碳钢板作为焊接母材，为保证试验过程的稳定性，电流的极性采用直流反接，试验过程中的主要工艺参数如表2 所示.

表2 焊接工艺参数Table 2 Parameters of the welding experiment

2 MS-FCM 理论模型

2.1 FCM 算法理论

图像分割方法大致可分类为4 种，分别是聚类法、阈值法、区域提取和边缘检测，其中基于聚类分析的分割算法是图像分割领域中极为重要且应用广泛的一种算法，FCM 分割算法是一种基于模糊目标函数优化基础上的一种数据聚类方法，1973 年由Bezdek J C 提出，该算法的核心是通过迭代找到聚类中心vi和隶属度函数，使目标函数最小，其目标函数为

式中：c为像素总数；k为类别数；m为模糊控制参数，一般取2；xj为图像的像素值；为像素xj与聚类中心vi之间的欧氏距离；uij表示像素xj属于聚类i的一种程度即隶属度，同时隶属度函数应满足

在满足隶属度函数的条件下用拉格朗日乘数法推导出隶属度函数公式uij和聚类中心公式vij分别为

从上述公式中可以看出传统的FCM 算法只考虑了单个像素点的问题，没有考虑到像素周围的空间信息，所以导致传统的FCM 算法对噪声较为敏感，为了将FCM 算法应用到图像处理中，需要考虑图像像素周围的空间信息，以及增强FCM 算法的抗噪能力，因此在传统FCM 算法的基础上对图像空间进行邻域加权，改进的FCM 算法流程如下：

给定一幅大小为w×z的图像，设p(x,y)为图像的中心坐标 (x,y) 处的灰度值，定义一个大小为r×r的方形局部窗口，其中窗口系数的集合为

式中：f(s,t)为窗口系数，它是一种权值；r为窗口半径，即窗口最外层像素到中心像素的距离.

对于一个中心像素在 (x,y) 处的r为1 的 3×3局部窗口，其形式为

窗口系数f(s,t)根据对熔池图像进行过的一定量的处理确定为

在方形局部窗口下的像素灰度值其具体形式为

获得的加权图像公式为

改进后的FCM 算法的目标函数如

式中：参数ω为惩罚因子，用来控制惩罚效果，在文中针对熔池图像的改进算法中ω通常取1.

改进后的隶属度函数为

改进后的聚类中心为

2.2 MS 算法理论

MS 算法是一种有效的统计迭代算法，是由Fukunaga 在1975 年首先提出的，MS 的基本思想是通过反复迭代搜索特征空间中的样本最密集的区域，搜索点沿着样本密度增加的地方漂移，最终到达密度极大点，从而实现聚类.MS 算法是一种统计类算法，在图像分割时，首先将图像像素转化为特征空间的采样点，然后对采样点进行均值漂移聚类，MS 算法不需要任何先验知识，它克服了传统分割方法和传统聚类算法的缺点.其概率密度函数如

式中：N为样本空间的大小；h为核函数的带宽；d为特征空间维度；xi为第i个样本所表示的d维特征；x为当前所需要的分类样本；K为核函数，其表达式为

式中：ck为标准化参数；k(x)为剖面函数，K(x)满足为了寻找局部极大值需要对式(11)进行求导，并令g(x)=−k′(x)，结果为

式(13)展开为

式中：最后一项为MS 向量，表达式为

迭代过程如

式中：x(T)表示迭代到n步所处的位置，在运行过程中所有被判断为同一类别的特征点会收敛到同一特征向量.

由于图像信息可以由空间信息和色彩信息两部分表示，而坐标空间与色彩空间之间相互独立，因此，为了充分考虑熔池图像中的空间邻域信息和色域信息，采用一种联合形式的核函数，在进行MS 算法运行时，核函数可以被分解为两个空间核函数的乘积，表达式为

式中：hs为坐标空间带宽；hr为色彩空间的带宽；xs为坐标特征向量；xr为颜色特征向量，采用了新的核函数之后均值漂移向量公式变为

新的漂移中心点m(x)为

2.3 MS-FCM 模型

由于传统的FCM 算法抗噪能力较弱，对图像中的噪声敏感，在处理有飞溅、烟雾干扰的熔池图像时，无法精准地提取熔池边缘，处理效果不理想，而MS 算法抗噪能力强，故使用MS 算法对FCM算法进行优化改进，优化后的FCM 算法计算过程如图2 所示.

图2 MS-FCM 计算流程Fig.2 MS-FCM calculation process

3 熔池几何特征的提取与对比

对熔池图像进行处理是为了获取焊接过程中的熔池轮廓，然后再通过处理所得到的轮廓信息获得熔池的几何信息，然而焊接过程中所产生的烟雾、飞溅严重影响了熔池的分割，为了验证该算法能够克服烟雾、飞溅所带来的影响，选取了烟雾状态下与飞溅状态下的各3 张焊接过程中的熔池图像进行处理，对其轮廓进行提取，文中选取的6 张焊接熔池原图如图3 所示.计算机的配置为AMD FX-7500，处理器内存为8 GB，编程软件为MATLAB R2016a.

图3 熔池原图Fig.3 Original image of the melt pool.(a) smoke melt pool;(b) splashing melt pool

3.1 图像预处理与分割

针对焊接过程中熔池图像存在噪声的问题，需要对图像进行预处理，文中采用中值滤波对图像进行预处理，可以有效地滤除图像中存在的一些孤立噪声点，平滑图像，保护了熔池的边缘信息，为后续的处理奠定了基础.

图像分割是为了将目标区域与背景区域互相分开，使用二值化和Otsu 算法的处理结果如图4 所示.

图4 二值化和Otsu 算法熔池处理结果Fig.4 Binarization and otsu algorithm for processing molten pool images.(a) binarization；(b) otsu algorithm

从图4 中可以看出，使用Otsu 算法和直接对图像二值化这种常规的图像分割算法对使用二保焊焊接方法所产生的熔池图像分割精准度较低，处理效果不理想.熔池轮廓无法准确地将熔池分割出来，且飞溅部分无法去除，因此，常规的分割算法很难满足试验熔池图像的处理要求，针对熔池图像本身所拥有的不确定性、模糊性等问题，引入FCM 算法，但是由于传统FCM 算法对噪声的敏感问题，导致FCM 算法对熔池图像处理的结果精准度不高，在传统FCM 算法中添加了一种加权的邻域窗口和惩罚因子，并在此基础上用MS 算法改进，改进后的算法解决了传统FCM 算法对噪声的敏感问题，有效地克服了二保焊中产生的烟雾、飞溅等干扰，图像分割结果如图5 所示.

图5 熔池图像分割结果Fig.5 Image segmentation result of molten pool

从图5 的分割情况来看，熔池区域能够被完整地分割，且尾部区域能够被提取出，飞溅也可以被完全去除，为进一步观察分割效果需对分割后的图像进行边缘提取.这样才能获取熔池的边缘信息，紧接着获取熔池熔宽等几何特征信息

3.2 边缘提取

经过图像分割之后，通常可以采取canny 算子、sobel 算子和robert 算子对边缘进行提取，由于图像分割采取了改进算法，在图像分割后已经去除了绝大部分的噪声，因此，在边缘提取部分采用了canny 算子对熔池轮廓进行提取，提取结果如图6所示.

图6 边缘提取结果Fig.6 Edge extraction results

同时文中采用了传统FCM 算法和其他改进 后的FCM 算法的分割结果与文中的MS-FCM算法进行对比，结果如图7 所示，可以看出MSFCM 算法对熔池分割的精准度更高，能够较从烟雾中提取出熔池整体轮廓并消除飞溅，其鲁棒性更好.

图7 各算法提取结果对比Fig.7 Comparision of various methods.(a) original；(b) FCM;(c) FCM_S;(d) ENFCM;(e) FLICM;(f) MS-FCM

3.3 熔宽提取

进行边缘提取之后，采用Hough 变换分析法对图像中的熔池边缘筛选最小外接矩形，从而提取熔池的宽度信息，图像处理过程如图8 所示.

图8 图像处理过程Fig.8 Image processing process.(a) original image;(b) median filtering;(c) segmentation result;(d) edge extraction result;(e) Hough transform analysis;(f) edge coverage of the original image

提取的熔宽像素宽度和宽度对比曲线如表3和图9 所示.

表3 实际像素宽度与各算法像素宽度Table 3 Actual pixel width and algorithm pixel width

图9 测量像素宽度与实际像素宽度比较Fig.9 Comparison between measured pixel width and actual pixel width

根据表4 可以看出，MS-FCM 算法在所有图像上的误差不超过4%，其精度比其他所选用的算法相比较高，从图9 的曲线对比中可以更为直观地看出，MS-FCM 算法所提取的熔宽与实际值更为接近，精准度更高.

表4 不同算法的宽度误差Table 4 Width error of different algorithms

4 结论

(1)以船体结构GMAW 中常见的CO2气体保护焊作为研究对象，设计了一种熔池视觉传感复合减光−近红外窄带滤光系统，配合焊接专用CCD 摄像机搭建焊接试验平台使获取熔池图像较为清晰，且受电弧弧光干扰较小

(2)在FCM 算法中加入加权邻域窗口，提升了算法鲁棒性，并融入MS 算法以降低FCM 算法的噪音敏感性，使改进后的MS-FCM 算法能够克服烟雾、飞溅、弧光等噪声干扰，对熔池图像进行更准确地边缘检测和提取.

(3) MS-FCM 算法与其他4 种算法分别运用基于Hough 变换和经验知识提取出熔池边缘信息，计算出熔池的像素宽度与实际熔池宽度进行对比，结果表明，MS-FCM 算法所提取的熔宽精度更高，且提取的误差率不超过4%.