基于区域特征脉冲耦合神经网络的航空发动机涡轮叶片DR 图像融合

宋艳艳，朱 倩，朱建伟，穆晨光

（1.中国航发上海商用航空发动机制造有限责任公司，上海201100；2.南昌航空大学无损检测教育部重点实验室，南昌330063）

引 言

航空发动机涡轮叶片质量检测的主要方法是数字射线成像（Digital radiography，DR）［1］。涡轮叶片形状复杂，在射线透照方向上的等效厚度差异比较大，对于动态范围有限的X 射线平板探测器来说，高射线能量使工件较厚部分的细节信息能够清晰地分辨，工件较薄部分灰度值接近于饱和，无法分辨当中的细节；射线能量较低时，工件较薄的部分正常曝光，细节清晰，工件较厚部分则显示过暗，无法分辨细节。因此对于涡轮叶片，常规的固定能量的成像模式无法在单一电压下使得整个部件同时正常成像，在同一幅DR 图像当中容易出现过曝光与曝光不足共存的现象，造成被检测对象的结构信息缺失。某典型叶片不同能量下的DR 图像如图1 所示，图1（a）显示在较低能量透照下叶身较薄，右侧前端较薄部分可以显示细节，左侧较厚部分不能显示细节；图1（b）显示在较高能量透照条件下，叶身部分和部分叶榫内部能显示细节，但叶身左侧部分边缘过曝光完全饱和，出现部分结构消失。为解决此问题出现了变能量DR 成像技术［2］，它是获取递变能量图像序列，通过图像融合技术获取被检对象完整结构信息的方法。

图像融合是最大限度提取多幅图像的有利信息，综合成一幅高质量图像的过程，融合后的图像较融合前的图像含有更多的有用信息。将图像融合技术应用到DR 图像中，会得到具有融合前图像共同特征的融合图像，增加了信息量，极大地方便观察人员的评定，降低了工作量。

目前，基于变换域的图像融合算法大量涌现，在复杂件的数字射线检测领域也有应用［3］，其中较多的有小波变换［4］、Contourlet 变换［5］等以及在此基础上改进的一些变换。Contourlet 变换可以很好捕捉到源图像的边缘信息，但不具备平移不变性，易在奇异点处产生伪吉布斯现象，因此Cunha 等［6］提出了平移不变的非下采样Contourlet 变换（Non-subsampled contourlet transform，NSCT），消除了轮廓波变换过程中出现的频谱混叠现象。蔡志芳等［7］将NSCT 与空间域融合方法结合，对亮度分量进行融合，可以降低运算复杂度且弥补了传统方法在细节表现力上的不足。

图像融合技术中，高低频的融合准则至关重要，传统的融合准则主要有绝对值取大［8］、加权平均［9］和区域梯度［10］等，这些融合准则可以达到图像融合的目标，但分析不够全面，易丢失重要细节信息，并且较少考虑邻域及其周边因素的影响，导致融合效果不是很理想。脉冲耦合神经网络（Pulse coupled neural network，PCNN）［11-13］符合人类视觉系统神经元运行机制，具备全局耦合性和脉冲同步性，在图像融合领域的研究方向有：（1）PCNN 模型的理论研究，Kinser［14］提出的PCNN 简化模型在保持原模型重要特性的基础上减少了模型参数，适用于图像处理应用要求；（2）PCNN 模型参数的自适应设置，考虑到人眼视觉神经系统对不同特征区域响应程度存在差异，PCNN 模型的参数不应该设置为定值［15］。对此，许多学者直接采用改进的拉普拉斯能量和（Sum modified Laplacian，SML）［16］、改进空间频率［17］或子带系数［18］设置外部激励和连接强度，这些方法在各评价指标上均有提高，但没有考虑低频和高频子带包含源图像的不同特性，不能完整地反映出图像的方向特性。

图1 某型叶片不同能量下DR 图像Fig.1 DR images of a certain type of blade under different energy

针对上述问题，本文研究涡轮叶片DR 图像在NSCT 变换下，根据图像的全局特征和子带图像的不同区域特性来调整PCNN 模型的重要参数，以改进空间频率（Modified spatial frequency，MSF）自适应调整连接强度，低频子带采用区域均方差、高频子带采用SML 调整外部激励方法，提出一种包含源图像信息丰富、边缘及纹理清晰，适用于复杂结构件DR 图像的融合算法。

1 变能量涡轮叶片DR 图像融合基本原理

经典的基于变换域的图像融合算法虽然已取得很好的效果，但在细节处理、信息冗余等方面仍有所欠缺，针对DR 图像的融合，充分利用NSCT 和PCNN 技术优点进行融合策略设计，以期得到纹理细节更加丰富、清晰度更高的融合图像。

1.1 NSCT 原理

NSCT 是一种完全平移不变的Contourlet 变换形式，它不仅具有多尺度、良好的空域和频域局部特性和方向特性外，还去除了下采样过程，所以具有平移不变特性。Coutourlet 变换是利用类似轮廓段的基结构来逼近图像，它在Laplacian 塔式变换（LP）实现多尺度分解基础上，利用方向滤波器组实现多方向分解，将分布在相同方向上的不连续点连接成周线结构，最终以类似于周线结构来逼近原图像，变换过程如图2 所示。

图2 NSCT 变换示意图Fig.2 Schematic diagram of NSCT transformation

NSCT 基本结构分为非下采样金字塔（Non-subsampled pyramid，NSP）分解和非下采样方向滤波器组（Non-subsampled directional filter bank，NSDFB）两部分，前者实现多尺度分解，后者实现多方向分解。NSCT 分解后，得到低频子带图像和多层高频子带图像，利用融合后的高低频子带进行NSCT 重构得到融合图像。

1.2 脉冲耦合神经网络

PCNN 是脉冲耦合神经元横向连接的二维网络，每个神经元对应一个特定的像素，其受到周围神经元的影响。PCNN 基本组成单元分为3 部分：接收域、耦合调制域和脉冲产生器［19］。每个神经元的点火输出具有点火和不点火两种状态，图3 为单个神经元的简化模型。

图3 PCNN 单个神经元结构模型Fig.3 PCNN single neuron structure model

对于（i，j）位置的神经元，在时刻n 受到外界刺激信息Sij和邻域k×l（连接范围）内其他神经元n-1时刻的脉冲信息｛Ykl｝影响后，其反馈输入Fij、线性连接输入Lij、内部活动项Uij、脉冲发生器中输出Yij和膜电位动态阈值θij的离散数学表达式分别为

式中：Sij为外部输入激励，n 为迭代次数，Wijkl为Lij中{Yij}的加权系数；VL、Vθ分别为连接放大系数和阈值函数的放大系数；αL、αθ分别为连接输入和变阈值函数的衰减时间常数；β 为连接强度；当Uij超过阈值时，产生脉冲输出Yij，Yij也会被记录下来对脉冲发生器的阈值进行调节，来影响下一次的信号是否能超过阈值从而输出；θij随着该神经元输出状态而变化［20］。PCNN 神经元接收到输入信号后根据上述原理判定并输出点火情况，每个（i，j）位置的神经元在n 次迭代后将点火总次数统计输出形成点火映射图，表达式为

将图像的单个像素灰度值输入神经元，设置连接输入和外部输入激励（所求解的区域特征），经过域映射后进行阈值判别，每进行一次阈值判别后阈值会进行动态调整进行下次判别，点火图是统计像素点超过阈值的次数，超过阈值次数越多的点表明此像素点越活跃，边缘和纹理信息的多少与点火次数正相关，因此用原图像之间点火图的判决遵循取大原则，可以最大限度保留源图像的信息。最终输出总点火映射图。

2 变能量叶片DR 图像融合规则

变能量图像序列采集实验条件为FOMR225.030RT 微焦点X 射线源、XRpad2 4336HWC 平板探测器。保持叶片位置不变，射线机管电压从90 kV 依次以5 kV 的步进从小到大递增至210 kV，管电流设置为1 mA，积分时间设置为1 500 ms，获得了28 张叶片DR 图像（图像编号分别为1～28，大小均为1 024 像素×1 024 像素）作为待融合的源图像，部分图像如图4 所示。

图4 涡轮叶片DR 图像Fig.4 DR images of turbine blade

2.1 融合原理与步骤

根据图像低频子带和高频子带的特性，采用点火图取大原则进行处理，结合PCNN 模型的特点得到最终的融合图像，主要流程如图5 所示。

（1）实验中n=28，对源图像进行NSCT 分解，使用4 级LP 分解，每张源图像分别获得一个低频子带和多个尺度下的高频子带（其中1 级分解2 张，2 级分解4 张，3 级分解8 张，4 级分解16 张）。每个尺度上的方向数分别为l（j）。以两张叶片源图像A 和B 为例，源图像的分解过程表示为

式中：aJ表示低频子带；bj为尺度j上的方向子带集合；dj·k为尺度j上第k个方向的高频子带。每张原图像对应的低频子带中有1 张图像，高频子带中有30 张图像。最终共得到28 张低频子带图像，840 张高频子带图像。

（2）对于分解后的低频子带和所有高频子带，设置各个子带对应连接范围、加权系数和连接强度，以及低频、高频子带的外部激励。

将PCNN 按照式（1～5）迭代运行，直至每个神经元都被激活，然后统计出各子带特征的点火次数获得点火映射图。对融合子带进行NSCT 逆变换，即重构出融合图像F。

2.2 连接强度

人类视觉系统特性对单个像素的灰度取值并不敏感，图像清晰与否是由区域内像素共同体现的，PCNN 神经元的连接强度也应该与图像的边缘细节信息有关。空间频率是局部邻域区域的一个显著特征，并且能反映图像的边界特征，通常只表述为水平与垂直两个方向FR和FC，文献［21］增加两个对角方向FMD和FSD的梯度能量，为了突出方向特征，提取更多细节信息，使得图像特征信息的提取更为全面，提出式（14）采用方向特征最显著的梯度信息来调整连接强度。

式中：M 和N 为子带图像尺寸，A（i，j）为（i，j）处的子带系数值；FR、FC、FMD、FSD分别表示行频率、列频率、主对角频率和副对角频率。

2.3 低频子带融合规则

低频子带包含源图像的近似面貌和大部分信息，是图像总体轮廓的体现。PCNN 输入激励一般为图像的单个像素点，其无法充分体现源图像的特征信息。局部区域内的多个像素之间存在相关性，基于区域的融合规则能更好体现出图像局部特征。采用均方差指导融合可以保留和增强图像结构信息，因此，针对低频子带，将区域均方差作为PCNN 的输入激励。将低频子带aJ进行子块划分，窗口大小取3×3。分割成独立的正方形子块aJ(m，n)，随后计算当前子块的区域均方差

经NCST 分解，将像素灰度值输入PCNN 中，得到的部分低频子带图像及对应的点火图如图6所示。

2.4 高频子带融合规则

高频子带集中了边缘和纹理等细节信息，分布呈现出方向特性。考虑到DR 图像中细节信息尤为重要，以改进的拉普拉斯能量和来设置外部激励。传统的SML 算法只在水平和垂直方向上计算每个像素点的变步长拉普拉斯算子值，而改进算法是在水平、垂直和斜对角线共8 个方向上计算每个像素点的变步长拉普拉斯算子值，增加了斜对角线上4 个方向。8 个方向中，距离中心像素点越近，对ML（i，j）贡献更大。因此，设定水平和垂直方向对ML（i，j）的贡献权值为1，斜对角线距离中心像素点比水平和垂直方向更远，对ML（i，j）贡献权值设置为0.7，如式（17）所示。

图6 低频图像及对应的点火映射图Fig.6 Low frequency images and fire mapping images

式中：SML为改进的拉普拉斯能量和；A（i，j）为（i，j）处的系数值，测度窗口大小取3×3。

高频子图细节信息目视显示不明显，经过范围扩展可看到细节信息。第2 层部分高频图与对应的点火映射图如图7 所示。

图7 第2 层高频子图及点火映射图Fig.7 High frequency sub-graphs and fire mapping images in the second layer

3 实验结果与分析

3.1 融合结果比较

为验证算法的有效性，图8 给出了各方法DR 图像融合结果。其中，图8（a）为本文算法，图8（b）为文献［7］所提方法，选取像素值大的高频系数作为融合后的高频系数，记作NSCT；图8（c～e）分别为文献［16-18］所提方法。文献［16］算法低频融合规则为SML取大，以SML作为高频外部激励，文献［17］算法以SML作为低频外部激励，MSF 作为高频外部激励，平均梯度作为连接强度；文献［18］算法低频部分采用区域能量加权，带通子带系数作为外部激励，空间频率作为连接强度。图8（f）为采用传统经典空间频率作为连接强度，外部激励与本文一致的融合算法。NSCT 尺度分解均为4 层。

图8 不同方法的融合结果Fig.8 Fusion results of different methods

3.2 主观评价

观察图8 可以发现，图8（a）与图8（c）、图8（d）都可以比较完整地看到叶片全貌，内部线状结构呈连续状态，但图8（c）、图8（d）整体亮度偏低，对比度差，视觉效果略差，图8（c）中存在叶身部分结构信息缺失的现象，图8（a）质量更高，不仅亮度有所提高，且无伪影，纹理更加明显，可以分析出，直接以SML作为高低频融合的外部激励效果较差，没有考虑到高低频的不同特点，本文算法采用的区域特征相较于文献［17］的区域特征更优；图8（b）融合结果分辨率较差，叶榫部分出现纵横交叉纹理，与真实结构偏差较大，PCNN 相较于其他NSCT 域内的融合规则更优；图8（e）结果可以观察到尽管较为完整地保存了源图像外围结构信息，但叶身内部结构信息没有完全表现出来，存在部分结构缺失的问题，采用带通子带系数相比于改进的拉普拉斯能量和作为外部激励的效果较差；图8（f）质量效果较好，但整体亮度稍微低于本文算法，且其边缘细节显示略差于本文算法，综合来看，本文提出的低频子带采用区域均方差、高频子带采用SML调整外部激励算法图像融合，在主观视觉上更优。

3.3 客观评价

由于主观评价很难区分融合图像之间的细微差别，为保证结论具有客观性和说服力，用5 个客观指标进行对比分析：平均梯度（Average gradient，AVG）、标准差（Standard deviation，STD）、信息熵（Entropy，EN）、空间频率（Spatial frequency，SF）和对比度（Contrast ratio，CR）。其中，AVG 是一幅图像的梯度图上所有点的均值，它反映了图像中的微小细节反差和纹理变化特征，同时也能反映出图像的清晰度，一般来说平均梯度越大，图像层次也就越丰富，变化就越多，图像越清晰；STD 指的是图像像素灰度值相对于均值的离散程度，标准差越大，表明图像中灰度级别越分散，视觉效果较好；EN 反映了图像中平均信息量的多少，图像中的信息熵越大，说明图像包含的信息越多，证明融合图像的质量越好；SF 反映了一幅图像空间的总体活跃程度；CR 是视觉效果的影响非常关键，CR 越大表示图像越清晰，图像更丰富。实验所获得的融合图像性能指标如表1 所示。

表1 融合图像评价指标Table 1 Fusion image evaluation index

从表1 中可以看出，本文方法在EN、AVG、STD、CR 方面优于其他方法，SF 处于较高水平，较高的空间频率表明了融合质量较高；标准差和平均梯度越高，图像对边缘细节的保持能力就越好，融合后的图像可利用的有用信息也就越多。总体来说，本文方法融合后的图像对图像的边缘细节信息的保持能力更强，在融合过程中损失信息更少，融合效果最优，结论与主观评价一致。

4 算法验证

为验证算法相比于其他同类型采用不同激励的优势，对不同类型的2 号叶片进行同样实验和融合步骤，管电压从90 kV 依次以10 kV 的步进从小到大递增至240 kV，管电流设置为5 mA，积分时间设置为500 ms，获得16 张待融合叶片DR 图像，采用同类型不同激励的算法对2 号叶片进行DR 图像融合，结果如图9 所示。

图9（c）融合结果与图9（a）主观视觉差别不大，但细节部分更加粗糙，下半部分可以看到明显的阶梯状，分析其原因是可能算法中没有进行灰度阶平滑处理。图9（a）相较于图9（e）来说，叶片榫头部分更加明亮，其纹理更加清晰，图9（b）与图9（d）出现严重的信息丢失现象，叶片下半部分结构信息已经消失，无法获得叶片真实反映。

在表2 中，本文方法在EN、AVG、STD、CR 方面的优势与表1 类似，2 号叶片源图像融合后的信息熵、标准差、对比度、平均梯度都比其他方法显示出了明显的优势，说明了融合后的图像对图像的边缘细节信息的保持能力更强，在融合过程中损失信息更少，与图9 得到的主观分析结论相呼应，进一步说明了本文方法融合后图像的可用信息更多，能够更加全面地表现出叶片内部复杂结构信息，证明了本文算法在大厚度比工件的DR 图像融合中具有适用性。

图9 2 号叶片融合结果Fig.9 Fusion result of No.2 blade

表2 2 号叶片融合图像评价表Table 2 Evaluation table of No.2 blade fusion image

5 结束语

本文针对航空发动机叶片DR 图像，经NSCT 变换分解后，根据低频和高频子带特性的不同，提出了基于PCNN 的融合算法，可以更好地模拟人眼视觉神经系统观察图像边缘、纹理等细节，得到的融合图像纹理清晰，很好地保留了源图像的特征信息，主观视觉效果佳；在客观指标EN、STD、AVG、CR 方面有优势，该算法为叶片等大厚度比复杂结构件多能DR 图像序列融合提供了一种新的思路。基于PCNN 神经元结构模型输入参数较多，如何采用优化算法，选择这些参数的具体数值以及它们对最终融合结果的影响，是值得深入研究的方向。