基于卷积神经网络的超声金属材料辨识

解邦鑫，刘昱，贺西平

(陕西师范大学物理学与信息技术学院陕西省超声重点实验室，陕西西安 710119)

0 引言

金属是工业生产生活中非常重要的原材料，被广泛应用于工业、农业、制造业、科技、国防等诸多领域[1]。不同金属材料由于其微观组织特征的不同，力学性能存在着巨大的差异。一些贵重金属的价格随着全球矿产资源的不断开采殆尽而水涨船高，在这种情况下，不法企业为了降低成本可能会使用合金替代或以次充好等手段，若无科学可靠的手段对其真伪进行识别，会使得生产生活蒙受巨大的损失。并且在一些贵重金属文物的防伪识别、军事装备的质量检查，以及精密仪器制作材料的纯度检测等应用中，尤其需要具备极高辨识能力的金属防伪辨识技术。

传统的金属材料的辨识方法有物理方法和化学方法[2]。物理方法包括感官辨识、断口辨识、磁粉检测(Magnetic Particle Testing,MT)辨识[3]、射线检测(Radiographic Testing,RT)射线辨识[4]、红外线检测等；化学方法包括火花辨识法、成分分析法、重量分析法、容量分析法、滴定分析法以及光谱分析法等。这些方法虽然也能在一定程度上实现金属材料的鉴别，但是大多为有损检测，会对被检测样品产生一定程度的损伤，而且检测成本较高，有的方法还会产生污染物，对检测人员健康造成危害，不宜推广。

随着无损检测技术的高速发展[5]，超声波凭借其快速、无损、直接、适用范围广等优点，在多晶材料的晶粒尺寸评估领域受到广泛研究[6]，可以利用声速、超声衰减系数和非线性系数等声学参数评估金属晶粒尺寸[7]。超声波与晶粒的密切关系引起了学者的关注，在超声辨识领域有学者利用超声衰减法[8]、频谱分析法、背向散射法[9]等方法对多晶材料进行了辨识。近年来，随着语音识别技术的兴起与信号处理方法的发展，机器学习算法、深度学习算法在信号辨识方面得到越来越广泛的应用[10]。

本文通过采集金属材料的超声回波时域信号，利用短时傅里叶变换(Short Time Fourier Transform,STFT)对其进行时频分析，得到包含金属材料微观组织信息的超声时频域频谱图。将该超声频谱图采用双线性插值法进行处理，并作为样本输入到搭建好的卷积神经网络中进行训练。结果表明，在此数据集上神经网络收敛较快，表现出优异的性能和识别准确率。训练完成的网络模型均记录着对应训练样本的特征信息，可作为数据库进行储存。然后使用训练好的网络对待测样本进行识别，最终可实现超声金属材料辨识。

1 超声金属材料辨识原理

超声波在多晶金属材料中传播时，会因其内部晶粒大小、形状及晶粒取向等微观组织特征的不同，导致声速、声衰减、声波背向散射等声学性质出现差异[11-13]。超声波对金属材料的微观晶粒差异十分敏感，相同的材料也会因晶粒状态的不同而接收到不同的超声信号。即使材质、加工工艺完全一致的金属材料，也可以利用其内部微观晶粒的尺寸和分布的无序性造成的超声回波的差异进行辨识。传统方式提取的特征通常为时域回波信号的峰值、衰减谱的相关系数以及幅度谱等特征量。利用这些特征量可以实现对样品的辨识。传统方式提取的特征量通常为回波信号在时域或频域的某一物理量或经处理表征的信号特征。例如峰值法提取时域信号的峰值和某几个次高峰出现的时刻、幅度作为特征信息，以此辨识各样品[14]；衰减谱法分别在时域和频域计算每个样品超声回波的衰减系数；欧氏距离法取不同样品间超声信号的加权欧氏距离为特征量并以此进行辨识[15]；小波包分解法通过对信号进行频域分解，提取出晶粒散射信号的频率特征来完成辨识[16]。

相较于传统方法，本文的研究以超声信号的时频谱作为特征量。时频谱将超声信号的时频域特征结合在同一谱图中，二维的时频分析相较于一维的时域、频域提高了一个维度，信息更加完整，加之利用深度学习反复提取谱图的整体特征，提取出的特征量与原样本更紧密，特征信息更完整，更能反映原样本的特征。在实验过程中曾直接用时域图和频域图分别训练网络，虽然仍可一定程度上实现金属辨识，但准确度低于时频谱图辨识的结果。因此最终选择时频谱图对卷积神经网络进行训练。本文使用超声相控阵系统采集金属样品的超声回波信号。利用惠更斯原理，可使相控阵探头晶片发射适合样本的声束并将回波信号接收保存，所采集的时域信号如图1所示。

图1 金属中传播的典型超声回波信号Fig.1 Typical ultrasonic echo signal propagating in metal material

超声相控阵所采集的回波信号为时域信号，采用短时傅里叶变换(STFT)可以对其进行时频分析。信号x(t)的短时傅里叶变换定义为

其中：h(t-τ)为分析窗函数。本文的分析对象含有多频率的未知信号，因此窗函数选取汉宁窗。短时傅里叶变换中乘以窗函数的操作等价于取信号x(t)在时间点t附近的一个切片，该切片代表着t时刻该信号的频谱。

通过短时傅里叶变换(STFT)，将一维的时域信号在二维平面上表现出来，提取出信号的时频特征，得到该信号的时频谱图，结果如图2所示。

图2 金属材料中超声回波信号相应的时频谱Fig.2 The corresponding spectrogram of the ultrasonic echo signal in metal material

经过短时傅里叶变换(STFT)得到的超声回波信号的频谱图携带着金属材料的微观组织信息。将JPG图片格式的时频谱图输入卷积神经网络进行训练实现特征提取，训练完成的网络记录着对应训练样本的特征信息。

在卷积神经网络中，对图像使用卷积核提取特征等价于为图像矩阵A寻找最合适的特征向量集，神经网络通过反向传播算法不断拟合一个能代表图像集一般特征的特征向量，也就是卷积核的值(这里求解的是参数矩阵)。得到该权重之后，再与原始图像矩阵相乘，得到相应的特征。

卷积神经网络通过卷积、池化等一系列操作，将图像的信息层层抽象，最终经过全连接层，将图像的特征信息抽象为一个一维向量。 然后通过最后的全连接层，将该向量投射到样本空间，通过Soft‐max函数使其转换为概率形式，实现样本的分类。

最后将待测样本输入到训练好的网络中进行分类，通过模型中的全连接层与softmax 函数，待测样本的特征向量被转换为概率，比较“是标准样本”与“不是标准样本”的概率大小，判别该样本是否为标准样本，实现分类。将分类结果与真实的样本类别进行对比即可实现金属材料的超声无损辨识。完整的金属辨识流程如图3所示。

图3 金属辨识过程流程图Fig.3 Flow chart of the metal identification process

2 卷积神经网络的架构设计

卷积神经网络(Convolutional Neural Networks,CNN)是一类特殊的人工神经网络，最主要的特点是卷积运算操作。与传统方法相比，卷积神经网络的优点在于可以自动提取目标特征，发现样本中的特征规律，解决了手动提取特征时会导致误差积累的问题，自动实现分类过程[17]。得益于此，CNN在诸多领域的应用特别是图像相关任务上表现出优异的性能[18]。

Alex-Net是计算机视觉领域中首个被广泛关注并使用的卷积神经网络，可以利用GPU 实现网络的训练，大大缩短了深度网络和大型网络模型开发研究的周期，降低了时间成本。并且网络引入的一些训练技巧使得网络的性能得到极大的提高。

在网络训练时，采用具有单侧抑制、稀疏激活特点的ReLU激活函数，增强了整个网络的表达能力，且在一定程度上缓解了网络的过拟合问题。ReLU函数的表达式为

同时在训练过程中使用局部响应规范化(Local Response Normalization,LRN)，规范处理相同空间位置上相邻深度的卷积结果，表达式为

其中：n为使用LRN的相邻深度卷积核的数目；N为该层所有卷积核数目；k、n、α、β等为超参数。

最后在网络的全连接层加入随机失活(dropout)的正则化方法，缓解了其他神经元对该神经元反向传导来的梯度信息的影响，降低了神经元之间的依赖程度，从而避免了网络过拟合现象的发生，卷积神经网络中单个神经元随机失活示意图如图4所示。

图4 卷积神经网络中单个神经元随机失活示意图Fig.4 Schematic diagram of random inactivation of individual neuron in CNN

Alex-Net 网络模型结构如图5所示。Alex-Net网络模型的输入数据格式为227×227×3大小的RGB图像。输入数据经过多次卷积、最大池化(Max Pool)、LRN 以及ReLU 激活之后，进入全连接层，在两次随机失活(dropout)操作之后，由一个1×1的卷积层对每个通道进行加权，对频谱图进行分类(本研究本质上为一个二分类问题，因此网络的输出类别数为2)，最终由交叉熵损失函数对网络的训练结果进行评估。

图5 Alex-Net网络结构示意图Fig.5 Structure diagram of Alex-Net network

3 实验与辨识

本文测试了大量的实验样本。测试流程为：首先使用超声相控阵，获取金属样本的超声回波时域信号，然后对时域信号进行短时傅里叶变换，得到包含金属样本微观组织特征信息的频谱图。将所得频谱图的尺寸使用双线性插值法进行调整后储存。在搭建好的网络中输入已处理的频谱图作为原始数据进行训练，采用基于动量的随机梯度下降法进行网络参数的训练与优化，最后实现对样本二分类(是标准样本或不是标准样本)的任务目标。

3.1 样本信号采集

本文实验所用仪器是型号为UT Studio 32/128的超声相控阵。该仪器探头的32 个晶片每一片都可以完成发射和接收超声的任务，可以在不改变探头位置的前提下，通过相关实验参数的设定，实现对样本的扫查，超声相控阵系统组成如图6所示。

图6 超声相控阵系统组成Fig.6 Composition of ultrasonic phased array system

以304 不锈钢材料为例，对三个材料均为304不锈钢的形状相同的金属容器，编号分别为A、B、C，实物如图7所示。在其不同位置处进行超声回波时域信号的采集。为使探头与样品之间耦合均匀且信号稳定，在探头上增加一金属配重，以保证每次测量时探头与待测样本间的压力保持一致，如图8所示。

图7 实验样品实物Fig.7 Photos of experimental samples

图8 信号采集Fig.8 Acquisition of signals

本文实验使用的取样方式均为垂直入射线扫，实验参数设置如表1所示。

表1 实验参数设置Table 1 Experimental parameter setting

可在样品上取某个或某几个点进行信号采集，均可实现材料的超声辨识。本文在3个样品上分别确定了1个采样点。以样品A为目标样品，对其采集55次信号。样品B、C为干扰样品，并分别对其采集25次信号。每次采集时发射并接收100次超声信号作为一组数据，得到105组实验数据，共计10 500个超声回波时域信号，将数据进行储存并以表2所示的构成关系组成训练集和测试集。

表2 训练集和测试集的构成Table 2 Composition of train set and test set

对每个超声回波时域信号进行短时傅里叶变换(STFT)，得到该信号的频谱图。将频谱图输出为JPG格式的RGB图片。选取其中9 000张频谱图组成训练集，其中5 000 张样品A的频谱图作为标准样本，2 000张样品B和2 000张样品C的频谱图为干扰样本。将剩余的各500 张样品A、样品B和样品C的频谱图组成测试集并储存。

3.2 网络训练

为了方便网络可以在图形处理器(Graphics Pro‐cessing Unit,GPU)上进行训练，在进行训练之前，使用双线性插值法将原始大小为875×656×3的频谱图调整为227×227×3。

本文使用Matlab 2020a 的Deep Learning Tool‐box进行网络的训练。训练时使用的计算机操作系统为Windows 10 系统，内存大小为16 GB，CPU型号为Intel(R)Core(TM)i7-9750H，GPU 型号为NVDIA GeForce GTX 1660Ti，显存大小为6 GB。

网络优化算法采用经典的动量随机梯度下降法，学习率随着训练轮次逐渐递减。网络训练超参数设置如表3所示。

表3 网络训练参数设置Table 3 Network training parameter setting

模型训练过程中损失函数及辨识准确率的变化分别如图9、10所示，可以看出在此训练集上，Alex-Net 网络模型训练精度最终稳定在1.0，损失函数值趋近于0，在200次迭代时收敛，迭代3 000次平均用时419 s，在训练集上表现出了优异的性能。

图9 Alex-Net模型训练过程中损失函数的变化Fig.9 Loss function change in the Alex-Net model training process

图10 Alex-Net模型训练过程中辨识准确率的变化Fig.10 Identification accuracy change in the Alex-Net model training process

3.3 金属材料辨识

将上文所述已存储的测试集输入到已经训练好的Alex-Net网络模型中进行辨识。网络模型准确地将样品A 的测试集辨识为目标样品，将样品B、C辨识为干扰样品，辨识准确率为100%。可见，Alex-Net网络模型在测试集上也表现出了优异的性能。通过卷积神经网络对频谱图进行特征提取，从而实现金属材料辨识的方法是可行的。

在此基础上，本文选取了图11所示的尺寸一致、材料均为3Cr13但热处理温度不同的4个金属样品，分别标号为D(经259℃热处理)、E(经555℃热处理)、F(经852℃热处理)和G(经970℃热处理)。

图11 不同温度热处理后的金属样本Fig.11 Metal samples after heat treatment at different temperatures

将这4 个样品按照前文的方法进行了辨识实验，且让每个样本依次作为标准样本，结果表明每个样品都以100%的准确率完成了辨识。图12为样品D、E、F、G的时频谱图，卷积核从计算机视角可对谱图的像素矩阵进行特征提取，最终完成对每个样品的辨识。

图12 不同温度热处理的金属样本时频谱图Fig.12 Spectrograms of metal samples after heat treatment at different temperatures

随后取3个材料和尺寸与样本D完全相同、但从未参与过网络训练的金属样本如图13所示。将其编号为H、I、J并分别采集超声信号，然后导入以样本D为标准的卷积神经网络进行辨识。辨识结果表明，样本H、I、J均被辨识为干扰样本，说明此神经网络具有一定的泛化性。在研究期间使用该网络对材料为1Cr17Ni2、2Cr13、3Cr13 和5052 铝的26 个外形尺寸完全相同的金属样品试块进行了泛化性实验，均可准确辨识出目标样品。因辨识过程和结果与上文类似且图片占用篇幅较大，故未详细呈现所有样品的辨识过程。

4 分析与讨论

为探究此方法是否依赖于特定网络结构，搭建了不同结构的网络模型。在本研究中，搭建了经典的LeNet-5网络模型与VGG网络模型进行训练与辨识，其结果如表4所示。三种网络模型均在测试集上完美实现了金属材料的辨识，此方法并不依赖于特定的网络结构。

表4 三种网络模型辨识性能比较Table 4 Comparison of identification performances of three network models

通过比较发现，三种网络模型在测试集上的识别准确率均为100%。观察输入图片尺寸发现，LeNet-5 模型的输入图片大小仅有28×28×3，包含的信息过少，存在因信息丢失过多而使得训练失败的隐患；相比之下Alex-Net 模型与VGG 模型输入图片大小适中，保留了足够多的信息保证训练的有效性，在这一点上Alex-Net模型表现最优。观察训练用时发现，VGG 模型用时远远大于另外两种模型，这是由于随着网络深度(网络结构层数)的增加而使得所需训练参数急剧增多所致，在这一点上LeNet-5 模型表现最优。观察网络训练达到稳定所需次数发现，Alex-Net模型在200次训练之后便已经稳定，而另外两种模型达到稳定所需训练次数分别为300次与800次。以上结果说明针对本文的辨识任务，Alex-Net模型表现最优，是最合适的网络结构。综合以上分析，Alex-Net模型兼顾了信息的完整度与训练时长的优势，网络结构较为简单，而且网络达到稳定时所需迭代次数最少，在此任务下，综合性能最优。

5 结论

传统的金属材料的辨识方法会对被检测样品产生一定程度的损伤。课题组提出的新型超声辨识方法具有无损、直接、快速、适用范围广等诸多优点。

本文对现有的超声金属材料辨识方法进行了简单回顾，在此基础上提出了采用卷积神经网络进行特征提取，从而实现金属材料辨识的新方法。通过实验采集了多个金属材料样本的超声回波时域信号，并对其进行短时傅里叶变换，得到了包含金属材料的微观组织信息的时频谱图，将一维的时域信号在二维平面上表现出来，以提取出信号的时频特征，直观展现了各个时刻的瞬时频率及幅度。并且通过双线性插值法对频谱图进行处理，得到适合后续实验所需尺寸大小的频谱图。

使用Matlab软件搭建了三种卷积神经网络模型实现金属材料的辨识。对三种网络模型的对比分析，发现Alex-Net模型兼顾了辨识准确率高与训练时间短的优势，在一定程度上促进了超声应用技术的进步。本文的研究验证了深度学习算法在超声金属辨识方面应用的可行性，并证明不同的网络模型的性能存在较大差异。在本文的研究基础上，后续可以通过智能算法，搭建针对本研究的最优网络模型，进一步提高超声金属材料辨识的性能。