基于格拉姆角场和卷积神经网络的斜拉索损伤识别研究

李延强, 韩家浩

(石家庄铁道大学 工程力学系,河北 石家庄 050043)

斜拉桥因其跨越能力大、建筑高度小、结构受力合理、外形美观等优点而备受青睐,而斜拉索是斜拉桥最为重要的受力构件之一,其安全性也越来越受到人们的重视。但同时斜拉索也是最易损伤的构件之一,因此能够及时发现斜拉索的损伤具有十分重要的意义。

斜拉索损伤识别技术现阶段主要有3种:基于静力方法[1]、基于动力方法[2-3]和基于人工智能方法[4-7]。基于静力方法的结构损伤识别技术测试时间长、工序较为复杂、测试得到的参数较少、经济性较差;基于动力方法的斜拉索损伤识别技术相关学科发展不完善、技术要求高、应用场景少。近些年人工智能发展迅速,传统指标与智能算法结合将会是斜拉索损伤识别技术发展的方向,其中深度学习技术最受关注。

在众多深度学习算法中,卷积神经网络(CNN)发展最快、应用最广而且技术已经相对成熟。熊炘等[8]对于一维卷积神经网络(1DCNN)进行改进并成功运用于齿轮箱的损伤识别;ABDELJABER et al[9]以结构振动信号作为特征输入到1DCNN中,实现了损伤识别的功能。因为损伤识别需要的原始信号多是一维时间序列,所以以上模型都是基于1DCNN建立的,但是由于CNN本身的特性就决定了其更适合处理二维数据,因此将原始时序信号转换成为能表征损伤状态的二维图形可以更加充分地发挥CNN的性能[10]。

时间序列分类和图像分类有很多相似之处,其本质都是从数据之中提取特征,然后再根据提取到的特征进行分类。正是由于这些相似性,使得将时间序列转换成为二维图像成为可能。张弘斌等[11]采用连续小波变换提取信号的时频特征构建二维图像。HOANG et al[12]对信号的振幅进行了归一化处理,将处理后的振幅作为相应图像中的像素值。这些方法虽然都成功将一维信号转换成为了二维图像,但是也存在着一些缺陷:转换成的二维图像多是灰度图,包含信息较少;转换技术复杂,工作量巨大;不能很好地保留信号对时间的依赖性。格拉姆角场(GAF)图像编码技术[13]就可以克服这些缺陷,但目前尚未有文献报道此种技术应用于斜拉索损伤研究中。

鉴于此,提出了一种基于GAF图像编码技术和CNN(GAF-CNN)的斜拉索损伤识别方法。利用GAF方法将斜拉索加速度信号转换为二维彩色图像,构建斜拉索信号的GAF图像库,通过迁移学习作为CNN网络输入,构建适用于斜拉索损伤识别的GAF-CNN网络,实现斜拉索的损伤识别。

1 GAF图像编码技术

GAF是利用坐标变化和格拉姆矩阵,实现将时间序列变化成为二维图像的一种图像编码技术,能够最大程度地保留给定信号的时序特征。斜拉索的加速度响应是典型的一维时间序列,通常在直角坐标系下,其横轴表示时间,纵坐标则代表了每一个时间点所对应的加速度大小。通过GAF将加速度响应转换为图形数据,实现过程如下:

步骤1,假定传感器采集加速度数据为X={x1,x2,x3,…,xn-1,xn},按照式(1)将其进行归一化处理并缩放至[-1,1]。

(1)

步骤2,将步骤1中缩放后的加速度时间序列转换成为极坐标。在极坐标上进行编码,将缩放之后的加速度值用角余弦进行编码,值在[0,π]之间。将其对应的时间戳编码成为半径,公式为

(2)

式中,ti为xi对应的时间戳;M为归一化因子。

步骤3,对格拉姆角场进行定义,基于不同的算式可以生成2种不同的图像,分别是格拉姆角和场(Gramian Angular Summation Field, GASF)和格拉姆角差场(Gramian Angular Difference Field, GADF),其表达式分别为式(3)和式(4)。由2个公式可知,随着时间的增加位置从左上角一直运动到右下角,所以时间维度就通过GAF编码到了矩阵的几何结构中,从而实现了从一维时间序列数据到二维彩色图像的高精度转换。

(3)

(4)

图1 GAF映射说明

为了进一步说明GAF编码过程,以图1为例进行说明。在某斜拉索加速度时程波形中存在着3个较为明显的波峰,其中第1个波峰要小于后两者。在转化后的二维图像中,同样出现了3个交叉特征,波峰较小的颜色也更浅,从左上角到右下角与加速度时程波形一一对应,说明加速度信号通过GADF和GASF转化后的二维图像相应位置处以点、线、颜色等不同的特征形式进行了完整映射。

2 面向斜拉索损伤识别的二维CNN构建

2.1 残差网络

图2 残差块示意图

为了解决网络退化问题,有学者提出了深度残差网络(ResNet)[14]。ResNet与普通直连神经网络的区别就在于多了残差块,这也是它解决退化问题的关键所在,其结构示意图如图2所示。当特征x输入到残差块中,进行复制,其中一个输入到参数网络层中,输出结果为F(x);另一个作为分支结构(也被称为捷径),依然输出x,最后将两者进行叠加,即F(x)+x,再通过激活函数最终输出H(x)。输入x期望输出H(x),普通直连神经网络的学习目标是F(x)=H(x);而残差网络的学习目标则变成了F(x)=H(x)-x,即残差。残差块存在捷径连接,使得某一层的输出可以跨越几层作为后面某一层的输入,改变了传统网络只能一层一层传递的情况,因此可以大大加深网络的层数。

采用原始的ResNet34网络架构,并结合迁移学习的方式对网络进行改造。

2.2 迁移学习

在深度学习的训练中,数据集的数量与质量往往决定了网络模型的准确性与可靠性。通常斜拉索加速度数据集较小,这就导致建立的深度残差网络模型识别率较低、泛化性较差。为了解决这个问题,引入迁移学习的方式。迁移学习是一种机器学习技术,它利用在一个任务上学到的知识来帮助另一个任务。这种技术可以加速学习过程,避免数据稀缺的问题,并提高模型的准确性。

ImageNet是一个大规模的图像数据库,其中包含超过1 400万张图像,被广泛用于图像分类的训练和评估。针对由斜拉索加速度转换的GAF数据集的分类识别任务,虽然它与ImageNet数据集的内容并不相同,但是图像的颜色、纹理等底层特征是相通的。因此可以将由ImageNet项目训练得到ResNet模型看做一个通用的图形特征提取器,把提取到的图像底层特征作为网络的初始化参数迁移到斜拉索损伤识别任务中去,使得即使在斜拉索加速度数据较少的情况下也能训练出高质量的斜拉索损伤识别模型。

首先,基于斜拉索精细模型得到加速度数据,经过GAF转换得到GAF数据集;然后,利用在ImageNet数据集中预训练的ResNet34网络模型学习到的图像底层特征,对除全连接层以外的结构进行冻结,迁移到新的网络中作为初始化参数,输入GAF数据集进行训练;最后,将全连接层的输出改为训练集中的类别数,并采用Softmax激活函数将神经网络的输出转换为概率分布,选择具有最高概率的类别作为预测结果。斜拉索损伤识别改进ResNet34迁移学习模型框架如图3所示。

图3 模型框架图

图4 损伤识别方法流程图

2.3 基于GAF-CNN的斜拉索损伤识别方法

基于GAF-CNN进行斜拉索疲劳损伤识别时,其具体流程主要分为4个步骤:加速度响应的获取以及预处理;GAF数据集的建立与划分;模型的构建与训练;识别结果的分析,具体流程如图4所示。

(1)加速度响应的获取以及预处理。根据建立的斜拉索精细模型,通过修改材料弹性模量的方法来考虑损伤材料的渐进劣化特性。根据应变等效原则,材料损伤前后的弹性模量关系如式(5)所示,改变斜拉索不同钢丝的弹性模量,以此来模拟斜拉索不同的损伤位置,通过改变弹性模量的大小来模拟不同的损伤程度。得到加速度数据,对其进行预处理,取其倒数以此来增加不同工况下的差距,便于更好地识别。

E′=E0(1-D)

(5)

式中,E′为损伤之后的材料弹性模量;E0为材料的初始弹性模量;D为损伤度。

(2)GAF数据集的建立与划分。对于同一损伤工况的加速度数据通过GAF转换成GADF和GASF 2种不同的图像。为了增加数据集的复杂性和多样性,采用滑动窗口采样的方式将每一工况下的加速度信号分为147组,经GAF转化后得到分辨率为512×512的GADF和GASF加速度信号时序图像,按照5∶1∶1的比例分为训练集、验证集以及测试集。

(3)模型的构建与训练。通过迁移学习的方法,在深度学习框架Pythorch平台上构建了适用于斜拉索损伤识别的ResNet34模型,将训练集和验证集进行随机裁剪、角度调整和镜像等预处理成为224×224,RGB三通道的图像,将当批训练样数设置为16,训练周期设置为150次,对模型进行训练以及验证,并通过调整学习率等参数对网络进行优化,直至达到良好的识别效果。

(4)识别结果的分析。将测试集输入搭配已经训练好的网络中进行测试,通过各个工况的识别准确率并分析损失值的变化来判断网络的好坏,验证此方法的可行性与有效性。

3 数值仿真

3.1 工程背景

以某矮塔斜拉桥作为工程背景,该桥跨径为(118.1+224+118.1)m。斜拉索采用平行钢绞线索,结构示意图如图5所示。

图5 平行钢绞线索结构示意图

但是由于张拉顺序的不同,各根钢绞线之间也会存在着索力误差,基于此,建立了更为精细的斜拉索模型,建立了斜拉索中的各根钢丝并考虑了索力不均匀的现象。模型两端采用全部固结的约束方式,采用运动耦合的方式模拟各根钢丝之间的接触状态。精细模型如图6所示,模型验证参见文献[15]。经瞬态分析得到其加速度数据,如图7所示,以此为依据进行斜拉索的损伤识别。

图6 斜拉索精细模型示意图

图7 加速度响应图

3.2 识别结果分析

结合对损伤位置与损伤程度的识别,一共设置了9个工况,如表1所示。模型训练周期设置为150次,优化算法采用Adam算法。加速度时程数据经GAF转化后成为GADF和GASF 2种样本,进行分别训练。网络训练完成后,将测试集输入到网络中去,测试网络的准确性。识别结果如图8和图9所示。

表1 损伤工况设置和数据集划分

图8 GASF和GADF混淆矩阵

图9 验证集的准确率与损失值变化图

从识别结果来看,ResNet34模型在GADF和GASF 2种编码方式下都取得了良好的准确率,但是基于GADF的ResNet34模型具有更好的非线性拟合能力,当所训练样本有限时,训练受到局部最优值的影响小,相较于基于GASF的ResNet34模型有更高的识别精度;两者收敛速度相当,在进行到第20轮迭代时就基本收敛完毕,网络具有良好的性能。

3.3 噪声的影响

在数据采集中不可避免有环境噪声的影响,通常对输入的原始数据通过增添噪声的方式来模拟环境噪声对加速度响应数据的影响。在不同噪声水平下检验网络以此强化网络的学习能力,并检验网络的抗噪性能是非常有必要的。根据应用场景的不同,选取了高斯噪声与椒盐噪声2种不同类型的噪声,研究其对网络识别效果的影响。

图10 噪声对识别结果准确率的影响

根据之前的研究,选择了GADF编码方式,传感器位置布置在斜拉索中间位置,损伤工况设置和数据集划分依旧如表1所示,2种噪声,噪声水平都设置为5%、10%、15%、20% 4个水平。识别准确率随2种噪声水平的变化如图10所示。

由图10可知,随着噪声水平的提高,网络的识别准确性在下降,当噪声达到20%时,椒盐噪声的识别准确率能达到94.71%,高斯噪声也能达到92.59%,识别准确率仍在90%以上,保持着较高的准确率,说明网络具有一定的抗噪性能。当噪声水平处于较低水平时,椒盐噪声造成的影响要略大于高斯噪声;而随着噪声水平的提高,高斯噪声识别准确率要低于同噪声水平下的椒盐噪声,而且差距在逐步拉大,当噪声水平到达20%,两者已经拉开了较大差距。

4 结论

(1)提出了一种基于GAF-CNN的斜拉索损伤识别办法,将斜拉索加速度信号通过GAF图像编码技术转换为二维图像,并将其作为ResNet34网络的输入,可以大幅提高网络提取时间序列特征的能力,具有良好的识别精度。

(2)ResNet34网络在GADF和GASF的2种编码方式下都有较好的识别精度,但是针对此网络,GADF的编码方式显然更适合,识别精度要优于GASF。

(3)面对不同类型、不同水平的噪声,网络都能保持90%以上的准确率,说明网络具有良好的抗噪性能。

(4)利用回归的思想,针对未知类别的数据进行了识别,取得了良好的效果,对网络运用到实际场景中更进了一步。