基于注意力机制的改进残差网络火焰温度场重建

单良，周荣幸，洪波，仰文淇，孔明

（1 中国计量大学信息工程学院，浙江省电磁波信息技术与计量检测重点实验室，浙江 杭州 310018；2 中国计量大学计量测试工程学院，浙江 杭州 310018）

燃烧是工业生产和日常生活中的一种普遍现象，广泛存在于冶金、航空航天发动机、内燃机等工业生产过程中[1]。火焰温度监测技术有利于探究燃烧火焰的规律，推动燃烧技术理论的发展，提高燃烧效率以及降低污染排放[2]。

基于火焰辐射光场成像的测温技术具有非侵入、响应时间短、系统设备布置简单、精度高等优点，一直受到广泛关注[3]。解决这类问题通常采用传统算法，一般是基于物理问题进行求解[4-9]。常见的传统算法有最小二乘QR 分解算法、Tikhonov正则化算法和共轭梯度法等。这些算法受限于特定的条件，求解步骤繁杂，需要更多的时间成本。近年来，随着计算机技术的迅速发展，深度学习[10]在图像处理、计算机视觉等领域被广泛应用，在解决三维重建反问题方面也取得了飞速进步[11]。最新的研究结果表明，深度学习在燃烧诊断方面也有很好的应用前景。Cai 等[12]首次提出使用深度置信网络（DBN）和递归神经网络（RNN）重建温度场，该方法展现了RNN 在噪声抑制方面和DBN 在计算效率方面的优势。张杰等[13]针对传统的光场成像火焰温度场重建计算量大、效率低等问题，提出一种基于卷积神经网络（CNN）的火焰三维温度场重建方法，将重建时间从传统NNLS 算法的4759s 变为现有CNN算法的830μs。孙安泰等[14]建立了一种结合卷积神经网络的长短期记忆网络的模型，将CNN用于提取图像特征、输入LSTM预测火焰三维温度场，并考虑了时序噪声和图像噪声的影响。然而CNN 等传统卷积神经网络模型随着其网络层数的增加极易出现过拟合或者模型退化等问题，导致重建的误差较大[15]。HE 等[16]于2016 年提出残差网络（ResNet），通过引入残差连接和跳跃连接的方式，克服了梯度消失和梯度爆炸的问题。其中，ResNet18 是ResNet 系列中一种相对较浅的网络结构，具有良好的性能和较低的计算复杂性。但是随着网络层数的增加，仍然面临一些问题，如特征的重要性不均衡和冗余特征的存在。在这种情况下，加入注意力机制可以使网络更加聚焦于关键特征，有效地提高网络的表现力和泛化能力。

注意力机制[17]源自对人类视觉的研究，可以使计算机视觉系统迅速高效地关注到重点区域。Hu等[18]首次提出对卷积神经网络中的通道信息进行注意力建模，通过学习特征的通道权重来增强有用的特征信息，其中压缩-激励网络（squeeze-andexcitation network，SENet）通过特征重标定的方式自适应地调整通道间的特征响应，提升计算效率。Wang 等[19]提出了非局部注意力网络（non-local neural network，NLNet），它融合了全局上下文信息，在目标检测、图像分类、实例分割等领域证明了其有效性，但会极大地增加计算量。Cao 等[20]在Wang 等[19]的基础上提出了全局上下文网络（global context network，GCNet），它结合了SENet和NLNet的优点，能够在不增加过多计算负担的情况下有效地提高模型性能和泛化能力。

另一方面，池化操作也是图像处理中十分重要的一环。通过池化层来缩小特征图尺寸的方法经常被现有的一些卷积神经网络所采用，以此来获取更大的感受野。常见池化方式有平均池化[21]、最大池化[21]和全局平均池化[22]。然而这些池化方式对特征的重要性没有进行精确的区分，可能会丢失一些重要信息。Gao 等[23]提出了局部重要性池化（local importance-based pooling，LIP），这种池化方式可以自动学习重要性权重，根据特征的重要性对池化区域内的元素进行加权平均，从而更好地保留重要信息。

因此，本文在ResNet18 网络中加入注意力机制GCNet和局部重要性池化LIP，对网络进行优化。通过发光火焰正问题的数据模拟得到三维温度场和对应火焰图像组成数据集进行训练，将训练结果用于火焰三维温度场的重建。通过消融实验验证本文所提出的优化方法的有效性。

1 ResNet18网络优化

卷积神经网络是一种特殊的多层感知机。卷积神经网络通常由输入层、卷积层、池化层、全连接层和输出层组成，传统的CNN 模型为防止过拟合现象出现一般设置为浅层网络模型，ResNet[16]的提出让下一层不再直接拟合成底层映射，通过近似于电路中的“短路”连接，以跳过一层或者多层的连接，最后将信息送至神经网络的更深层。引入跳层连接能够有效解决梯度弥散所导致的神经网络退化以及模型难以收敛两大问题，并减轻计算量。残差网络结构相较于传统CNN 模型的优势是其可以放大输入中微小的扰动，因此更加灵敏。

本文采用的火焰温度场数据集不大，为了防止出现过拟合现象，不需要多层次和多通道数的残差网络，因此本文使用的模型基于ResNet18 的主要框架搭建。输入为尺寸360×360 的火焰光场图像，经过4个残差模块卷积层特征提取、池化层尺寸缩减后得到大小为11×11的矩阵。ResNet18一共含有4个残差模块，每个残差块包含两个残差单元，每个残差单元首先进行一次3×3卷积，其次进行批标准化和ReLU 激活，再次进行一次3×3 卷积和批标准化，最后与输入特征图相加后进入ReLU 激活。在模型中，加入批标准化的操作，主要是将卷积层输出数据进行归一化处理，加快网络的训练和收敛的速度，防止过拟合[24]。ReLU 激活函数是一种在神经网络中广泛应用且效果良好的激活函数，可以显著提高卷积神经网络的性能并避免模型训练过程中梯度消失问题[13]。对ResNet18 网络结构进行改进，在ResNet18 网络卷积层的最后一层依次加入上述的注意力机制层（GCNet）[20]和局部重要性池化层（LIP）[23]。改进的ResNet18 网络由输入层、17个卷积层、1个最大池化层、1个注意力机制层、1 个局部重要性池化层、输出层和1 个全连接层组成。过程中尺寸变化情况已在图1中标出，在网络末端使矩阵展平元素与目标温度场元素一一对应。改进的ResNet18网络结构如图1所示，方框中为改进部分。表1给出了网络模型的各个参数。

图1 改进的ResNet18网络结构

表1 ResNet18框架模型参数

1.1 注意力机制优化

当前的深度学习算法经常重复使用相同卷积操作，只关注到图像局部的感受野，提取特征较为单一。如ResNet18网络使用的残差块是由1×1卷积和3×3 卷积堆叠而成，火焰光场特征图经过普通3×3卷积操作之后，新生成的特征图中每一个像素点只能专注于原始特征图中9 个紧挨一起的像素点范围，仅学习到了局部的信息，而模型要学习更多全局而非局部信息只有通过加深网络深度的方式提高感受野，但此方式优化难度和计算量都很大。火焰光场图像的全局信息十分重要，注意力机制GCNet能够帮助模型从全局视角聚焦于感兴趣区域，从而分配更多的注意力给这些部分。在模型特征提取部分引入GCNet，模型可以获得更大的感受野，使网络能够捕捉到更广阔区域内的特征信息，这意味着模型可以同时考虑到远距离的特征关系，而不仅限于局部区域。在火焰温度场的重建任务中，神经网络通过识别各尺度的特征，学习到灰度值信息与三维温度场的映射关系，引入GCNet也即加大了对这种映射关系的特征信息的捕捉[11,22]。GCNet 结构图如图2所示。

图2 GCNet结构

GCNet由三部分组成[20]。

（1） 建立全局上下文特征图。特征图X∈RC×H×W（C、H、W分别为特征图的通道数、高度、宽度）。首先经过特征提取输入到1 × 1的卷积层和激活函数Softmax 中，权重参数为Wk，得到的权重矩阵与大小为C×(H×W)的特征矩阵相乘，得到包含全局上下文信息的大小为C× 1 × 1的特征矩阵O1，如式(1)所示。

（2）计算每个通道的重要程度。将大小为C×1 × 1的特征矩阵O1输入到大小为1 × 1、权重参数为Wv1的卷积层，得到的特征矩阵的大小为C/r×1 × 1。r为参数减少值，以此提高网络的计算效率。在卷积层后加入LayerNorm 层和激活函数ReLU 防止模型过拟合。接着将特征矩阵输入到大小为1 × 1、权重参数为Wv2的卷积层,最终得到大小为C× 1 × 1的特征矩阵O2，如式(2)所示。

式中，ReLU为非线性激活函数；LN为层归一化；Wv1和Wv2为两个卷积层的权重参数。

（3） 特征图与权重相乘。将输入特征图X∈RC×H×W和具有不同通道权重的特征矩阵O2相乘，最终得到含有不同权重信息的特征图O∈RC×H×W，如式(3)所示。

1.2 池化优化

常见的池化方法有平均池化、最大池化、全局平均池化等。平均池化[21]可以输出所有激活值的平均值，但是有可能会忽略较为主要的特征，对鉴别性很小的特征有害。最大池化[21]输出所有激活值的最大值，但当重要特征的激活值不是最大时并不适用。全局平均池化[22]可以通过减少参数的数量增加网络的准确性和稳定性。

由于火焰不同位置的辐射值不同，如果使用上述几种传统池化方法，在特征图的每个池化区域中只进行简单的聚合操作，对特征的重要性没有进行精确的区分，可能会丢失一些重要信息，将会影响重建精度。为了更充分地提取火焰的特征，本文采用局部重要性池化[23]对ResNet18网络进行改进。这种池化方法通过逻辑模块（Logit Module）中的卷积生成输入特征图的特征权重，逻辑模块接着进行局部归一化，最终在池化的过程中自动重新鉴别特征，筛选出重要的特征，减少火焰光场特征图特征信息的丢失。池化可看作滑动窗口中激活值的线性加权过程，F表示池化函数，G表示逻辑模块，能够更好地学习目标特征图的重要性，I和O分别表示池化前的输入特征图和池化过后的输出特征图，(x,y)表示输入特征图对应滑动窗口的位置，(x′,y′)表示对应的输出位置，(Δx,Δy)表示滑动窗口内的相对位置，Ω表示滑动窗口内的卷积核，对应的池化表达式为式（4）。

LIP的结构图如图3所示，逻辑模块由一个1×1卷积层组成，使用仿射实例归一化（affine instance normalization）作为归一化形式，并使用Sigmoid函数作为具有固定放大系数的函数，以保持数值的稳定性。为了使重要性权重非负且易于优化，使用exp(·)计算逻辑模块，如式（5）。

图3 LIP结构图

2 仿真实验和分析

2.1 温度场重建流程

将改进的ResNet18 网络模型用于火焰三维温度场重建过程中数据集的构建以及网络模型的训练和测试。通过改变温度场分布函数来构建数据集，然后将数据集分为训练集和测试集。在训练过程中，将数据集投入到改进的ResNet18 网络模型的输入层，通过模型运算最终在输出层得到输出数据，误差通过火焰三维温度与输出数据的比较得到，将误差代入网络模型更新模型参数，从而完成一次迭代。当误差不再下降或达到收敛标准的时候停止迭代，完成模型的训练。在测试过程中，将测试集图像数据放入网络模型，输出计算温度，与真实温度进行对比并计算误差，评价改进的ResNet18网络模型的性能。

2.2 数据集构建

本文使用的是单峰火焰数据集，采用式（7）所示的温度场分布函数[7]，假设为对称圆柱形标准火焰模型。

式中，z、r分别为温度点轴向、径向坐标；Z表示模拟火焰的高度，为30mm；R表示模拟火焰的半径，为12mm；f和v为2 个可调参数，改变可调参数共可获得2000 组不同的数据集，总计2000张光场图像，1800 组作为训练集，200 组作为测试集。

2.3 网络模型参数选择

网络优化器的主要作用是在网络训练时对权重更新方法等进行优化，主要的优化函数有Adagrad算法[25]、RMSprop算法[26]以及Adam算法[27]等。本文选用Adam 算法作为卷积神经网络参数的优化算法，它继承了Adagrad 算法和RMSprop 算法的优点，在基于一阶矩均值计算适应性参数学习率的前提下，还充分利用了梯度的二阶矩均值。本文网络采用PyTorch 搭建、训练及测试。服务器显卡的型号为NVIDIA Geforce RTX 3090。采用式（8）所示的均方误差函数（MSE）作为损失函数。

式中，Tp表示重建温度；Tr表示真实值温度。

2.4 网络性能评价

采用改进的ResNet18 算法对火焰三维温度场进行了重建。本文采用平均相对误差（MRE）和最大相对误差（MMRE）两种评价指标，见式（9）、式（10）。

式中，N表示三维温度场中所有温度点的个数；Tri表示真实值中第i个温度点；Tpi表示预测值中第i个温度点。

图4(a)和图4(b)分别为火焰的原始温度场和改进ResNet18 网络重建出的温度场。图4(c)为改进ResNet18网络重建出的温度场的相对误差图。

图4 火焰温度场重建结果

使用改进前和改进后的ResNet18 网络重建的平均相对误差和最大相对误差随周期变化的趋势分别如图5(a)和图5(b)所示。

图5 不同周期下的相对误差图

本文改进的ResNet18 网络训练50 周期平均相对误差为0.13%，最大相对误差为0.75%，改进前ResNet18 网络训练50 周期的平均相对误差为0.19%，最大相对误差为1.14%，可见通过本文提出的改进ResNet18 网络重建出的温度场与原始温度场在各个网格上的相对误差总体要比改进前的ResNet18 网络重建方法的误差小。因此，本文提出的改进ResNet18 网络重建火焰三维温度场相较于原始ResNet18 网络在重建误差上有很大幅度减小，可以准确重建火焰三维温度场。

2.5 消融实验

为了验证在ResNet18 网络引入局部重要性池化（LIP）模块和全局上下文网络（GCNet）模块的有效性，本文设计了消融实验，下面将对进行的消融实验的设计思路以及目的进行阐述。其中第一组为原ResNet18 网络，第二组添加了局部重要性池化（LIP）模块，第三组添加了全局上下文网络（GCNet）模块，第四组同时添加局部重要性池化（LIP）模块和全局上下文网络（GCNet）模块。各个模块的消融实验结果如表2所示。

表2 不同模块消融实验结果

由表2可以看出，引入局部重要性池化（LIP）后，网络的最大相对误差为0.81%，相较于改进前的ResNet18 网络的最大相对误差减少了28.95%；ResNet18+LIP 能够更好地在池化的过程中自动重新鉴别特征，减少火焰光场特征图特征信息的丢失，充分地提取火焰的特征；引入全局上下文网络（GCNet）后，网络的最大相对误差为1.01%，与改进前的ResNet18 网络相比，最大相对误差减少了11.4%；ResNet18+GCNet使模型在全局视角上聚焦于火焰更加需要关注的显著区域，使得模型能够充分利用全局信息；同时引入局部重要性池化和全局上下文网络后，网络的平均相对误差为0.13%，最大相对误差为0.75%，相较于改进前的ResNet18网络的平均相对误差减少了31.58%，最大相对误差减少了34.21%，ResNet18+LIP+GCNet 集合了两者的优点，在保证不丢失局部重要信息的情况下，增加对全局信息的把握能力。可以看出同时加入两个改进模块后的重建精度要优于加入单个改进模块后的精度，局部重要性池化模块对精度提升的作用更大。

通过两种改进方法与原始方法进行对比，结果表明，本文所提出的方法具有更小的重建误差，验证了本文所提方法的有效性。图6为消融实验的重建结果图。

图6 消融实验重建结果

3 结论

（1）本文提出了采用改进的ResNet18 网络进行火焰温度场重建，在ResNet18 网络的基础上加入注意力机制GCNet和局部重要性池化优化提取内容，实现已知信息的充分利用。

（2）本文通过消融实验分析了注意力机制GCNet模块和局部重要性池化模块对重建精度的影响。结果表明，在ResNet18 网络中同时引入注意力机制GCNet和局部重要性池化后，网络的平均相对误差为0.13%，最大相对误差为0.75%；改进前ResNet18网络的平均相对误差为0.19%，最大相对误差为1.14%。同时加入两个改进模块后的重建精度要优于加入单个改进模块后的精度，本文所提出的方法具有更小的重建误差。