基于边缘信息增强的前列腺MR图像分割网络

张蝶，黄慧*，马燕，黄丙仓，陆炜平

1.上海师范大学信息与机电工程学院，上海 201400；2.上海市浦东新区公利医院影像科，上海 200120

0 引言

前列腺癌是发生在前列腺的上皮性恶性肿瘤，是最常见的恶性肿瘤疾病之一。潜在癌性前列腺的早期发现对降低前列腺癌的死亡率具有重要意义。磁共振成像（magnetic resonance imaging，MRI）作为一种无损无创的影像学检查工具，是临床上检测前列腺最常用的成像方式之一和准确划分MRI前列腺区域，进而获得其位置、大小和形状等信息，是计算机辅助诊断前列腺癌的关键环节，对于前列腺癌的诊断和预后追踪都具有重大意义。

目前 MRI 前列腺区域分割方法可以分为两大类：传统方法和基于深度学习的方法。其中，传统分割方法包括图像处理方法和浅层机器学习方法等，如交互式主动轮廓模型（黄海赟 等，2000）、最大似然（expectation maximization，EM）方法（骆剑承 等，2002）、高斯混 合模型（Gaussian mixture model，GMM）（冷月妍，2022）和K 最近邻（K-nearest neighbor，KNN）（付宜利 等，2005）等。这些方法基于图像的浅层特征进行分析，其处理能力依赖于所提取特征的描述性能，有时需要较多的人工交互。近年来，深度学习技术（Minaee 等，2022）发展迅速，广泛应用于医学图像分割领域。医学图像具有灰度范围大、边界不清晰和分割目标在人体图像中的分布相对稳定等特点。Ronneberger 等人（2015）提出了一种基于全卷积的U-Net网络模型，用于解决医学图像分割问题，U-Net结合了下采样时的低分辨率信息和上采样时的高分辨率信息，通过跳跃连接实现高低分辨率信息融合，有利于提高医学图像的分割精度。

相较于其他网络，U-Net在医学图像分割领域有着明显优势，但它仍有进一步优化的空间。首先，在原始U-Net 分割网络中，多次下采样导致包含大量小区块和边缘等关键信息的空间细节丢失，从而使得模型的分割性能下降。学者们不断针对此问题提出改进，Yin 等人（2020）为了恢复丢失的空间信息，在原始U-Net 的降采样操作和上采样操作后都设计了一个引导滤波器模块。引导滤波器模块以特征图和引导图像作为输入，实现在输出特征图中引入了更多的边缘信息。Song等人（2022）提出了一个全局特征重建（global feature reconstruction module，GFR）模块来有效地捕获全局上下文特征和一个局部特征重建（local feature reconstruction module，LFR）模块来动态地上采样。Li 等人（2023）为了克服传统3D U-Net（Çiçek 等，2016）的缺点，提出了一种3D 金字塔池化U-Net（3D pyramid pooling U-Net），在跳跃连接处添加金字塔池化（pyramid pooling）操作，以恢复在降采样过程中丢失的空间信息。

另外，原始U-Net 使用跳跃连接将编码器和解码器的特征进行融合时，编码器特征过于单调而不能很好地捕捉到图像中的多尺度信息，即编码器和解码器之间存在较大的语义差距，可能会导致训练不稳定。Asadi 等人（2020）在网络中设计了一个双向Conv-LSTM（convolutional long short-term memory）模块，在网络的各个层级中使用双向Conv-LSTM 将相应编码路径中提取的特征图与之前解码的上卷积层进行非线性组合，实现不同尺度信息的交互。钟幸宇（2020）设计了一个并行注意力模块（parallel attention module，PAM），通过使用不同尺度的卷积核捕获图像的多尺度信息，减少编码器和解码器之间的语义差距。

此外，原始U-Net 分割网络通过解码器最后一层得到输出结果；由于解码器最后一层特征图存在特征冗余，可能导致目标边缘的分割效果不理想。钟幸宇（2020）设计了一个输出特征融合模块（output fusion module，OFM），在解码器阶段通过融合不同层的输出，可以获得更加准确的分割结果。Zhao（2021）设计了一个减法单元（subtraction unit，SU）来提取多尺度信息，通过利用金字塔堆积的方式，获得多个互补的增强特征，这些特征逐步输入到解码器并生成最终预测结果。Nguyen 等人（2021）提出了两个模块，分别是级联上下文模块（cascading context module，CCM）和平衡注意力模块（balancing attention module，BAM），CCM 模块通过连接相邻编码层特征提取全局信息和局部信息，BAM 模块利用相邻下层的预测输出作为引导图，可学习如何充分利用背景、分割目标和边界曲线3 个区域的注意力图。

以上研究成果关注到不同模态医学图像的特点，分别提出了针对性的改进方法，获得了较好的效果。但是对前列腺MR（magnetic resonance）图像分割的改进效果不明显，这是因为 MR 图像普遍存在组织与器官的对比度较低、前列腺周围组织众多且结构复杂、图像对比度低、噪声大和前列腺的形状与位置具有高可变性。

针对上述情况，本文提出一种基于通道注意力机制和边缘信息融合的U 型网络（channel attention mechanism and marginal information fusion U-Net，AIM-U-Net），以增强分割目标的边缘信息。主要贡献有：1）为缓解模型过拟合，重新设计编码器—解码器模块，用深度可分离卷积代替普通卷积，利用ECA（efficient channel attention）注意力机制优化解码器特征表示。2）为获得更丰富的边缘信息，设计边缘信息模块融合编码器的浅层特征和高级语义信息获得丰富的边缘信息。3）为了细化解码器信息，设计边缘信息金字塔模块，进一步融合边缘信息和解码器多层信息。4）为了消除特征噪声，利用空洞空间金字塔池化（atrous spatial pyramid pooling，ASPP）模块，利用不同空洞率的空洞卷积对特征进行重采样。实验结果表明，本文提出的AIM-U-Net 在PROMISE12（prostate MR image segmentation 2012）数据集（Litjens等，2014）上的分割效果优于对比的U-Net方法。

1 本文方法

传统U-Net 模型结构如图1 所示，整体呈U 型，由3 个部分组成，包括收缩路径、扩张路径和跳跃连接部分。收缩路径通过下采样操作对输入图像进行特征提取；扩张路径利用上采样操作恢复图像分辨率并获得最终的输出图像；跳跃连接部分实现收缩路径和扩张路径的特征融合。U-Net 网络模型在医学图像分割领域表现优异，并在不同的应用模态中产生了多种改进模型。

对于MR 前列腺图像分割任务，现有的U-Net模型存在一些不足。首先，MR 前列腺图像数据集较小，数据集包含的图像数量不多，但U-Net 模型参数量较大，模型容易过拟合，最终导致模型的性能下降。其次，U-Net模型特征提取的过程包括一系列卷积和最大池化操作，随着卷积次数的增加，输入图像的边缘信息逐渐丢失，并且目标分割对象的小尺度信息在下采样过程中难以保存，最终导致模型的轮廓分割效果不佳。另外，虽然跳跃连接在将收缩路径特征和扩张路径特征融合过程中可以恢复丢失的部分空间信息，但是扩张路径的特征来自模型的深层，而收缩路径的特征是模型早期计算得到的，即收缩路径特征和扩张路径特征之间存在较大的语义差距，得到的融合特征容易存在噪声，可能会导致训练不稳定。最后，原始U-Net 分割网络通过扩张路径的最后一层特征图得到输出结果，而扩张路径的最后一层特征图没有捕获多尺度信息，可能导致目标的分割效果不理想。

针对以上问题，本文在传统U-Net模型3个模块的基础上增加了用于增强边缘信息的边缘信息模块（edge information module，EIM）、用于细化解码单元特征的边缘信息金字塔模块（edge information pyramid module，EIPM）和用于消除特征噪声的空洞空间金字塔池化（ASPP）模块。具体结构如图2所示，图中蓝色矩形表示特征图，矩形左下角数字表示特征图的尺寸，左上角数字表示特征图的通道数，不同颜色的箭头表示不同的操作。

图2 基于边缘信息增强的前列腺 MR 图像分割网络Fig 2 Architecture of prostate MR image segmentation network with edge information enhancement

图3 ECA注意力机制结构Fig 3 The structure of ECA attention

1.1 深度可分离卷积

与普通图像数据集相比，MR 前列腺数据集较小，而U-Net 模型参数量较大，导致模型容易过拟合，泛化效果不佳。常见的解决过拟合的方法主要包括正则化和调整网络结构等。为了在缓解过拟合的同时提高计算速度，本文采用调整网络结构的方法。由于深度可分离卷积（Liu 等，2022）可以有效地减少网络中的参数量，提高计算效率，同时还可以提高模型的泛化能力和准确性，本文利用深度可分离卷积，重新设计收缩路径和扩张路径的结构。

改进模型的收缩路径由5 个编码单元组成，扩张路径由3 个解码单元组成，用深度可分离卷积（depthwise separable convolution，DSC）（Chollet，2017）替代原始U-Net 的编码单元和解码单元中的普通卷积。改进后的模型参数量为原来的1/3，模型的过拟合程度得到缓解。

1.2 ECA注意力机制

在传统U-Net 编码器—解码器结构中，收缩路径通过一系列的卷积和下采样操作对输入网络的整个图像进行特征提取，提取MR 图像特征信息。随着卷积次数的增加，所有通道无差别处理，输入图像的小尺度信息在下采样过程中难以保存，最终导致小尺度目标被漏检。

通道注意力机制ECA（Wang 等，2020）通过启发式搜索的方式对卷积特征的通道进行选择，即通过学习要强调或抑制的通道特征来有效帮助信息在网络内流动，最终达到特征选择的目的。在这一过程中，对任务有益的特征被选择和保留。因此，利用高效通道注意力模块可以保留并增强小尺度的特征，从而提高分割模型的精度和鲁棒性。

在ECA中，首先对每个通道的特征图进行全局平均池化，然后经过自适应卷积增加通道间的信息交互，通过sigmoid 激活函数得到每个通道的重要性权重。最后，将原特征图与该权重相乘，达到突出重要信息、弱化不重要信息的目的。ECA的结构图 3 所示。

本文模型在每个解码单元中使用 ECA，从而为特征图的不同通道中增加注意力机制，以保留并增强小尺度目标的特征。ECA的实现过程如下：

首先，利用全局平均池化（golbal average pooling，GAP）来获取通道特征图X∈ RC×H×W中的全局特征X1∈ RC×1×1。具体为

然后，通过自适应卷积学习通道间的信息。式中，卷积核大小为k=ϕ（C），得到特征图X2∈RC×1×1，具体为

式中，σ为sigmoid 激活函数，C表示通道数，γ和b设置为2 和1，用于改变通道数C和卷积核大小之间的比例，s为每个通道的注意力系数，⊗为矩阵乘法运算。

最后，将注意力系数s与特征图X进行矩阵乘法运算，得到特征图X'∈ RC×H×W。

1.3 边缘信息模块和边缘信息金字塔模块

1.3.1 边缘信息模块

U-Net 模型的收缩路径对输入图像进行下采样操作，随着卷积次数的增加，虽然可以提取更深层次的特征信息，但输入图像的边缘信息在多次下采样操作中被弱化。边缘信息会影响模型的分割效果，这是因为边缘信息（Zhang 等，2019）可以提供细粒度约束来指导分割过程中的特征提取。收缩路径的浅层编码单元的特征由于分辨率较高，能够保留足够的边缘信息。深层编码单元提取的特征则捕获全局特征信息。

边缘信息模块（EIM）利用不同层次的编码单元特征恢复边缘信息。如图2 中EIM 模块所示，将深层编码单元的特征上采样使其与浅层编码单元的特征分辨率一致后进行拼接，然后通过卷积操作以获得特征图F1。因此，得到的特征图F1具有丰富的边缘信息和高级语义信息。

EIM 主要有两个功能：1）提供一种边缘信息指导扩展路径的分割过程；2）通过深度监督机制对早期的卷积层进行边缘分割监督。

因此，获得的边缘信息F1经过两个分支：一个分支是通过下采样操作为边缘信息金字塔模块（EIPM）提供全局上下文信息；另外一个分支通过1 × 1卷积和sigmoid激活函数生成区域分割结果。

1.3.2 边缘信息金字塔模块

U-Net通过扩张路径得到分割结果，由于扩张路径的最后一层特征图没有捕获多尺度信息，导致分割效果不理想。编码单元的深层特征可以捕获前列腺的全局高级判别特征信息，这对于小病灶的分割非常有帮助；解码单元的多尺度特征具有丰富的空间语义信息，可以提高分割的准确性；而边缘信息模块得到的信息具有丰富的边缘信息和高级语义信息。因此，边缘信息金字塔模块（EIPM）通过融合以上3 种特征，综合利用不同层次（孙家阔 等，2023）的信息，可以增强边缘信息且捕获多尺度信息，使分割模型更全面地理解图像，提高分割精度和鲁棒性。

EIPM 结构如图4 所示，Fedge表示边缘信息F1下采样后得到的特征，EF示编码单元的深层特征及不同层次的解码单元特征，FFk-1（k∈｛1，2，3，4｝）表示上一个EIPM 生成的边缘增强特征。由于边缘信息F1具有丰富的边缘信息和高级语义信息，Fedge同样也包含边缘信息。特征融合过程如下：首先，将缩放后的边缘信息Fedge与相同尺度的EF和FFk-1进行特征求和；随后经过2 次3 × 3 卷积和上采样操作得到具有丰富细节信息和高级语义信息的特征图FFk（k∈ ｛1，2，3，4｝）。经过上述操作后得到的特征图FFk表示当前EIPM 生成的边缘增强信息，以增强高级语义特征的表达能力。

图4 边缘信息金字塔模块Fig 4 The structure of edge information pyramid module

EIPM 主要有两个功能：1）融合多尺度信息指导扩展路径的分割过程；2）利用深度监督机制对解码单元进行区域分割监督。因此，获得的边缘增强信息FFk经过两个分支：一个分支是输入到下一EIPM模块中；另外一个分支通过1 × 1 卷积和sigmoid 激活函数生成第k（k∈ ｛1，2，3，4｝）个区域分割结果。

1.4 空洞空间金字塔池化

在神经网络分割任务中，U-Net使用跳跃连接将收缩路径特征和扩张路径的特征进行融合以恢复丢失的空间信息。但收缩路径特征和扩张路径特征之间存在较大的语义差距，得到的融合特征容易存在噪声，可能会导致训练不稳定。

空洞空间金字塔池化（ASPP）（Chen等，2017）模块用于消除特征噪声，对EIPM 得到的融合特征FF4进行重采样，用于捕获多尺度上下文信息，消除融合特征的噪声，以获得更准确的前列腺表示。

ASPP 结构如图5 所示，包括1 个图像池化、1 个1 × 1卷积和3个不同空洞率的空洞卷积。这些卷积核在不同的空洞率下对特征图进行卷积操作，从而捕获多尺度信息。通过这种方式，消除融合特征中的噪声，并提高分割准确性。

图5 空洞空间金字塔池化结构Fig 5 The structure of ASPP module

最后，将得到的多尺度特征进行特征拼接，使用通道数为1 的1 × 1 卷积，得到维度与原始输入相同的前列腺分割结果。

1.5 损失函数

针对数据集存在的正负样本不均衡情况，本文采用交叉熵损失函数（cross entropy loss）和骰子损失函数（Dice loss）的混合函数，记做L，定义为

式中，yn，c∈Y和pn，c∈P，分别为批处理中第c类和第n个像素的目标标签和预测概率，Y和P分别是MR图像真值和预测结果，C和N分别表示批处理中数据集类数和像素数。

将分割网络的损失记做Lseg，边缘损失记做Ledge，区域损失记做Larea。具体定义为

式中，g表示图像的实际分割结果，p表示模型的最终分割结果，pedge表示在边缘信息模块生成的分割结果，pareai（i=1，2，3，4）表示在边缘信息金字塔模块生成的4个分割结果。

模型的总损失函数为Ltotal，定义为

2 实验设置

2.1 数据集与实验环境

实验数据集采用国际医学图像计算和计算机辅助干预协会（Medical Image Computing and Computer Assisted Intervention Society，MICCAI）于2012年举办的前列腺MR图像分割挑战赛（Litjens等，2014）上所提出的PROMISE12 数据集，共包含100 份前列腺MR 数据。这些数据随机分为训练集（50 份）、测试集（30 份）和在线验证集（20 份），以确保样本在各个集合中均匀分布。所有数据都经过一致的预处理流程：首先，每个 3D 图像数据被切片为 2D 图像；然后，从中提取 512 × 512像素的有效区域作为模型的输入。为了确保图像预处理的合理性，使用归一化公式进一步优化数据的表示，计算为

式中，x是输入的 3D 图像，xp是处理后的归一化图像，u是输入图像的平均值，σ是输入图像的标准偏差。

数据增强策略包括随机噪声、随机翻转、仿射变换和随机平滑。由于GPU（graphic processing unit）显存的限制，将批处理大小（batch_size）设置为16，并应用随机梯度下降（stochastic gradient descent，SGD）优化算法，在100 个epoch 中的初始学习率（learning rate）设置为0.000 5，权重衰减（weight_decay）设置为0.000 01。在基于pytorch1.10.2 框架下开展实验，所用GPU为NVIDIA GeForce RTX 3090。

针对分割网络的预测结果，其呈现为像素分类的概率值，即表明像素是否属于前列腺的概率。为了进一步处理，本文进行了二值化处理。设置阈值为0.5，令概率值高于0.5的像素归类为1，否则归类为0。最后得到经过分割的二值图像。

2.2 评价指标

采 用Dice 系 数（Dice coefficient，DC）、95HD（95% Hausdorff distance）、召回率（recall）、Jac（Jaccard）系数和准确度（accuracy）分割性能评估指标。Dice 系数用于计算每个样本的相似度，取值越接近1，表示样本越相似；HD 是衡量分割边界精度的指标，HD越小，说明分割结果越准确。从小到大排序，取95位以避免少量离群点对指标的影响。

Dice系数和95HD计算为

式中，A和B分别为预测分割标签和真实分割标签的像素集。

3 实验结果与分析

3.1 模型消融实验

本文模型由U-Net 作为基础网络（baseline），模型组件包含替换编码器的普通卷积为深度可分离卷 积（encoder depthwise separable convolution，EnDW）、替换解码器的普通卷积为深度可分离卷积（decoder depthwise separable convolution，DeDW）、ECA 注意力机制、边缘信息模块（EIM）、边缘信息金字塔模块（EIPM）、空洞空间金字塔池化（ASPP）和多尺度深度监督（multi-scale supervision，MDS）。为了验证本文算法的改进策略，比较模型组件对算法分割性能的影响，分割结果如表1所示。

表1 在PROMISE12数据集上的消融实验Table 1 The ablation experiment on the PROMISE12 dataset

从表1 可以看出，在分别替换编码器和解码器普通卷积为深度可分离卷积（EnDW，DeDW）之后，同时替换效果优于单独替换，原因可能是网络计算量干扰模型的性能。利用深度可分离卷积可减少模型参数量（于典 等，2023），预测结果的平均Dice 得分均达到77%以上，HD95 指标降低到7 mm 以下。基础网络在加入ECA 注意力机制、边缘信息模块（EIM）、边缘信息金字塔模块（EIPM）和空洞空间金字塔池化（ASPP）后效果均有提升，其中同时加入ECA 和DeDW 效果优于单独加入ECA，原因在于ECA 接收了来自前一层解码器模块的特征，再与同层编码器模块特征进行特征融合，特征冗余导致模型训练困难，而深度可分离卷积可提高模型的训练速度，两者同时使用可提高模型的分割精度。并且发现同时加入EIM、EIPM 和ASPP 效果优于单独添加EIM、EIPM，原因在于EIM 和EIPM 虽然可以恢复在下采样中丢失的边缘信息，但会造成噪声，利用ASPP 对融合特征进行重采样，可消除噪声。EnDW、DeDW、EIM、EPIM 和多尺 度深度监督（MDS）组件两两组合进行实验发现，添加MDS 组件前后，效果提升尤为显著，其中前列腺分割预测结果的平均Dice得分提高了2%，这是因为模型分割损失加上EIM 的边缘损失和EIPM 的区域损失构成模型的总损失，加快模型收敛速度。实验结果证明了模型组件的有效性。

3.2 对比实验

为了进一步验证本文算法的分割性能，将本文AIM-U-Net 分别与经典的U-Net、Seg-Net（Badrinarayanan 等，2017）、Attention U-Net（Oktay 等，2018）、R2U-Net（Alom 等，2018）、R2AU_Net（Zuo 等，2021）和U-Net++（Zhou 等，2018）算法进行对比。

如表2 所示，表中实验数据完全依赖于PROMISE12 数据集。与其他分割算法相比，可以看出R2U-Net 和R2AU_Net 在前列腺分割任务中表现不佳，Attention U-Net 和U-Net 表现出极为优秀的结果，这是因为前列腺分割任务区域目标具有不确定性，而R2AU_Net和R2U-Net侧重于捕获临近切片之间的联系，模型特性导致其不适用于前列腺分割这类随机性分割任务。Attention U-Net 原用于胰腺分割任务，其图像与MR 前列腺图像相似，迁移到前列腺分割任务中展现出模型的泛化性。AIM-U-Net可准确识别出R2U-Net 未识别出的分割目标，并且比 Seg-Net 准确覆盖更大的真实分割面积，从而达到更好的分割效果。

表2 在PROMISE12数据集上的对比实验Table 2 Comparative experimental on the PROMISE12 dataset

表2 结果显示，以Dice、Jac、recall、Acc 和HD95为评价指标，AIM-U-Net 实现了最好的评估指标。Dice 值达到了84.68%，比传统U-Net 高8.87%。比Attention U-Net、R2U-Net、R2AU_Net 和Seg-Net 的Dice 值分别 提高了8.14%、15.59%、11.39% 和6.73%。HD95 值达到了5.54 mm，比R2AU_Net 和U-Net++分别降低了5.32 mm、12.04 mm。可见，本文提出的AIM-U-Net提高了前列腺分割精度。

各网络分割结果进行可视化效果如图6 所示。前2 列分别为网络的输入图像及其对应的真实分割标签，其他列则表示各网络实际预测结果，网络预测结果在各列下方。结果显示，R2U-Net 和R2AU_Net 在分割不同切片时，与真实标签差异较大。Seg-Net、Attention U-Net 和 U-Net++虽然非常接近真实分割标签，但是分割边界效果不佳。而本文提出的 AIM-U-Net 在视觉上更接近标签图像，可以较为准确地分割前列腺的边界，达到更好的分割结果。实验结果表明，AIM-U-Net 可以更准确地分割前列腺区域，在 MR 前列腺图像分割的巨大潜力。

图6 不同算法的分割结果图对比Fig.6 Comparison of segmentation result graphs of different algorithms（（a）MR slices；（b）ground truth；（c）ours；（d）Attention U-Net；（e）R2AU_Net；（f）R2U-Net；（g）Seg-Net；（h）U-Net；（i）U-Net++）

4 结论

前列腺MR 图像具有组织与器官对比度低、边界模糊和噪声大等特点，导致利用U-Net 分割网络进行特征提取时容易丢失边缘信息，造成分割准确率不高的问题。针对以上问题，本文提出了基于边缘信息增强的前列腺 MR 图像分割网络AIM-UNet。首先，通过重新设计编码器—解码器结构，解决网络过拟合的问题，并在解码器结构中嵌入ECA注意力机制，优化解码器特征，以放大并保存小尺度目标的信息。其次，设计边缘信息模块和边缘信息金字塔模块，融合低级局部信息和高级语义信息，获得多尺度增强边缘特征，以达到增强边缘信息的目的。此外，利用ASPP模块对得到的增强边缘特征进行重采样，消除特征噪声。最后在PROMISE12数据集上进行训练和测试，并与6种现有改进的U-Net网络模型进行对比，验证了模型的有效性，最终Dice值达到84.68%。实验结果表明，所提网络模型明显优于其他U-Net 模型，分割精度更高，能更有效地辅助临床诊断。

本文网络参数虽然对比原始的U-Net 减少了2/3，计算速度大大提高，但是对于目前的临床应用设备而言，计算所需的内存仍旧太大，模型的参数量还需进一步降低。此外，本文算法只针对一个数据集进行了性能评估，针对不同数据集的泛化能力仍需进一步验证。

虽然该模型旨在解决二值分割问题，即从背景中提取前景，但该模型未来可以扩展到解决多类分割问题以及病变区域的分割研究，将对前列腺癌的临床治疗和预后分析提供数据支持。