基于深度学习的脑血管分割方法研究

闻 亮，孙 晖，邹 正，梁国标*

（1.北部战区总医院神经外科，沈阳 110840；2.中国医科大学，沈阳 110122；3.东北大学信息科学与工程学院，沈阳 110819）

0 引言

大脑是人类身体中最重要的器官，脑血管作为大脑的主要供血器官，影响大脑的新陈代谢和脑细胞的供养，因此对人体健康的重要性不言而喻。脑血管疾病泛指脑血管的各种疾病，包括脑动脉损伤、血管瘤、脑血栓等，是由于不同部位的脑血管病理变化引起大脑血液循环障碍，从而形成疾病。其致死率、致残率远高于癌症，发病率占神经系统住院总例数的1/4～1/2[1]。脑血管疾病已经成为威胁我国人民健康的常见病，其在各个年龄段均可发病，近年来的发病率随年龄的增加不断增高[2]。脑血管状态是预防和治疗脑血管疾病的一个极具潜力的生物标志物[3]。因此，掌握脑部血管的结构对于患者的健康状态判断及后续治疗具有很大的帮助。

在过去的几十年中，脑血管分割主要基于活动轮廓模型[4]、阈值化分割、参数统计等传统分割方法[5]。随着互联网技术的发展和计算机硬件水平的提高，机器学习和深度学习等人工智能技术逐渐用于医学影像学领域[6]，尤其是在医学图像的脏器分割任务中取得了不错的效果。在脑血管分割领域出现了许多新的方法，如基于U-Net 的方法分割磁共振时间飞行全影像（time-of-flight magnetic resonance angiography，TOF-MRA）中的脑血管[7]，基于3D U-Net 的方法分割脑部TOF-MRA 图像中的小血管[8]，基于全局通道注意力网络（global channel attention networks，GCA-Net）的方法[9]提取微小血管、改善分割效果等。上述方法都是对磁共振血管造影（magnetic resonance angiography，MRA）图像进行分割，使用2D 的神经网络容易遗落三维图像上下文的空间信息，而使用3D 的神经网络所需消耗的计算资源十分巨大，且模型的推理速度较为缓慢。同时由于脑血管图像存在部分血管特征微小、血管重叠、颜色对比不明显等特点[10]，脑血管的分割一直是研究的重点和难点。

针对以上问题，本文基于深度学习方法提出一种脑血管分割模型（brain vessel segmentation model，BVSM），采用生成式对抗网络（generative adversarial networks，GAN）[11]的思想设计多尺度的分割图像生成器与判别器，生成器处理脑部MRA 图像进行脑血管分割，判别器网络用于判断生成器网络的分割结果与专家手工标注分割结果的差距，迫使生成器网络不断朝着手工标注的分割结果的方向优化，提高脑血管分割的精度。

1 脑血管分割方法建模

本文的基本框架是基于深度学习的BVSM，其具体结构如图1、2 所示。该模型基于RVGAN（retinal vascular generative adversarial network）[12]采用多生成器和判别器的结构，加入3D 卷积模块，引入注意力机制实现脑血管图像的精确分割。其中生成器可以基于输入的MRA 脑部图像生成脑血管的分割结果，判别器可以判断真实的标签图像与生成器生成的分割图像并优化生成器生成更逼真的分割图像。该模型基于MIDAS 数据集训练网络获得最优解，并通过Dice 系数、精确率、敏感度及AUC 来评估模型的分割效果。

图1 基于深度学习的BVSM 结构图

1.1 网络模型构建

GAN 网络中生成器与判别器扮演了2 个竞争者的角色，在极小极大值之间进行博弈。BVSM 采用双生成器和双判别器的结构来提高网络训练过程中的稳定性和捕获多尺度的图像特征。

1.1.1 生成器网络模型构建

生成器部分包含粗糙生成器（coarse generator，Gc）、精细生成器（fine generator，Gf）2 个模型，其中Gc的输入图像大小是输入Gf的图像大小的一半，Gc负责提取粗略的全局特征信息，Gf负责提取微小血管的特征信息，最终二者融合生成高质量的分割图像。为了能够有效利用相邻切片的特征上下文信息，设计一个3D 卷积的特征融合模块，包括连续的3D 卷积层、批量归一化层和LeakyReLU 激活函数层。其中卷积核大小为3×7×7，个数为32，填充为0×1×1，步长为1。5 张相邻切片通过融合模块生成特征图，经过在深度这一维度上减为1 的处理去除深度维度。然后使用2D 卷积网络进行深层次特征提取，其包括多层的下采样模块、残差模块和上采样模块，具体结构如图2 所示。下采样模块有效提取脑部血管的特征信息，残差模块负责保留网络中有效的空间和深度信息，并缓解网络训练过程中梯度消失或爆炸的问题，提高模型的收敛性。同时加入CBAM（convolutional block attention module）[13]来聚合特征映射的通道信息和空间信息，其中使用1×1 卷积代替全连接层，使用LeakyReLU 函数代替原来的ReLU激活函数，一定程度上缓解了梯度消失的问题。之后，特征图经过上采样模块可以还原下采样得到的有效信息。最后通过一层卷积层和Tanh 激活函数输出中间切片的分割结果。

图2 BVSM 模型各模块结构图

1.1.2 判别器网络模型构建

精细判别器（fine discriminator，Df）与粗糙判别器（coarse discriminator，Dc）分别判断Gf、Gc生成的图像与真实标签的差异。判别器采用类似U-Net 的结构设计，其输入图像是MRA 脑血管图像和标签图像。将输入图像在通道维度上进行堆叠，随后经过三次下采样模块、残差模块及上采样模块的处理，提取特征并生成最终的分类结果。然而连续的上采样和下采样会丢失基本的空间特征信息，为了充分利用下采样提取的特征信息又不过分增加网络的计算量，引入CA（Coordinate Attention）模块[14]，生成的注意力特征不仅捕获通道信息，还捕获空间坐标信息，并在上采样时进行跳跃连接，使得信息提取得更充分，最后通过一层卷积层和Tanh 激活函数输出分类结果。模型训练过程中，通过Tanh 函数将真实标签映射到1，将生成的预测标签映射到-1。

1.2 数据集的选择及预处理

公开数据集MIDAS[15]由100 名健康受试者的脑部扫描图像组成，均在3T MRI 上按标准化方案采集图像。本文中选用以0.5 mm×0.5 mm×0.5 mm 分辨力采集的TOF-MRA 扫描子集，其包含109 个样本，样本的维度是448×448×128。由于该数据集并未提供脑血管的标记，本文采用德国机构在其一项研究成果BRAVE-NET[16]提供的20 个标注样本数据进行模型的训练和验证。

本文提出的BVSM 模型主要使用2D 卷积神经网络，因为直接基于3D MRA 图像进行分割对算力需求较高，因此为了降低计算量并提高处理速度，首先将3D MRA 数据进行了图像预处理，转变为2D 数据。在对图像预处理的过程中对训练的数据集通过几何变换（角度旋转、水平翻转、垂直翻转）来实现数据增强，提高模型的泛化性。因此，首先需要对3D 的MRA 图像进行预处理从而提高图像的分割效果[17]，具体分为3 个步骤：（1）对MRA 数据进行标准化；（2）切割脑部扫描图像数据集和真实标签（ground truth，GT）数据集；（3）将数据切割成多张切片，并保存为Numpy 数组。

为了促进模型的收敛，对样本的图像数据进行标准化到[-1，1]，以Z轴为切片方向进行切片。每张切片都是单通道的图像，维度为1×448×448。

输入判别器的数据是脑部扫描图像与分割标签图像在通道维度上的叠加，而输入生成器的数据则是5 张相邻切片在深度维度上的叠加。考虑到样本图像两端的切片缺少一侧相邻的切片，又因为相邻切片的特征相似性，所以采用镜像填充的方式在样本两端各补齐2 张切片，如图3 所示。

图3 图像预处理操作

对数据集的MRA图像切片处理后的效果如图4 所示。为缓解类别不平衡的问题，以50%的概率舍弃无标签图像，因此输入生成器Gf的数据维度为1×5×448×448（通道×深度×高度×宽度），而输入生成器Gc的图像维度为1×5×224×224。

图4 MRA 数据切片处理的效果

1.3 损失函数设计

为了网络的对抗式训练，采用折页损失Hinge Loss[18]对网络中的生成器与判别器进行训练，并对生成器损失赋以权重，损失函数如下：

式中，E（·）表示期望；G表示生成器；D表示判别器；xstack为5 张堆叠的真实MRA 图像切片，x为堆叠切片中间的一张切片；y为真实的分割标签；G（x）为预测生成的分割标签，是生成器损失的权重系数。

因为涉及到血管和背景的逐像素分割，引入均分误差（mean squared error，MSE）损失Loss 来匹配生成图像与真实图像的分布优化生成网络，同时调整鉴别器中编码器与解码器损失的权重来达到更好的网络效果，合成更真实、微小的血管结构。其损失函数如下：

式中，表示第i层编码器的损失表示第i层解码器的损失表示特征的数量；权值p介于0 与1 之间。本研究赋予解码器部分更高的权重训练网络，并通过真实的分割标签y与合成的分割标签G（x）计算各个编码器与解码器层的损失。

结合上述各种损失，赋予生成器、判别器损失对应的权重m、n进行网络训练，最终的损失函数设计如下：在整个网络训练过程中，首先使用真实的MRA图像切片x与真实的分割标签y训练判别器，之后使用堆叠的MRA 图像切片xstack训练生成器并合成分割标签，与x一起训练判别器，并进行多次迭代。随后冻结判别器的参数，进行多次迭代训练生成器。该模型最终的损失函数如下：

1.4 训练结果及模型评估标准

本文基于RTX3090 显卡，使用Linux 系统Ubuntn20.04，配合深度学习框架Pytorch1.11 及Conda环境管理系统进行模型训练。使用数据集MIDAS 中的20 名人员的脑部扫描图像MRA 模态样本，根据样本数量按照70%训练、20%验证、10%测试的比例划分为训练集、验证集、测试集，对各子集的样本进行数据预处理后得到1 813 条训练数据、507 条验证数据、251 条测试数据。然后进入Conda 环境管理系统，设置历元、学习速率等参数，并使用Adam 优化算法[19]减少内存占用。设置批量大小为4，生成器学习率为0.000 2，判别器学习率为0.000 3。学习率衰减策略为指数衰减，衰减率设置为0.99，衰减步长设置为150。整个模型的训练轮数设置为100，损失函数中的参数λ 设置为10，p为0.4，m、n均设置为10。为缓解生成器网络梯度消失的问题，在训练判别器网络时对真实样本与生成样本的标签进行平滑处理，加入一定的随机噪声。

因为TOF-MRA 扫描的脑血管分割任务中类别高度不平衡，平均≤5%的扫描体素包含血管，本研究使用Dice 系数、敏感度、精确率、AUC 4 个指标对模型进行评估。

Dice 系数计算2 个分割区域的真实正样本的相似度，即预测区域中有多少像素区域是正确预测的，计算公式如下：

式中，P 表示预测分割图像的像素集合；T 表示真实值GT 分割图像的像素集合。

敏感度Sen 代表实际阳性样本率，即预测为血管区域的阳性样本数据与实际分割结果为阳性样本的数据之比，计算公式如下：

精确率Pre 用于衡量模型在预测为正类别的样本中有多少是真正的正类别样本，计算公式如下：

式中，TP 为真阳性的数据，即预测结果与真实值均为正样本的数据；FP 为假阳性的数据，即预测结果为正样本而真实值为负样本的数据。

AUC 用于评估模型针对血管区域的阳性、阴性样本的分类效果，根据不同阈值确定样本个数并计算TPR 和FPR。其中TPR 表示阳性样本被预测为1的概率，FPR 表示阴性样本被预测为1 的概率。以FPR 为横坐标、TPR 为纵坐标绘制ROC 曲线。AUC越接近1，证明模型的分类效果越好。TPR 和FPR 的计算公式如下：

式中，TN 为真阴性数据，即预测结果与真实值均为负样本的数据；FN 为假阴性数据，即预测结果为负样本而真实值为正样本的数据。

基于上述判断依据，通过比较自动分割的血管区域与真实值手动分割的区域之间的重叠比例评估模型的性能。

2 结果

为了验证本文提出的BVSM 脑血管分割方法的有效性，本研究进行了消融实验，使用相同的实验参数在MIDAS 数据集上进行评估，并对比BVSM 与原始RVGAN 模型、单独融入注意力模块的RVGAN+Attention 模型、单独融入切片特征融合（slice-level feature aggregation，SFA）模块的RVGAN+SFA 模型的分割效果。实验结果见表1。

表1 分割效果

相对于RVGAN 模型，RVGAN+SFA 模型在模型输入端新增切片特征融合模块，捕获并利用相邻切片的特征信息进行分割，模型整体的分割效果得到一定提高，其中Dice 系数提高了0.2%，精确率提高了0.3%，AUC 提高了0.2%。但相邻切片的特征信息存在冗余和差异，导致敏感度有所下降。RVGAN+Attention模型中引入了注意力机制模块，调整了各层编码器提取特征的权重，增强了模型对边界等特殊区域特征的表达能力，性能优于RVGAN+SFA 模型，弥补了敏感度低的差距，分割精度显著提高。相对于RVGAN模型，RVGAN+Attention 精确率提高了2.5%，Dice 提高了0.7%，AUC 提高了1.3%。而本文的BVSM 模型中同时加入了SFA 模块和Attention 机制模块，算法精度得到进一步提升，分割精确率达到了88.3%，整体的血管图像都得到了较好的分割，另外其Dice 系数为87.2%、敏感度为86.3%、AUC 为0.942，整个模型在血管分割任务中取得了不错的效果。

本文提出的BVSM 的脑血管分割可视化结果如图5 所示，算法自动分割与人工分割的结果整体轮廓重合度较好，相似度较高。但对于整体的三维信息依然存在丢失，边缘处血管分割的结果与真实标签仍存在一定差距。通过该模型可以得到较准确的脑血管结构，为医师对患者状况的诊断和后续治疗提供了依据，具有一定的应用价值。

图5 BVSM 分割样本脑血管的效果

3 讨论

近年来，研究人员开始探索使用深度学习算法进行器官分割，并取得很大进展[20]。由于脑部血管结构较为复杂，脑血管图像存在血管微小、分支多、形态各异、背景对比度低等特点，使得对脑血管进行准确分割成为一项具有挑战性的任务。

本研究基于脑部MRA 脑血管图像，结合深度学习的相关理论知识，设计了使用3D 卷积和2D 卷积提取特征应用于脑血管分割的深度学习网络模型BVSM，考虑到直接对MRA 图像进行2D 处理会存在3D 空间上下文信息丢失、而使用3D 数据会消耗大量的硬件资源的情况，基于GAN 设计了多尺度的生成器与判别器用于脑血管细节分割，各分支网络使用U 型结构。模型首先使用3D 卷积模块融合邻近多张切片的特征，随后使用多层的2D 卷积结构提取不同维度上的特征，通过引入注意力机制调整网络中特征的权重，在保证整体分割精度的前提下更注意分割细节，可实现微小血管的分割。由于研究人员使用的数据集和对比的标准不同，很难比较不同分割方法的优劣。但是本文选择最广泛的评估指标（包括Dice 系数、精确率等），实验结果表明，本文提出的脑血管分割模型的准确率在85%以上，可以更清楚地观察脑血管结构的异常，帮助医生准确判断脑血管病变的程度，更准确、有效地诊断病情，可为确定患者的后续治疗方案提供可靠的依据，具有一定的理论价值和应用前景。

本文提出的BVSM 主要还是基于2D 卷积神经网络，对于3D 的MRA 数据的处理不可避免仍然会存在部分特征信息的缺失。为进一步提高模型的分割准确率，本文使用的是5 张相邻切片堆叠的形式，还可以考虑使用更多张的切片如7、9 张切片的形式输入模型，在不增加网络复杂度的前提下改进切片间特征提取的网络结构，或在不降低模型精度的前提下调整为轻量级的网络结构。这些改进有望提升模型的性能和适用性，值得进一步研究和探索。除此之外，本文提出的网络结构处理的数据为TOF-MRA，但实际临床使用的脑血管数据不仅限于MRA 数据，可以进一步拓展可用的数据集，如数字减影血管造影和CT 血管造影脑血管图像。脑部的重要组织除了血管还包含脑肿瘤和神经纤维等，可以考虑借鉴脑血管分割算法，研究基于深度学习神经网络的脑肿瘤和脑神经纤维的分割算法。