基于深度监督残差网络的肝脏及肝肿瘤分割

张家兵 张 耀 徐洪丽 沈舒宁 王 冬 刘同波 刘 坤 王彬华

1(解放军总医院研究生院 北京 100853)

2(中国科学院大学 北京 100049)

3(中国科学院计算技术研究所 北京 100190)

4(解放军总医院医学大数据研究中心 北京 100853)

5(解放军第 984 医院口腔科 北京 100094)

6(解放军总医院信息科 北京 100853)

7(首都医科大学附属北京友谊医院普外科 北京 100050)

1 引 言

肝脏是人体腹部中最大的实质性器官，而与肝脏相关的恶性肿瘤疾病已成为危害人类健康的最主要疾病之一[1]。据统计，2015 年我国新发肝癌病例约为 37 万例，位居全部恶性肿瘤发病谱的第 4 位；肝癌死亡病例约为 32.6 万例，位居全部恶性肿瘤死亡谱的第 2 位[2]。此外，随着我国老龄化趋势的加快，肝脏恶性肿瘤导致的医疗负担将日益严重。因此，对肝癌的有效防治依然是我国亟需解决的问题[3]。

临床上对于肝癌的治疗主要是进行肝切除术。其中，对腹部 CT 图像中肝脏的准确分割及确定肿瘤的类型、大小和位置是术前制定手术方案的重要依据。但是，肝脏与其周边器官间的灰度差异较小，很难准确找出肝脏的边界信息；另外在肝癌中晚期病变阶段，肝脏大小、形态、轮廓、肝实质以及肝血管等发生异常改变，同时不同肝脏肿瘤之间的影像学表现具有较大的特异性及部分肿瘤与肝脏正常组织间界限不明显。此外，CT 成像技术为环绕人体进行一定厚度的横断面扫描，故一次 CT 检查可获取数百幅的横断层图像，而这需要临床医生花费较长时间通过手工在每张图像上分割出肝脏和肝脏上的病灶。为了确定某个灰度不明显的疑似病灶，医生需要反复查看附近相邻的其他切片，有时甚至需要将不同期相间的图像进行对比才能确定病灶的类型、位置和范围。与此同时，手动对肝脏及肿瘤进行分割操作易受医生主观判断的影响，这进一步为术前精准手术方案的制定带来挑战。

目前肝脏及肿瘤分割方法大体可以分为两类:一类是传统方法，主要包括区域生长模型[4-5]、水平集模型[6]、主动轮廓模型[7-8]和图割模型[9]等。总的来说，传统的分割方法都存在一些缺点，如区域生长模型需要手动设置初始生长点，可能造成像素值分布不均而导致过度分割；同时，分割过程中往往需要手动设计并提取图像特征，且特征的表示能力也有限，受先验知识的影响较大。另一类是基于深度学习的分割方法[10]。这类方法可以从数据集中提取高维的特征，在医学影像分割领域受到了极大的关注[11-12]。卷积神经网络(Convolutional Neural Network，CNN)是深度学习的代表算法之一[13]，基于其高效识别图像的优点，研究者提出了很多改进算法，如全卷积神经网络(Fully Convolutional Networks，FCN)[14]、Unet 网络等[15-16]。其中，Unet 网络由于其结构简单，适用于医学影像数据较少的情况，但其仍存在以下不足:(1)浅层的细节特征无法被深层卷积层利用，特征传递效率受限；(2)在模型层数加深时，梯度回传路径更长，不利于模型的收敛；(3)Unet 等二维卷积网络无法利用 CT 影像的单位空间信息，分割所得图像边缘较粗糙。

本研究在 Unet 网络的基础上，提出深度监督残差网络(Deeply Supervised Residual Unet，DS-ResUnet)，以实现端到端的肝脏和肝肿瘤全自动分割，并提高分割效果。

2 材料与方法

2.1 数据

本文使用公开发布在 MICCAI2017 肝脏肿瘤分割(LiTS)挑战赛上的数据集[17]对算法的分割效果进行验证。该数据集包括来自 6 个医学中心提供的共 201 个腹部增强 CT 图像，包含多种类型的肝脏肿瘤疾病(如肝细胞肝癌、肝转移癌)，且肿瘤的大小不一。因为图像是由不同的设备和采集协议所得，所以数据集在分辨率和图像质量上呈现多样化。其中，CT 图像的帧内分辨率为 0.55～1.00 mm，帧间分辨率为 0.45～6.00 mm。

2.2 方法

本文提出的深度监督残差网络结构如图 1 所示，主要在 Unet 网络端到端的编码-解码结构中加入了残差卷积神经网络单元促进网络的梯度回传，并使用深层监督信号提升网络中各个层级特征的分辨力。由于 CT 图像是 3D 的，为了充分利用图像的空间信息，模型中所有操作都是基于 3D 的。

2.2.1 Unet

本文算法以 Unet 网络为基础模型。Unet 网络结构包括一个编码器和一个解码器。其中，编码器是一个卷积神经网络，通过一系列卷积和下采样操作，能够提取图像像素的上下文信息，并生成层级的特征图；解码器通过一系列反卷积操作恢复特征图分辨率，以提取目标的位置信息，并实现像素级的分类。在编码器和解码器之间，通过使用跨层连接，将编码器中的低层级特征直接输入到高层级的解码器中，这样可以使模型同时有效地利用低层级和高层级特征，实现肝脏和肝肿瘤的准确分割。

图 1 深度监督残差网络结构图Fig. 1 Overview of deeply supervised residual Unet

2.2.2 残差卷积神经网络

Unet 网络层数的增加能够有效提升网络的表达能力。深度卷积网络通常使用梯度下降算法进行训练，但随着层数的增加，网络深层的梯度很难回传到浅层，导致出现梯度消失和网络退化的问题，使深层网络的训练变得困难。在分类任务中，有学者提出使用残差连接[18]来解决以上问题。本文将残差连接引入 Unet 网络，提出残差卷积神经网络，以促进网络的梯度回传、优化训练过程，达到更好的肝和肝肿瘤分割效果。

残差卷积神经网络由若干个堆叠的残差单元组成，其形式化表达如下:

组成，用来学习残差函数；另一个分支是恒等映射。两个分支的结果相加，即可得到最终的输出结果。

本文提出的残差卷积神经网络结构如图 1 所示，网络左边为编码器、右边为解码器。编码器和解码器均有 5 个层级，第 1 层的特征通道数为 30，随后逐层翻倍。其中，在编码器各层中均有一个残差单元，该单元中的第 1 个卷积层步长为 1、第 2 个为 2，以实现特征图的下采样；在解码器的各层中，均有一个级联的反卷积层和残差单元，其中反卷积层用来实现特征图的上采样。每层编码器中的特征图，均通过跨层连接，最终与上采样的特征图拼接在一起，作为解码器的输入。

图 2 不同卷积神经网络单元示意图Fig. 2 Overview of different convolutional neural network units

2.2.3 深层监督残差网络

网络的学习过程即是根据损失函数，最小化像素级的二元分类误差。在处理 3D 数据时，巨大的参数量会导致网络训练过程变得困难，使得网络难以收敛，从而影响分割性能。为解决该问题，本文在残差卷积神经网络的隐藏层中加入了额外的监督信号[20]，提出深层监督残差网络。

在解码器的每一层中，本文使用上采样将低分辨率特征恢复到高分辨率，然后使用 softmax 层得到分割概率图，用以计算分割误差。解码器各层中的额外监督信号，能够有效促进网络的训练，提升网络的分割性能。本文使用交叉熵作为损失函数，其形式化定义如下:

2.3 训练过程

为更好地显示肝脏区域，将原始 CT 图像的窗宽设置为 400、窗位设置为 0。其中，每次输入一个 CT 图像的切块，大小均为 192×168×64。为扩充数据集，在训练过程中对输入数据进行随机翻转和旋转。对于网络优化，本文使用 Adam 优化器[21]，初始学习率为 0.000 3、输入批量大小为 2，共训练 600 次。

3 结果与评价

本文使用平均 Dice 系数、全局 Dice 系数、Jaccard 系数、平均对称表面距离(Average Symmetric Surface Distance，ASSD)、95% 豪斯多夫距离(Hausdorff Distance，HD95)、准确率和召回率[22]七个评价指标对分割结果进行定量评估。其中 Dice 系数和 Jaccard 系数用于评估分割区域的重叠程度，越大表示分割效果越好；ASSD 和 HD95 用于评估分割边缘的距离，越小表示分割效果越好；准确率和召回率为像素级，越大表示分割效果越好。

3.1 肝脏分割结果

为验证深度监督残差网络各模块的效果，在 LiTS 数据集中随机挑选 104 个 CT 图像作为训练集，余下 26 个 CT 图像作为验证集来进行消融实验。除了原始的 Unet 外，同时将文中第 2 小节提到的残差卷积神经网络、深度监督网络(即使用了深度监督信号的 Unet)算法与本文提出的深度监督残差网络进行对比实验验证，4 种算法的肝脏分割结果如表 1 所示。从表 1 可以看出，在 Unet 网络的基础上，残差卷积神经网络和深度监督网络在肝脏分割的表现上都有所提高，而结合了两者的深度监督残差网络能够进一步提升分割效果，在 7 个评价指标上都优于 Unet 分割网络。其中，与 Unet 相比，本文算法在平均 Dice 系数、全局 Dice 系数、Jaccard 系数、准确率和召回率分别提升了 0.35%、0.56%、0.63%、0.63% 和 0.05%，在 ASSD 和 HD95 指标分别显著缩小了 0.43 mm 和 1.34 mm。这表明基于深度监督残差网络的分割算法可以有效提升肝脏边缘的分割性能。

表 1 肝脏分割结果比较Table 1 The result of each indicator on liver

3.2 肝脏肿瘤分割结果

为使网络学习过程集中在肝脏内部的区域，减少非肝脏区域对算法的干扰，本文把肝脏分割的结果作为感兴趣区域(ROI)，并在感兴趣区域内进行肝脏肿瘤分割模型的训练，具体分割结果如表 2 所示。从表 2 可以看出，本文算法在分割肝脏肿瘤的综合性能上要优于 Unet 网络。具体地，深度监督残差网络在平均 Dice 系数、全局 Dice 系数、Jaccard 系数、准确率和召回率分别提升了 6.84%、3.18%、6.82%、0.78% 和 6.26%，在 ASSD 和 HD95 指标分别显著缩小了 2.78 mm 和 14.04 mm。

3.3 定性分析

为对分割结果进行定性评估，本文选取 6 个具有代表性的案例进行展示，具体如图 3 所示。其中，第 1 列为原始 CT 图像，第 2 列为金标准(即手工标注结果)，第 3～6 列分别为 3D Unet、3D 残差卷积神经网络、3D 深度监督网络和 3D 深度监督残差网络的分割结果。图 3 中红色区域为肝脏分割结果，绿色区域为肿瘤分割结果，蓝色箭头为标示肿瘤分割有差异的部分。从前 3 行可以看出，本文算法能够有效地检测出边缘和较小的肿瘤；从第 4、5 行可以看出，对于直径较小、灰度与周围组织比较接近的肿瘤病灶，本文算法分割的边缘相对更加准确；从第 6 行可以看出，3D Unet 将肝脏附近的胃分割成了肿瘤，而本文算法可减少附近组织的误分割。综合来看，本文算法在肿瘤较小和肿瘤边缘不清晰的情况下均能取得较好的分割效果。

表 2 肝肿瘤分割结果比较Table 2 The result of each indicator on liver tumor

图 3 肝脏及肝肿瘤分割结果示意图Fig. 3 Results of liver and tumor segmentation

4 讨 论

肝脏及肝肿瘤分割在临床诊断及治疗过程中具有非常重要的应用价值。通过计算机辅助诊断技术实现肝脏及肝肿瘤的分割，不仅可以减轻医生的重复工作、提高工作效率，还可以为医生制定治疗方案提供参考依据，也是后续肝脏三维重建、计算肝脏体积和术后剩余肝体积等参数的基础性工作，因此具有较高的临床应用价值。

传统的分割方法中，通过人工设计的图像特征，对肝脏和肝肿瘤的分割进行建模。Baâzaoui 等[5]使用区域增长法，根据图像的像素值，将初始的像素或子区域逐渐聚合成肝脏区域，实现了半自动的肝脏分割。其中，初始的像素或子区域由医生确定，这种交互式的分割算法可以利用医生的专业知识，实现更好的分割效果。然而，由于算法的效果仍然依赖医生的先验知识，所以不同使用者的分割结果存在一定差异，同时也未能有效地减少医生的工作量。此外，这种区域增长的方法在肝脏和肿瘤边缘的分割效果不佳。Min 等[7]提出基于水平集的分割方法，通过利用水平集对目标的纹理和边缘进行建模，能够在目标边缘取得较好的分割效果。

随着深度学习的兴起，基于深度神经网络模型的分割方法取得了极大的发展。其中，神经网络模型能够从数据中自动地学习图像特征，避免了人工设计特征的局限性。Ronneberger 等[15]提出的 Unet 神经网络模型，通过一个编码器提取图像特征、一个解码器恢复图像空间关系，最终利用图像不同层级的信息，实现目标的分割。要实现准确的肝脏和肝肿瘤分割，尤其是相对更复杂的肝肿瘤分割，需要利用足够多的图像的高级语义信息，因此网络需要具有足够的深度。然而，随着网络层数增多，网络难以收敛，极大地限制了 Unet 的性能。为了简化任务难度，Christ 等[23]提出级联的 Unet，将任务拆解成两部分，一个 Unet 用于定位器官，另一个 Unet 用于定位肿瘤。然而，这种流程相对更加复杂，需要较长的时间完成肝脏和肿瘤的分割，在临床应用场景中的作用有限。同时，大多数已有研究都是对 2D 图像进行建模，无法充分利用 CT 图像的三维空间信息。

为解决上述问题，本文提出的深度监督残差网络做出 3 点改进:(1)在深层网络训练中，为避免梯度消失的问题，在 Unet 中引入残差连接，增强深层梯度向浅层的回传，使浅层特征也能进行有效的训练，提高了模型的表达能力；(2)由于不同肿瘤的大小差异较大，为使模型对不同尺度的肿瘤都具有较强的分辨力，故在每个尺度的特征图中加上监督信息，这些监督信号能够促进每一尺度的特征的训练，使其对不同大小的肿瘤都具有较好的分割效果；(3)为充分利用 CT 图像的空间信息，在模型中使用 3D 卷积操作，充分提取肿瘤的空间结构信息，达到更好的肿瘤分割效果。

本文在公开的 LiTS 数据集上，通过平均 Dice 系数等 7 个指标对算法的有效性进行验证。相对于基准模型[15]，本文所提出模块的分割效果在 7 个指标上均有一定程度的提升。与 Christ 等[23]的研究相比，从肝脏分割任务来看，本文提出的深度监督残差神经网络在平均 Dice 系数提升了 1.76%；从肝肿瘤分割任务来看，本文算法在平均 Dice 系数提升了 11.51%。这再次表明了本文算法的有效性。

5 结 论

本文提出的深度监督残差网络(D SResUnet)，通过在 Unet 网络的基础上加入残差卷积神经单元和深度监督信号对肝脏及肝肿瘤进行分割；同时，模型中所有操作都基于 3D 图像，充分利用了图像的空间信息，符合人体解剖结构分布，解决了肝脏肿瘤三维网络分割计算复杂度高、分割准确率低的问题。在公开数据集 LiTS 上的结果表明，DS-ResUnet 网络结构在肝脏及肝肿瘤的分割性能都得到有效的提升，达到输入一组腹部增强 CT 图像，即可输出一组分割好的 CT 图像，实现了全自动分割肝脏和肝肿瘤区域的目的。