基于深度学习模型的X线胸片去骨的初步研究

毕忠旭，李子元，周宇，任昕，李津书，刘建新，王霄英，张晓东

X线胸片(chest X-ray,CXR)在临床工作中应用广泛，是诊断呼吸系统疾病的一线影像检查方法。但由于CXR是重叠影像，胸廓骨质结构和肺部在图像上的投影有重叠，导致当肺部病灶不显著时诊断医师在阅片时可能受到干扰，造成漏诊。

通过骨质抑制技术去除CXR上的骨组织，无论对影像科医师还是计算机辅助诊断系统都有帮助[1-2]。既往研究证明双能减影成像(dual-energy subtraction imaging,DES)技术对骨质结构的抑制效果极佳[3]。然而DES的辐射剂量相对较大，需要特殊的双能成像设备，而且心跳、呼吸产生的运动伪影可导致去骨效果不佳。如果能通过后处理软件使得常规CXR得到与DES相似的去骨效果，则可避免DES的上述缺点，这已成为近期CXR去骨研究的关注热点。目前除了传统的图像处理方法，基于深度学习模型的方法也有望用于CXR去骨处理[4-5]。本研究初步探索了一种深度学习算法实现CXR去骨处理的可行性。

材料与方法

本研究获得了本院伦理审查委员会的批准(2019-70)，按照本单位AI项目研发规范开展研究工作。

1.研究队列的建立

CXR数据来源于两个方面，一个是开源数据集[(JSRT+BSE JSRT，JSRT为日本放射技术学会(Japanese Society of Radiological Technology)，BSE为骨去除(bone shadow exclusion)][6]，其中包括241例正位常规CXR和与其对应的241例去骨CXR[7]，该数据集的去骨结果由传统的图像后处理算法得到；另一个数据集是自采数据集，来自于我院双能X光机(GE Discovery XR656)采集的59例临床胸部筛查患者的图像数据，其中包括常规CXR、去骨CXR和骨相CXR各59帧图像。将两个数据集整合，经过数据筛选，去除运动伪影较大以及去骨效果较差的图像后，建立研究队列，获得295例患者的常规CXR图像和去骨CXR图像各295帧。以295例患者随机分入训练集(80%)、调优集(5%)和测试集(15%)。

2.数据处理

将DICOM格式图像转化为PNG格式图像，转化时利用DICOM文件里的窗宽和窗位信息，将16bit图像数据转换为8bit图像数据，保证原始CXR图像和其对应的去骨CXR图像的窗宽和窗位一致。将研究样本数据集中的所有图像的覆盖范围统一，使其主要包括肺野区域，去除肩、腹等非肺野区域，并将剪切后的图像统一调整为像素大小2048×2048。模型输入为常规CXR图像，模型输出为去骨后的CXR图像。

模型训练的初始权重来源于ImageNet[8]预训练ResNet34[9]和VGG(VGG:Visual Geometry Group)16模型[10]。图像预处理步骤：原始图像缩小至像素大小为512×512，并对图像像素值按照ImageNet数据集的均值和方差进行归一化处理。扩增方法包括随机旋转、裁剪、缩放和平移等。

3.模型训练

在NVIDIA GPU P100设备上利用Pytorch(https://pytorch.org/)深度学习Python库，在整理好的CXR图像数据集中进行开发和训练。

以Resnet34为卷积神经网络(convolutional neural network,CNN)深度学习模型的基础架构，结合动态UNet网络[11]，并以VGG网络为基础，提取图像激活及风格特征组成损失函数(Loss Function)，逐步建立CXR去骨模型(图1)[11-12]。

图1 基于ResNet34基础架构并结合动态UNet网络的CXR去骨模型的结构。

4.评价指标

CXR去骨模型基于常规CXR图像而生成去骨的CXR图像，即由输入的图像生成新的图像，属于图像生成模型。在图像训练及测试阶段，主要涉及三类图像：输入图像I(input)，目标图像T(target)和预测生成图像P(prediction)。其中目标图像是指模型需要学习的对象，预测生成图像是指模型预测的结果。对于该模型的去骨效能，主通过比较目标图像T和预测生成图像P来进行评估。用测试集的峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structure similarity，SSIM)评价CXR去骨模型的效能。

PSNR是峰值信号的能量与噪声的平均能量之比，其计算公式为：PSNR=10×log10(MaxI2/MSE)，其中MaxI指图像灰度的峰值，MSE指相比较的T与P两个图像像素之间的均方误差值(mean square error，MSE)，是一种评估图像质量的客观标准。PSNR的单位是分贝(dB)，数值越大代表图像质量越好，一般来说，PSNR与图像质量的关系如下：PSNR≥40dB，提示图像质量极好；30dB≤PSNR<40dB，提示图像质量较好；20dB≤PSNR<30dB，提示图像质量差；PSNR<20dB，提示图像质量极差。

SSIM也是一种图像质量的评价指标，分别从亮度、对比度和结构三方面度量图像之间的相似性，分别用T和P两组图像的均值作为亮度、标准差作为对比度、协方差作为结构相似度的相应指标。SSIM取值范围为0～1，值越大表示图像T与P之间的相似度越高[13]。

结 果

所建模型在测试集中生成的去骨CXR图像的PSNR和SSIM值均较高(图2)：PSNR为25.35～37.22dB，平均(31.94±2.49)dB；SSIM值为25.35%～98.48%，平均93.37%±5.11%。

图2 测试集病例。a)常规CXR图像I作为输入图像；b)由输入图像生成的目标去骨CXR图像T；c)模型预测生成的去骨CXR图像P，显示预测图像的质量较好(PSNR为33.35dB)，预测图像与目标图像的结构相似性较高(SSIM值为95.44%)。 图3 测试集病例。a)常规CXR图像I作为输入图像；b)由输入图像生成的目标去骨CXR图像T；c)模型预测生成的去骨CXR图像P，显示预测图像与目标图像T的结构相似性较差(SSIM值仅79.64%)。

根据PSNR值分析，测试集中45例预测图像与DES真实去骨图像的PSNR均值达31.94dB，其中PSNR小于30dB的情况仅有5例，即88.89%(5/45)的预测图像的质量较好。根据SSIM值分析，测试集中45例预测图像的SSIM的均值达到93.37%，其中SSIM值小于88%的情况仅见于6例(图3)，即86.67%(6/45)的预测图像与目标图像的结构相似性达到88%以上。

讨 论

CXR是呼吸系统疾病的首选影像检查方法，对CXR的阅片工作不仅包括影像专业的医师，也常常包括临床医师。CXR的阅片准确性与诊断者的经验密切相关，但即使是有经验的阅片者也可能漏诊肺内不显著的小病变，主要是由于CXR是重叠影像，胸部区域的骨质结构对疾病的检出和鉴别诊断会带来干扰。

双能量X线胸部检查的研发和临床应用探索已有几十年。其基本原理是将胸片上骨质和软组织分离，分别生成骨图像和软组织图像，在临床应用中的主要优势是检出被肋骨遮蔽的软组织结节以及对钙化的定性[14]。尤其是对不显著的微小肺内病变，可提高低年资医师以及非影像诊断专业的临床医师的诊断准确性[15]。最初研究的关注点是通过X线和探测器的改进获得更好的物质分离图像，以提高诊断效能[16]。近年来随着深度学习技术的发展，除了在CXR诊断方面的研究[17]，也有关于深度学习模型应用于CXR图像的去骨处理的相关研究报告，认为该技术可提高影像医师对CXR阅片的工作效能，同时也能提高相关基于CXR图像的深度学习分类模型的效能[1,2]。

本研究结果显示，深度学习模型可以用于常规CXR图像的去骨处理，这与既往的研究结果相似[4-5]。对于测试集中SSIM最小值(79.64%)的图像(图3)，可以看到由双能量减影直接生成的目标图像中的伪影较为严重，肋骨痕迹明显，而从常规CXR去骨模型生成的预测图像则较好地抑制了骨质结构，但由于目标图像中伪影的影响，导致反映结构相似性的SSIM值较低，但从该示例也进一步说明我们的CXR去骨模型可以更好地预测生成去骨CXR图像，避免双能减影成像过程中身体运动导致的伪影。

AI模型的研发和泛化过程中应考虑技术问题[18]。本研究CXR去骨模型训练过程中未对设备进行筛选，使用了连续数据。CXR图像来自本单位在实际临床工作中使用的双能量X光机以及开源数据集，其中目标图像T的生成方法也不同，自采数据集采用的是双能量减影，开源数据集则来源于其它去骨算法[7]。全部图像由不同技师完成摄片工作，未根据设备、人员及生成目标图像的方法进行分组。本研究结果证明了不同DR设备、不同技师及不同去骨方法生成目标图像的数据均可用于模型的训练，且无论来源于何种DR设备的图像，其测试集数据的预测生成图像均达到较好的结果。由于常规CXR图像质量基本可以保证，来源于不同设备的图像性质差异不大，从这个角度考虑，在CXR去骨模型泛化过程中，没有图像采集技术上的风险。

本研究的局限性：首先，CXR去骨模型的结果评价指标目前只使用了评估图像质量和结构相似性的PNSR和SSIM。但对于临床应用来说，不同年资的影像医师的主观评估也是非常重要的，在后续研究中需要进一步开展医师针对去骨效果的评价研究，观察在去骨过程中能否进一步利用深度学习模型实现对病灶的自动检测和定位等[19-20]，这才是图像处理的最终目的。其次，模型研发后应在实际临床工作中进行验证，开展前瞻性和随机对照临床试验，证明使用AI模型的临床获益。第三，CXR 去骨模型在本单位经过验证后，应尝试将其泛化，应用于不同医疗机构和不同临床场景下，尤其是应与实际报告过程对接，在提高诊断准确性的前提下，进一步提高工作效率[21]。

总之，使用深度学习模型对X线胸片中的骨质结构进行去骨处理是可行的，可用于进一步研究去骨后处理图像对医学影像医师读片工作效率及相关CXR诊断模型效能的影响并尝试应用于临床。