深度学习在骨折诊断中的应用综述

哈里旦木·阿布都克里木，冯 珂，史亚庆，尼合买提·阿布都克力木，阿布都克力木·阿布力孜

1.新疆财经大学信息管理学院，乌鲁木齐 830012

2.伊犁州友谊医院骨外一科，新疆 伊宁 835000

骨折是现代社会生活中的常见疾病，打闹、摔倒、车祸等原因都可能导致其发生。骨折发生后主要伴随肢体变形、肿胀、异常运动等典型表现，情形严重时甚至引发休克。骨折伤后遭到误诊漏诊，往往会错过最佳治疗时间，造成病情的恶化，使得受伤肢体不能最大限度地恢复其功能，甚至导致患者残疾或死亡。因此，对疑似骨折进行及时准确的诊断，予以适当治疗极其重要。及时的诊断可以避免更严重后果的产生，准确的处理能够最大限度地恢复骨骼功能。然而，即使是经验十分丰富的医生，误诊漏诊现象也不可避免。当下，骨折诊断主要依据患者病史、临床表现和影像进行。随着医学影像技术的发展、影像需求的增加和影像数据的日益丰富，临床医生阅片的工作强度也在与日俱增。阅片疲劳、经验不足、水平有限等原因都会造成误诊漏诊。因此，使用深度学习辅助医生进行骨折诊断成为当下一大研究热点。

深度学习是机器学习的分支，利用多层次神经网络处理和解释复杂数据，从而实现自动化特征提取和模式识别，是一种重要的人工智能方法。通过大规模数据训练和模型参数优化，深度学习模型可以取得更高的准确性和泛化能力。近年来深度学习发展迅速，2012 年，Hinton 研究小组应用多层卷积神经网络（convolutional neural network，CNN）结构进行图像识别，将ⅠmageNet评测中的分类错误率降低到15.3%[1]。2017 年，Olczak等[2]首次将深度学习应用于骨骼X 射线（X-Ray），在腕部和踝部影像中诊断是否存在骨折，准确率达到83%，表明深度学习适用于在X射线中诊断骨折。2022年，刘士远教授在《中国医学影像人工智能发展报告（2021—2022）》中指出，应用人工智能进行病灶自动检出是临床最具价值的功能，但报告显示当前骨关节相关人工智能软件在影像科室辅助诊断中仅占比6.8%，骨折辅助诊断系统具有较大发展潜力。

近年来，深度学习辅助骨折诊断主要利用深度学习模型对影像进行分类、检测和分割，确定影像中是否存在异常，判断属于何种骨折类型，定位骨折发生位置，标注疑似骨折区域等，为医生诊断提供辅助意见。深度学习模型通过严格的性能测试后方可用于辅助诊断系统开发，并根据临床反馈不断更新。深度学习在骨折诊断中的应用流程如图1 所示。由于医学影像具有不同特点，且人体骨骼结构复杂，因此，目前已有的研究大多针对各骨折部位训练不同的深度学习模型，如桡骨、腕骨、肋骨、髋部等部位的骨折检测和分类。近年来，深度学习辅助骨折诊断已取得一定的研究成果，Dankelman等[3]对使用CNN 检测和分类骨折的17 篇文献进行分析，其中10 篇文献表明辅助诊断方法可以提高临床诊断准确性。有关深度学习在骨折诊断中应用的研究逐渐得到广泛关注[4-7]。

图1 深度学习在骨折诊断中的应用流程Fig.1 Application process of deep learning in fracture diagnosis

围绕深度学习在骨折诊断中的应用流程，本文首先介绍骨折影像；汇总相关的影像数据集；然后对文献中涉及的深度学习方法进行描述与分析；结合不同方法，对其在各类骨折诊断中的研究及应用现状进行描述；接着对骨折辅助诊断系统进行介绍；对领域内存在的一些挑战进行讨论并提出展望；最后进行总结。

1 骨折影像

骨折影像是通过医学影像技术获得的用于显示骨骼结构损伤情况的影像，包含骨折位置、严重程度、骨折线形态等信息。随着医学影像技术的发展和影像设备的多样化，X射线、计算机断层扫描（computed tomography，CT）和磁共振成像（magnetic resonance imaging，MRⅠ）等影像成为大多数医学影像数据的来源和病灶识别的手段，是临床医生判断和定位骨折时的必要依据。通过观察骨折影像对患者病情进行诊断，需要临床医生具有较长时间的知识学习和丰富的经验积累。但即使是经验丰富的医生，在诊断过程中也存在漏诊误诊的可能[8]。因此，在进行骨折诊断时临床医生需谨慎、细致地阅读影像，结合患者的临床症状做出准确的诊断。然而阅读大量影像容易造成医生阅片疲劳，导致诊断失误。深度学习辅助骨折诊断可以减轻临床医生的阅片压力，减少诊断过程中的漏诊误诊。

为保证深度学习辅助诊断模型具有较高的准确率和可靠性，使用高质量影像数据集进行模型训练至关重要。高质量影像数据集中应包含大量的骨折影像，涵盖各种类型和层次的骨折。此外，数据集的标注也需精确全面，以保证模型可以准确地学习和识别骨折。然而，大量的影像数据分散在各个医院和研究机构，由于隐私、伦理等原因，不易进行高效地收集。医学影像设备机型繁多、参数各异，影像数据格式多样，难以进行统一的处理。此外，与自然图像相比，医学影像一般含有较多噪声和伪影。因此，影像数据不易进行大规模的收集和处理，收集到的影像常存在涉及患者隐私、数据量不足、成像不清晰等问题，影像中骨折区域的标注存在困难。

对影像进行相关处理可以提高影像质量和数据集规模，使其更适用于深度学习任务。常用的影像处理方法有数据脱敏、数据标注和数据增强。为保护患者隐私，在相关机构收集影像数据后首先应进行脱敏操作，去除影像中的患者身份信息，如：姓名、照片、身份证号等。除人工去除敏感信息外，一些现有软件也可完成脱敏操作，如RⅠAS 软件[9]。脱敏完成后，需要对影像进行人工标注以形成可用的数据集。影像数据标注需要经验丰富的医生对影像进行注释，数据集的正确标注是模型取得理想预测效果的前提。辅助医生进行影像标注的软件有很多，每款软件都有其特点，表1 中列出常用影像标注软件。针对影像数据量少以及各类影像数量不平衡等问题，通常采用数据增强方法对数据集进行扩充。医学影像处理中常用的数据增强方法主要包括以下三种：（1）几何变换。如图像裁剪、左右平移、大小缩放等。（2）颜色变换。如添加噪声、对比度调整等。（3）深度生成模型。如生成对抗网络模型[10]（generative adversarial network，GAN）及Diffusion模型[11]。

表1 常用影像标注软件Table 1 Common image annotation software

2 数据集

应用大规模数据集进行训练时，深度学习模型通常具有更好表现。在深度学习应用于骨折诊断的研究中，绝大多数研究者选择与相关机构合作，例如与医院合作收集影像，寻求专家帮助进行影像的标注以建立数据集等。然而，通过与相关机构合作获取的数据集规模通常较小，Federer 等人[12]的研究发现，31%的文献涉及患者数量少于100人，最小的数据集仅包含4名患者，涉及患者的中位数是250人。因此，研究者通常选择使用数据增强操作以增加数据集规模。其中，应用最多的数据增强方式是几何变换。比如对腕部X射线进行水平翻转、不同尺度的旋转、剪切和缩放[13-15]，对髋部X射线进行平移、旋转和剪切[16-21]，或者对胸部X 射线进行翻转、旋转和裁剪[22]等。有研究同时涉及到几何变换和颜色变换类数据增强，如对踝关节X射线进行随机旋转、翻转、亮度和对比度调整[23]等。Rama等[24]对原始数据集进行9种几何变换和颜色变换数据增强操作，实验结果表明使用数据增强后的数据集训练的深度学习模型具有更佳性能。部分研究不涉及某些数据增强操作，如不采用剪切、增加噪声等操作生成新影像[25]，以防止错误分类。此外，使用深度生成模型进行数据增强也逐渐受到研究者关注。Mutasa等[26]使用GAN模型对训练集进行数据增强操作，经数据增强后模型的精度得到明显提高，先进的数据增强技术可以减轻数据集规模小对深度学习模型带来的限制。对于医学影像亮度低、对比度差、病灶边界不清晰等问题，数据增强手段可以增加影像的对比度，降低影像的噪声，突出对于训练模型更有用的特征，以更好地进行分类、检测和分割任务[27]。此外，数据增强可用于避免模型过拟合[14，17-18]。

此外，一些骨折相关的公开数据集得到研究者广泛关注。如：5K+ CT Ⅰmages on Fractured Limbs 数据集[28]、MURA数据集[29]、RibFrac数据集[30]等，表2对相关的骨折影像数据集进行介绍。

表2 骨折影像数据集Table 2 Fracture imaging dataset

3 基于深度学习的骨折诊断方法

充分学习临床高级医生的丰富经验以训练辅助诊断模型，能够为缺乏经验的普通医生提供可靠的辅助意见，减少因经验不足造成的误诊漏诊，缓解临床医生阅片压力。目前，基于深度学习的骨折诊断方法主要采用图像分类模型、目标检测模型和图像分割模型进行骨折影像检测和分类。

3.1 图像分类模型

基于深度学习的骨折分类普遍采用经典的图像分类模型进行，利用图像分类模型可以检测影像中是否存在骨折以及对具体的骨折类型进行分类，如按照2018版AO/OTA 分型[31]和Garden 分型[32]等标准进骨折类别划分。图像分类通常借助卷积神经网络模型完成。自AlexNet[1]在2012 年被提出后，以CNN 为代表深度学习开始在图像分类研究中得到广泛应用。在骨折诊断领域，研究者多选择采用CNN模型检测和分类不同骨折，如Kim等[13]基于预训练的Ⅰnception v3模型检测腕部骨折，Urakawa 等[17]训练VGG16 模型检测股骨转子间骨折，此外还有髋部骨折[16，19]、肱骨近端骨折[33]、股骨近端骨折[34]、桡骨远端骨折[35]、椎体骨折[36-37]等的检测和分类。

基于CNN 进行图像分类的模型有很多，主要包括从AlexNet 开始不断加深网络深度的VGG-Net[38]、GoogLeNet[39]、ResNet[40]和ResNeXt[41]等模型，从GoogLeNet开始不断增加网络宽度的Ⅰnception系列，通过特征处理提升网络性能的DenseNet[42]和EfficientNet[43]等模型。基于CNN 模型的深度学习辅助骨折分类研究中，影像经卷积层提取低层到高层的特征，在池化层对输出特征图执行下采样操作。对影像进行多层卷积和池化操作，最后将特征图被送入全连接层进行类别判断，输出最终分类结果。如图2为CNN网络基础结构示例。

图2 CNN网络示例Fig.2 CNN network example

CNN 模型在影像分类任务中已取得广泛应用，2020年，自然语言处理领域火爆的Transformer[44]模型结构被引入计算机视觉领域，Vision Transformer（ViT）[45]、Swin Transformer[46]等模型开始在图像分类任务中展现其优异性能，ViT 模型结构如图3 所示。Tanzi 等[47]首次将ViT 架构应用于股骨近端骨折分类，模型选择Large-16配置并使用注意力图可视化图像中相关区域，与Ⅰnception v3 和分层CNN 模型相比，ViT 的分类准确率提高了25%，优于CNN模型。

图3 Vision Transformer模型结构Fig.3 Vision Transformer model structure

伴随着图像分类模型的发展，其提取特征信息的能力不断优化，在分类任务中的性能也不断刷新。近年来，研究人员利用图像分类模型进行骨折检测和分类取得了较好进展。Lindsey 等[48]的研究表明，对于疑似骨折，经训练的深度神经网络可以显著改善临床医生的诊断准确性，从而为病患确诊、及时治疗和预后处理带来实质性的改善。ⅠCCV（Ⅰnternational Conference on Computer Vision）、CVPR（ⅠEEE Conference on Computer Vision and Pattern Recognition）、MⅠCCAⅠ（Ⅰnternational Conference on Medical Ⅰmage Computing and Computer Assisted Ⅰntervention）等会议中应用于视觉任务的深度神经网络架构不断迭代和更新，为图像分类模型应用于骨折诊断提供了研究基础。骨折影像数据集的规模和影像标注的准确性影响图像分类模型的训练效果，应用高质量标签和大规模数据集训练的模型通常效果更佳。

3.2 目标检测模型

在医学影像分析中，目标检测指对影像中的病灶区域进行定位和识别，对疑似骨折位置进行标注，为医生提供可靠的辅助意见，降低因缺乏经验或阅片疲劳带来的影响。目标检测模型可以分为双阶段和单阶段两种类型，其结构如图4所示。模型首先使用特征提取网络进行特征提取，后续操作依据提取到的特征图进行，特征提取网络一般采用各图像分类模型。

双阶段目标检测模型在第一阶段对影像中的骨折区域进行识别，提取出感兴趣区域（region of interest，ROⅠ）候选框，在第二阶段通过分类模型检测和分类ROⅠ中的骨折，最终模型输出骨折区域边界框以及具体分类结果。双阶段模型通常精度较高，但速度较慢。骨折检测领域常用的双阶段目标检测模型为Faster R-CNN[49]，模型结构如图5 所示。骨折影像中的骨折线尺寸通常很小且难以检测，明确ROⅠ可以使模型在进行骨折分类时专注于相关的解剖区域，避免影像中冗余信息或噪声的干扰，与直接使用整幅影像进行骨折检测和分类相比性能通常更好。Yahalomi 等[25]训练Faster R-CNN 模型检测和定位桡骨远端骨折，模型准确率远高于放射科医生的平均水平，且为罕见疾病的检测提供了可能。Chen等[50]训练Faster R-CNN的模型进行胸腰椎骨折分类，对于ABC 型分类，模型的总体准确率较高。Liu 等[21]训练Faster R-CNN 模型检测和定位股骨转子间骨折，与骨科主治医师相比，模型检测性能更好，且耗时更短。目标检测模型常搭配不同的图像分类模型作为分类器进行使用，例如原始Faster R-CNN 使用VGG 16 进行图像分类，Gan 等[51]使用Ⅰnception v4 作为Faster R-CNN的分类器对是否存在骨折进行判断。

图5 Faster R-CNN模型结构Fig.5 Faster R-CNN model structure

单阶段目标检测模型使用一次过程对影像进行分类和定位，相比之下速度更快。骨折检测研究中常用的单阶段目标检测模型有RetinaNet[52]和YOLO 系列等，例如YOLO v3[53]、YOLO v5[54]以及YOLO v8（https：//github.com/ultralytics/ultralytics）。如Krogue 等[55]训练RetinaNet模型，采用DenseNet169作为分类网络自动检测、定位和分类髋部骨折；Li等[56]训练YOLO v3模型自动检测椎体骨折；Gasmi等[57]训练基于RetinaNet架构改进的Rayvolve 模型检测和定位儿童四肢骨折。单阶段目标检测模型适用于进行实时目标检测，检测速度快。使用单阶段目标检测算法辅助医生进行骨折检测，可以极大地降低因未及时检测出骨折造成的不良影响。

除了单独的模型之外，一些已集成完备的开源平台同样可以为骨折诊断领域的目标检测提供帮助。较常使用的有FaceBook 发布的Detectron2（https：//github.com/facebookresearch/detectron2）和商汤科技发布的MMDetection（https：//github.com/open-mmlab/mmdetection）。目标检测模型在不规则病灶检出中有较好的能力，然而其训练过程需大规模高质量数据集，训练数据需进行像素级注释，提供边界框，因此标注成本较高。此外，模型在小目标检测中常会发生遗漏，不能检测到所有病灶。

3.3 图像分割模型

医学影像分割可被视为对影像中每个像素进行分类的过程。通过影像分割可以定位影像中的病灶区域，明确病灶形态，排除影像中冗余信息的干扰，为进行影像检测和分类任务缩小检测区域，提高骨折诊断效率。图像分割模型的训练需要使用具有像素级注释的骨折影像，模型为影像中每个像素生成一个是否存在骨折的概率，依据概率自动分割出所需目标。利用图像分割模型进行骨折病灶区域的提取并生成分割图后，可以精确地指出在像素级别上使用哪些特征进行骨折检测和分类。这种方法具有一定的可解释性，不须借助其他可解释性方案。目前较常使用的图像分割模型有全卷积网络（fully convolutional networks，FCNs）[58]、U-Net[59]和Mask R-CNN[60]等。如Anttila等[61]训练基于U-Net的分割模型检测桡骨远端骨折，模型为影像中每个像素点生成是否存在骨折的概率，可以正确识别96.7%的骨折。Joshi等[62]对Mask R-CNN架构进行修改，主干网络采用特征金字塔网络（feature pyramid network，FPN），并使用改进的ROⅠAlign 精准裁剪ROⅠ，以此对X 射线中的腕部骨折进行检测和分割。

U-Net采用编码器-解码器结构，模型左侧通过卷积和池化操作对图像进行特征提取，右侧通过上采样和跳层连接得到与输入尺寸相同的特征图，对像素点进行分类实现图像分割。U-Net网络示例如图6所示。

图6 U-Net网络示例Fig.6 U-Net network example

Mask R-CNN 同时进行目标检测和分割，模型在Faster R-CNN 基础上增加了一个用于像素级目标实例分割的并行分支，使用ROⅠalign 层代替ROⅠ池化层。作为对Faster R-CNN的扩展，模型准确率更高，结构如图7 所示。由于不同个体、不同部位、不同时刻得到的骨折影像各异，且骨折线细小、病灶边缘不清晰，因此骨折影像分割任务面临一定的挑战。

图7 Mask R-CNN模型结构Fig.7 Mask R-CNN model structure

3.4 小结

利用高质量的骨折影像数据集训练模型，进行是否存在骨折或者存在何种类型骨折的判断，可以帮助医生完成对影像的初步筛选，进而对存在骨折的影像重点关注，降低骨折漏诊的可能。然而，数据集的大小和质量、医生标注的正确性、模型的可解释性等均会对模型性能产生影响。表3中对各方法的优势、局限等进行比较。

表3 深度学习辅助诊断方法Table 3 Deep learning assisted diagnostic methods

4 深度学习在各类骨折诊断中的应用

由于高质量骨折影像数据集的建立存在一定困难，以及医生对于影像的标注具有主观性，不存在完全统一的标准，因此，开发出适用于各种类型影像和不同部位骨折的通用深度学习模型进行骨折检测和分类相对困难，基于深度学习的骨折诊断研究通常针对具体骨折类型展开。由于骨骼结构的复杂性，本节按照上肢骨折、下肢骨折、肋骨骨折、椎体骨折及疑难骨折进行分类，在各类型骨折诊断任务中对深度学习方法的具体应用进行详细介绍。

4.1 在上肢骨折诊断中的应用

上肢骨主要包括桡骨、尺骨、肱骨等，是极易发生骨折的部位。上肢骨折会造成前臂和手的活动范围受限，引起前臂疼痛、肿胀、畸形等。上肢骨折漏诊占所有漏诊骨折的43%～48%，特别是在腕部的X射线中[63]。因此上肢骨折的准确检出和及时治疗具有非常重要的社会意义。

除了直接应用图像分类模型实现骨折检测和分类外，杨锋等[64]基于迁移学习思想设计了自动分型系统DRF-Net 进行桡骨远端骨折分类，模型可以达到84.2%的准确率，优于AlexNet 和ResNet50 等图像分类模型，具有一定的泛化能力。在X 射线中，不同腕部骨折的基本区别是纹理特征。为更好地了解腕部组织的实际纹理特征，Jabbar 等[14]设计基于残差网络的模型RN-21CNN进行骨折检测，与图像分类模型Ⅰnception v3、VGG16、VGG19和ResNet50相比，RN-21CNN在的检测性能更好。

上肢骨折辅助诊断中最常用的目标检测模型为双阶段模型Faster R-CNN，研究者多对其进行改进以提高检测性能。Thian等[15]将Faster R-CNN模型的主干网络替换为Ⅰnception ResNet v2，模型能够以高灵敏度检测和定位腕部X 射线中的桡骨和尺骨骨折。杨锋[65]将Faster R-CNN 模型的主干网络替换为ResNet101，模型在桡骨远端骨折分类中的准确率达到88.07%。杨昆等[66]在Faster R-CNN 模型中加入导向锚定以生成更精确的边界框，并将主干网络替换为ResNet101，模型在检测掌指骨骨折时可以达到69.3%的检测精度。此外，为开发出最兼容的腕部骨折检测模型，Hardala等[27]基于目标检测平台MMDetection 实现了26 种不同的骨折检测模型，包括有无数据增强的20 种目标检测模型，5 种不同的集成模型，以及提出的腕部骨折检测模型WFD-C，WFD-C 模型实现了最佳的检测效果。Min 等[67]使用两阶段集成深度学习框架在腕部X 射线中自动区分关节内和关节外桡骨远端骨折，模型首先使用YOLO v5网络的集成模型定位桡骨远端感兴趣区域，然后使用EfficientNet-B3 网络的集成模型将影像分类为关节内和关节外骨折。与使用ResNet18、DenseNet169、Swin Transformer 和EfficientNet-B0、B1、B2、B4 的两阶段分类框架相比，模型性能更佳。Ju 等[68]基于YOLO v8 模型在儿童腕部X射线中进行骨折检测，并采用调整图像亮度和对比度等数据增强手段提高其性能，模型在骨折检测中的表现优于YOLO v5 和未采用数据增强的YOLO v8 模型，并基于此开发了检测儿童腕部骨折的应用程序，辅助临床医生解读腕部X射线。

如表4，对深度学习在上肢骨折诊断中应用的文献进行了梳理。

表4 深度学习在上肢骨折诊断中的应用Table 4 Application of deep learning in upper limb fracture diagnosis

4.2 在下肢骨折诊断中的应用

下肢骨折会影响人的行动，造成生活困难。常见的下肢骨折主要有髋部骨折和足踝骨折等，髋部骨折一般指股骨转子间骨折、骨盆骨折以及股骨颈骨折，约占骨科手术患者的20%，是我国老年人群发病率最高的骨折类型，下肢骨折漏诊率与上肢骨折相似[6]，急需引起社会的关注。

近年来，改进图像分类模型进行下肢骨折诊断的研究取得了较多成果。Urakawa 等[17]训练VGG16 模型检测股骨转子间骨折，使用数据增强、L2正则化和提前停止三种策略避免模型对训练集的过拟合，准确率超过了临床骨科医生。Bae 等[20]在ResNet18 模型中添加注意力模块CBAM++进行股骨颈骨折检测，模型性能得到提升，并通过Grad-CAM[69]提供可视化结果。Beyaz等[70]在检测股骨颈骨折的研究中加入遗传算法来优化模型所用架构的超参数，随着遗传算法的加入，模型的准确率由77.7%增加至79.3%，分类性能得到提升。Cheng等[71]结合DenseNet、点监督和FPN，开发了首个在骨盆X 射线中识别各类骨折的深度学习模型PelviXNet，模型在检测骨盆和髋部骨折时表现与临床医生相当，且能够对医生误诊的骨折进行检出。Ashkani-Esfahani 等[72]比较Ⅰnception v3 和ResNet50 模型对不同类型踝关节骨折的检测性能，Ⅰnception v3可以检测到98.6%的隐匿性踝关节骨折，整体性能优于ResNet50。此外，部分研究者对影响模型性能的因素进行探究。Kitamura 等[23]训练Ⅰnception v3、ResNet 和Xception 等5 种不同的CNN模型并对其进行集成，对于单个病例的全部3个视图，集成模型准确率为81%，在数据集规模较小的情况下，多视图补充信息提高了模型的准确率。Adams等[18]比较AlexNet和GoogLeNet在不同规模的髋部X射线数据集中检测股骨颈骨折的准确性，随着数据集的增大，AlexNet和GoogleNet的准确率分别从81.9%和88.1%提高到89.4%和94.4%。Olczak 等[73]根据2018 版AO/OTA标准将踝关节骨折分为A、B、C 3 种类型，基于改进的ResNet 架构进行踝关节骨折具体类型分类。由于A 型骨折样本量不足，模型无法充分学习A 型骨折的特征，因此A型踝关节骨折的检测性能最差。

关于使用分割模型辅助骨折诊断，首先训练CNN模型对影像中的股骨颈区域进行定位和分割，然后使用分类模型对分割图进行分类。Prijs 等[74]同样采用两阶段模型，第一阶段CNN用于筛选难以识别的骨折，基于选择出的影像训练第二阶段的模型Mask R-CNN，以此对踝关节骨折进行分类、检测和分割。在包含不确定病例的外部验证集中，模型准确率为89%。

如表5，对深度学习在下肢骨折诊断中应用的文献进行了梳理。

表5 深度学习在下肢骨折诊断中的应用Table 5 Application of deep learning in lower limb fracture diagnosis

4.3 在肋骨骨折诊断中的应用

肋骨骨折是胸部受创后最常见的损伤，多与车祸、暴力等事件有关，肋骨骨折的死亡率高达20%～50%，急需先进手段辅助诊断[75]。采用CT作为依据进行诊断可以提高骨折检出率，减少漏诊和误诊[76]。然而评估大量CT 以检测肋骨骨折是一项细致且耗时的工作，可能导致患者无法获得及时有效的治疗，从而引发肺部感染等各种并发症。因此，及时准确地对肋骨骨折做出诊断具有显著意义。

在肋骨骨折检测研究中，Weikert 等[77]训练两阶段DCNN模型检测急性和慢性肋骨骨折，模型首先使用基于ResNet的3D DCNN筛选疑似骨折区域，然后对疑似区域进行分析得到最终输出，可以检测到书面CT 报告中未提及的急性肋骨骨折，减少漏诊误诊。此外，研究者多采用目标检测模型Faster R-CNN进行肋骨骨折检测。Zhou 等[78]研究表明，Faster R-CNN 在肋骨骨折检测和分类中的性能优于YOLO v3，因此研究中选择Faster R-CNN 模型进行辅助诊断，并输出具有一定可解释性的结构化报告，在模型辅助下，放射科医生的诊断准确率提高了10.8%。Zhang 等[79]利用由Foveal 网络和Faster R-CNN组成的自动肋骨骨折检测模型辅助放射科医生阅读CT，模型辅助下，肋骨骨折检出率可以增加4.8%～6.1%。

在使用图像分割模型辅助肋骨骨折检测的研究中，Jin 等[30]构建3D U-Net 深度学习模型FracNet，利用RibFrac 数据集训练模型以检测和分割肋骨骨折，模型辅助下临床医生的诊断时间减少了86%，且具有更高的诊断准确率。Yao 等[80]构建三步肋骨骨折检测模型，模型首先采用U-Net 对胸部CT 进行分割，然后在影像中定位肋骨位置以排除邻近骨骼的干扰，最后采用3D DenseNet 模型对肋骨骨折进行分类。对于只有很少异常像素点的细小骨折模型也具有较好性能，能够以86.9%的精确率检测骨折。Lin 等[22]基于DCNN 模型进行肋骨骨折定位和诊断，首先使用改进的V-Net网络在预处理后的CT中进行肋骨区域分割，然后使用VRN-Net进行关键点检测，结合关键点框定肋骨骨折位置，最终输出骨折类别和定位框，模型可以自动标记骨折位置，减轻医生手动定位的负担。

如表6，对深度学习在肋骨骨折诊断中应用的部分文献进行了梳理。

表6 深度学习在肋骨骨折诊断中的应用Table 6 Application of deep learning in rib fracture diagnosis

4.4 在椎体骨折诊断中的应用

椎体骨折是一类脊柱骨折，常见于青壮年男性，发病率随年龄的增大而增加。虽然椎体骨折发病率较高，但因症状较轻而往往不被察觉，如仅引起轻微的疼痛。除非专门进行椎体骨折检查，在其他部位拍摄的影像中较难对椎体骨折进行识别[81]。因此，医生在诊断椎体骨折时应保持警惕。

关于图像分类模型，刘珂等[82]将脊柱矢状位CT 中的病变椎体手动标记为ROⅠ并生成边界框，输入基于ResNet50 的深度学习模型中检测是否存在脊柱良恶性压缩骨折，分类准确率为88%。近些年来，采用目标检测模型进行椎体骨折辅助诊断受到较多研究者的关注。Sha等[83]基于改进的YOLO v3模型在CT中检测和定位椎体骨折，使用病灶边界框维度聚类对CT 进行多尺度变换，以提高病灶检测准确率，模型平均精度达到73.63%。Li等[56]开发椎体骨折自动检测模型，模型由三部分组成，分别是用于检测椎体骨折的YOLO v3 网络部分、自动数据预处理部分和进行椎体骨折分类的集成模型部分，诊断过程只需发送影像至模型和点击查看结果，整个过程耗时90秒，诊断性能优异。Chen等[50]训练基于Faster R-CNN 的模型进行胸腰椎骨折分类，对于ABC型分类，模型的总体准确率为86.4%，可以用于CT中胸腰椎骨折的辅助诊断。

如表7，对深度学习在椎体骨折诊断中应用的文献进行了梳理。

表7 深度学习在椎体骨折诊断中的应用Table 7 Application of deep learning in vertebral fracture diagnosis

4.5 在疑难骨折诊断中的应用

疑难骨折是指因骨折线不明显、骨折类型不明确、骨折位置复杂或危险等因素，导致诊断过程存在一定困难的骨折。深度学习可以帮助医生在影像不清晰的情况下发现骨折线，检测到细微骨折或复杂骨折，解决因医生经验不足造成的漏诊误诊问题，降低医疗事故发生的风险。

在细微骨折检出中，模型辅助阅片的骨折检出率优于医生独立阅片[84]。撕脱性骨折通常发生在关节附近，由于肌肉或韧带牵拉导致，不易被察觉。对于三角骨和胫骨撕脱性骨折，Ren 等[85]训练两阶段DCNN 进行骨折检测，模型首先在影像中定位出ROⅠ，之后利用分类网络对ROⅠ进行分类，在ROⅠ中进行操作可以改善细微骨折的检测性能。下颌骨处解剖结构复杂，骨折线较小，Wang等[86]训练U-Net模型进行下颌骨亚区的分割，在覆盖范围较大的面部CT 提取9 个解剖区域的图像块，之后在各个图像块上应用ResNet 模型进行骨折线检测，9 个子区域中下颌骨骨折检测的准确率为93.87%～98.28%。鼻部骨折是另一种常见的面部骨折，鼻部体积较小，解剖结构细微，Nam 等[87]训练深度学习模型检测鼻部骨折，采用EfficientNet-B7 模型在每个视图中进行特征提取，将特征送入多层感知机进行分类，模型表现与临床放射科医生相当，此外模型使用Grad-CAM进行可视化，增加了可解释性。陶建华等[88]基于2.5D特征金字塔网络[89]进行鼻部骨折定位，建立人工智能辅助检测模型，模型辅助下低年资医生的鼻部骨折检出率得到提升。

由于受伤位置的特殊性和治疗过程的复杂性，远端骨折、关节周围骨折、骨盆骨折、脊柱骨折等本质也是一类疑难骨折。Duron 等[90]采用排除明显骨折的数据集，基于Detectron2平台训练模型，检测和定位不易被观察的附肢骨折，模型辅助下临床医生的诊断灵敏度提高了8.7%。Raisuddin等[91]设计腕部骨折诊断模型DeepWrist，在一般案例腕部X射线中进行训练后，模型在一般案例测试集中性能优异，在需CT 进一步确认的疑难骨折数据集中进行测试时，模型表现不佳。对于需使用CT 进一步确认的疑难骨折，其延长了确诊时间，加重了患者的痛苦。

对骨折进行手术治疗时，医生通常会采用切开复位和固定的方式，因此，在术后病人拍摄的医学影像中通常会涉及到金属、石膏等硬件的识别，影响医生阅片。Kitamura等[92]训练基于DenseNet121的模型自动识别骨盆X 射线中的骨折位置和硬件，并检测骨盆和髋臼骨折。此外，文献[35]和文献[55]均涉及植入物检测。Ren等[93]对11篇包含骨科植入物分类的文献进行分析，文献中模型的总体精度在0.804～1.000 之间，与外科医生的表现相类似。深度学习在植入物识别方面能够为医生提供极大帮助。

如表8，对深度学习在疑难骨折诊断中应用的文献进行了梳理。

表8 深度学习在疑难骨折诊断中的应用Table 8 Application of deep learning in difficult fracture diagnosis

4.6 小结

深度学习在各类骨折诊断中已取得诸多先进成果，表4到表8中对不同骨折诊断中应用各类深度学习方法的文献进行了总结。结合表4 到表8，本节对深度学习方法在各类骨折诊断中的具体应用进行了介绍。其中，图像分类模型关注整幅影像，通过影像分类实现各类骨折的自动识别，具有较高的准确率和稳定性，可以加快医生的诊断速度，但图像分类模型无法提供骨折位置和骨折线形状等详细信息。通过图像分类模型辅助骨折诊断思路简单，在各表中占比最大，应用最广泛。目标检测模型可以同时获得骨折的位置和类别信息，更便于临床医生进行骨折诊断。但目标检测模型在处理大规模数据时需要更多的计算时间和资源，对不常见骨折类型或细微骨折辨识能力较弱。结合各表格可知，骨折诊断研究中应用的目标检测模型较为固定。对于同一目标检测模型，研究者多通过使用不同的图像分类模型作为主干网络或分类器，以不断提升模型性能。图像分割模型可以提供更详细的骨折轮廓和解剖结构信息，帮助医生了解骨折的范围和严重程度。图像分割模型在骨折诊断中更多作为辅助模型与图像分类模型共同使用，在分割图中继续应用图像分类模型可以实现更好的检测效果。但图像分割模型在处理复杂场景时存在挑战，如多个骨折间重叠或遮挡。观察表格可以发现，骨折诊断研究中图像分割模型的应用较少，有待研究者深入探讨。

5 骨折辅助诊断系统

骨折辅助诊断系统主要由深度学习模型、用户界面、影像处理模块和可视化模块组成。为确保辅助诊断模型的准确性和鲁棒性，训练完成的深度学习模型需要进行充分的验证和测试，根据测试结果优化模型参数或更改模型架构以提升其性能。模型性能达到预定标准后，可以将其部署到用户友好的系统中，并根据医生和临床需求进一步完善系统功能。在骨折辅助诊断系统中，输入系统的患者影像经影像处理模块进行预处理后送入深度学习模型中。系统根据模型的预测结果提供相关的诊断信息，并对模型预测结果进行可视化呈现给临床医生。

骨折辅助诊断系统的应用需在真实临床环境中进行严格的验证，并根据用户反馈不断优化和改进，以满足医生和患者的需求，确保其在真实的医疗环境中具备足够的安全性和有效性。目前，基于深度学习的骨折辅助诊断系统开发已取得一定的成果，如Tomita等[94]设计自动骨折评估系统，在胸部、腹部和盆腔CT影像中附带检查患者是否存在骨质疏松性椎体骨折。Arpitha 等[95]提出计算机辅助诊断系统，在影像中对腰椎区域进行检测、标记和分割，并进一步地判断该患者是否患有良、恶性脊柱压缩性骨折等。近年来骨折辅助诊断产品也逐渐获批上市，部分研究者对不同产品的性能进行评估，如刘想等[96]采用上海联影智能的uAⅠ-BoneCare 骨折辅助检测系统在CT 影像中检测肋骨骨折，对肋骨骨折的不同分型进行分类[97]；吴育鑫等[98]和张倩等[99]采用推想医疗科技的ⅠnferRead DR Chest在DR胸片中检测肋骨骨折；谭辉等[100]采用推想医疗科技的Ⅰnfer Read CT Bone Research 诊断急性肋骨骨折；朱雅茹等[101]采用依图医疗开发的辅助诊断系统对肋骨骨折病灶处进行分割、识别和标注，辅助医生进行诊断。此外，在X射线中检测骨折的OsteoDetect、FractureDetect 和BoneView 软件[102]也受到广泛关注。

在骨折辅助诊断系统的帮助下，具有不同经验的临床医生之间阅片一致性得到提升，弥补了临床医生经验不足的缺点，缩短了诊断时间，提高了诊断效率和质量。ⅠDC统计数据显示，到2025年医疗行业将占人工智能应用市场的五分之一[103]，深度学习应用于骨折诊断具有巨大发展潜力，有望在未来成为医疗健康领域的重要支撑技术。但骨折辅助诊断系统仍然不能完全替代医生诊断，仅可用于提供辅助诊断意见。

6 挑战与展望

深度学习辅助骨折诊断的研究已经取得了令人满意的进展，可以弥补各级骨科医生临床经验的不足。尽管如此，其训练和应用仍存在诸多挑战。

（1）数据集不足。由于骨折影像数据集规模相对较小，类别不平衡，诸多先进的监督模型无法在骨折诊断中应用。虽然各类数据增强或微调手段对模型的性能有一定改善，但如何缓解数据集不足问题对模型性能带来的影响仍值得深入研究。

（2）可迁移性不强。在与训练环境不同的临床环境中进行性能测试时，模型性能往往会下降。目前大多研究使用特定数据集提高模型可迁移性，然而收集不同临床环境中的特定数据集进行模型训练成本高昂，不切实际。因此，需要从数据、模型结构、训练方法等方面，深入研究如何优化特定环境下的模型性能，进而提高模型的可迁移性。

（3）可解释性不足。目前对于模型可解释性的研究较少，研究多通过热力图、类激活图等可视化方法增强模型的可解释性，帮助医生快速了解病灶，定位骨折位置，但是这些方法仅仅是对模型预测结果的表面解释，无法完全揭示模型的决策过程和内部机制。因此，深度学习辅助骨折诊断模型的可解释性是该领域的一大挑战，仍需深入研究。

（4）应用范围有限。医疗机构通常不会根据骨骼部位和影像类型对骨科医生进行职责细分，但骨科医生需要对任意部位的影像做出迅速判断。现有的研究大多针对特定类型的骨折和影像，未涉及到所有骨折部位。此外，骨科医生进行骨折诊断时往往需要结合患者病史、临床检查等信息，目前开发的模型主要针对单一影像类型。因此需要设计和开发多模态骨折诊断模型，覆盖更多类型的骨折，提高诊断精度。

针对上述讨论，在深度学习辅助骨折诊断的未来研究中提出以下几点展望。

（1）建立高质量的多源骨折影像数据集。当下骨折影像数据的存储越来越系统和完备，为收集来自不同机构或不同临床环境的多源影像数据建立了基础。建立高质量多源骨折影像数据集有利于提高深度学习模型的性能，促进更多先进模型应用于骨折诊断研究。

（2）利用生成式模型进行数据增强。采用先进的图像生成技术进行数据增强可以有效扩充骨折影像数据集规模，提高模型的泛化性。近期，Diffusion 模型在图像生成任务中展示出强大的性能。利用Diffusion 模型进行医学影像生成可以缓解数据集的匮乏，进而与影像检测、分类、分割等各任务相结合。

（3）研究基于Transformer 的模型在骨折辅助诊断中的应用。与CNN 模型相比，Vision Transformer 等基于Transformer的模型在训练时往往需要更大的数据集和更长的预训练时间，但此类模型已在图像检测和分类任务中展现出优于CNN 的性能，使用基于Transformer的模型辅助骨折诊断有待深入研究。

（4）应用自监督和无监督方法。自监督和无监督方法是深度学习中重要的范式，能够有效降低深度学习模型对标注数据集的依赖，提升模型的可迁移性。探讨其作为新架构在骨折辅助诊断中应用的研究有待进行。

（5）研究深度学习辅助骨折诊断模型的可解释性。深度学习模型的可解释性有助于医生更好地理解模型诊断结果，做出更合理的判断。同时可以提高公众对于辅助诊断模型的信任度和接受度，促进深度学习辅助诊断系统的开发和应用。

（6）开发多模态辅助诊断模型。进一步研究适合不同身体部位、接收不同类型影像、病例、临床信息等多模态数据作为输入的骨折辅助诊断方法，为医生提供更好的辅助诊断工具，帮助医生进行更精准化的诊断，进一步提高医疗服务质量。

7 结语

为减少骨折诊断中漏诊误诊的发生，最大限度保障患者的生命健康安全，近年来，深度学习在骨折诊断领域得到了快速发展。本文首先介绍骨折影像及相关数据集，对国内外有关深度学习在骨折诊断领域应用的文献进行归纳，将基于深度学习的骨折诊断方法分为图像分类模型、目标检测模型和图像分割模型三类。训练图像分类模型和目标检测模型在影像中进行骨折的检测和分类，是近年来关注最多的研究方法。图像分类模型将影像结构化为某一特定类别，思路相对简单，直接给出该影像是否存在骨折或存在何种骨折，缺点是无法提供骨折线位置和形态等具体信息。目标检测模型可以同时获取影像中骨折的位置和类别，通过替换主干网络和分类网络可对模型进行不同程度的改进，输出的检测结果更加直观，便于临床医生直接使用。图像分割模型首先生成影像的分割图，在分割图中进一步进行骨折的检测和定位，输出结果更准确，包含更丰富的解剖和轮廓结构信息，近年来逐渐受到关注。然后，基于三类不同的深度学习方法对其在骨折诊断领域的具体应用进行了详细介绍，并概述了骨折辅助诊断系统的构成和开发。通过对已有方法和文献的分析，对深度学习在骨折诊断领域存在的挑战进行讨论，并指出未来的发展展望。

深度学习在骨折诊断领域已取得丰富的研究成果，模型性能可与经验丰富的临床医生相当，并实现了辅助诊断系统的开发。然而深度学习方法在骨折诊断中的应用仍面临数据集不足、可迁移性不强等诸多挑战，有较大的提升空间，需要学者们进一步研究和创新。