深度学习在口腔医学影像中的应用与挑战

赵阳，李俊诚*，成博栋，牛娜君，王龙光，高广谓，施俊

1.上海大学通信与信息工程学院，上海 200444；2.西安电子科技大学计算机科学与技术学院，西安 710000；3.南京医科大学口腔医学院，南京 210000；4.空军航空大学电子科学学院，吉林 130022；5.南京邮电大学先进技术研究院，南京 210003

0 引言

口腔健康是世界卫生组织确定的人体健康十大标准之一，在一定程度上反映了人体健康和生命质量。口腔疾病不仅会带来牙齿疼痛、咀嚼功能下降、影响发音和面部美观等问题，更严重的是口腔疾病的病菌可能成为许多全身系统性疾病的危险因素（He 等，2015）。因此尽早发现和治疗口腔疾病对人体健康至关重要。

在口腔医学领域，医学影像技术的应用为口腔疾病如：龋病、根尖周炎、牙周炎、口腔颌面部囊性病变等的预防、诊断和治疗带来了极大便利。然而，传统的医学影像分析很大程度上依赖于医生的临床经验，存在较强的主观性（施俊 等，2020）。同时，基于计算机辅助的医学影像存在由于交互性复杂使得诊断效率低下的问题，加之口腔医学领域放射科医师数量严重不足，因此迫切需要引入新的智能技术帮助医生提高诊断效率和准确性，同时拓展医学影像技术在口腔临床诊疗中的应用。

随着人工智能技术的快速发展，口腔行业也正式进入了智能诊疗时代。人工智能改变了传统意义的口腔医学临床实践，逐步成为口腔医学发展的必然趋势。目前，以深度学习为代表的人工智能技术已广泛应用于口腔医学影像相关的任务中，并且取得了显著性成果（Park 和Park，2018；郭闯 等，2020）。

目前，二维X 射线影像（包括咬翼片、根尖片和全景X 光片）、三维点云/网格影像和锥形束计算机断层扫描（cone beam computed tomography，CBCT）影像是3 类常用的医学影像。基于这些影像的处理任务主要聚焦于：1）牙体疾病检测（如龋齿检测等）；2）牙周疾病检测（如牙周炎、根尖炎检测等）；3）非牙体疾病检测（如囊肿检测等）；4）口腔正畸（如牙齿检测与分割、头影检测等）；5）牙体种植（牙槽骨评估、下牙槽神经识别等）；6）口腔颌面外科（上下颌骨分割、颌面肿瘤检测等）。

为推动智慧口腔建设并帮助口腔影像智能处理领域的研究者进行高效的探索和临床应用开发，本文聚焦深度学习技术在口腔医学影像领域中的应用。不同于先前工作以临床任务为分类依据，本文以口腔医学领域中常用的3类医学影像为分类依据，深挖各类影像数据下的具体应用。这种分类方法有助于读者更直观地了解各类口腔影像数据的特点，并方便研究人员根据相关特点开展具体的应用研究。

本文首先阐述深度学习在临床口腔诊疗中常用的3 类影像数据（二维X 射线影像（包括咬翼片、根尖片和全景X 光片）、三维点云/网格影像和锥形束计算机断层扫描影像，如图1 所示）中的应用现状，整体架构如图2 所示，随后对该领域存在的问题及挑战进行全面的探讨和分析，最后总结该领域的现状并对未来的研究方向做出展望。

图1 口腔医学影像类别Fig.1 Different types of dental imaging（（a）2D oral X-ray images；（b）3D point cloud/mesh image；（c）CBCT image）

图2 深度学习在口腔医学影像中的应用概览图Fig.2 Overview of the application of deep learning in dental imaging

1 二维口腔X射线影像

口腔医学影像主要分为口内和口外X 光片，在牙科中，这些图像经常用于医学诊断。牙科X 光片可以在早期发现口腔、颌骨和牙齿的病变、牙齿骨质流失、囊肿等问题，有助于解决口腔评估无法可视化的问题。

二维口内X 射线影像包括：1）咬翼片影像。咬翼片影像主要用于检测上下牙齿排列的信息。2）根尖片影像。根尖片在单个X 射线影像中提供包含3～4 颗牙齿的牙根和周围牙槽骨的信息。二维口外X 射线影像包括：全景X 射线影像。全景X 射线影像摄取整个牙齿结构，同时提供了头骨和下颌的相关信息，主要用于颌骨疾病、牙齿骨质流失等的检查和评估。本节主要介绍深度学习技术在二维口腔X射线影像处理中的研究现状。

1.1 深度学习在咬翼片影像中的应用

1.1.1 基于深度学习的咬翼片龋齿检测

咬翼片通常显示从犬齿远端到最远端磨牙的接触面，提供近乎平行的上下颌牙齿影像，能清晰显示牙齿表面的细微结构和由于龋齿引起的矿物质损失。根据该特点，在口腔医学影像处理中，咬翼片主要用于诊断近端表面龋齿，评估龋齿的程度，识别现有修复下的继发龋齿等。

传统的咬翼片龋齿病变检测和评估方法存在可靠性低和局限性强的问题（Schwendicke 等，2015）。利用卷积神经网络（convolutional neural network，CNN）可以自动地从大量数据中学习特征表达，实现高度非线性映射，从而有效解决传统评估方法存在的问题。Srivastava 等人（2017）提出了一个由超过100 层的深度全卷积神经网络（fully convolutional neural network，FCNN）组成的模型来自动检测咬翼片上的龋齿，取得了不错的效果，但是该网络参数量过大，浪费大量计算资源；蒋芸等人（2019）提出了一个基于对抗生成网络的轻量级模型进行咬翼片的龋齿检测，提高了准确率，且计算量小于FCNN方法。

龋齿检测的另一难点在于难以检测早期的牙釉质病变，针对此问题，Cantu 等人（2020）以U 型深度卷积神经网络U-Net（Ronneberger 等，2015）为基础，通过3 293张标注过的咬翼片训练提出的网络，在该研究中，深度学习模型的准确性、敏感性、特殊性和F1 评分分别为80%、75%、83%和73%，结果表明大多数牙科医生对早期牙釉质病变的检测水平不如该模型；Lee 等人（2021）同样采用U-Net 开发了一个基于CNN 的模型，用于检测咬翼片上的龋齿，研究表明，3 名牙科医生以该模型的结果作为参考数据检测龋病时，诊断准确度都得到了显著提高；Bayrakdar等人（2022）提出了一种基于VGG-16（Visual Geometry Group 16）（Simonyan 和Zisserman，2015）和UNet 架构的模型，用于自动检测和分割龋齿，研究结果表明，该模型在咬翼片的龋齿检测和分割上取得了很好的效果；Vimalarani 和Ramachandraiah（2022）利用基于深度梯度（deep gradient，DG）的LeNet（Lecun 等，1998）分类器模型（DG-LeNet）对提取和选择的特征进行分类，通过对正常和异常图像进行分类以及检测牙齿图像的龋齿区域对龋齿进行诊断，该模型总体准确率为98.74%，灵敏度为91.37%，特殊性为98.92%，错误率为0.049%，与已有模型相比，龋齿检测效果提升显著。

总之，基于深度学习的方法在咬翼片龋齿检测中表现出巨大潜力，可以在常规临床实践中帮助医生快速、准确、可靠地检测龋齿，以解决因医生疲劳、粗心、经验差异等带来的误诊。相比于全卷积FCNN 网络，U-Net 架构在咬翼片龋齿检测中应用广泛并且在检测早期牙釉质病变上表现良好。不过目前针对咬翼片龋齿检测的研究方法性能趋于饱和，尤其是基于DG-LeNet 模型的龋齿检测精度高达98.74%，后续应该注重模型在不同数据集上的泛化能力和与临床实际应用的接轨。

1.1.2 基于深度学习的咬翼片牙齿检测与编号

对咬翼片进行检测和编号可以帮助医师鉴定龋齿或者目标牙齿的位置和形态等信息，有助于准确记录和追踪特定牙齿的治疗历史和进展情况。

早期的方法通常采用传统的图像处理技术，例如Said等人（2004）结合不同的图像增强技术来进行咬翼片的牙齿分割，Lin等人（2010）利用牙齿的区域和轮廓信息来进行编号，但是效果并不理想。

研究人员利用深度学习的方法对咬翼片进行检测、分割和编号，取得了不错的效果。Yasa 等人（2021）基于Fast R-CNN 提出一种用于咬翼片牙齿检测和编号的创新方法，该方法的检测精确率可以达到97.48%。然而，需要注意的是，该方法的数据集在收集过程中未考虑种植牙和畸形牙等情况，需要进一步验证该方法的鲁棒性和泛化能力。Tekin等人（2022）在其研究中采用了Mask R-CNN 结构，设计了一种新的方法用于咬翼片的分割和编号，经过200 轮训练，该方法的分割精度达到92.70%，编号准确率达到91.23%。尽管该方法的分割和编号具有很高的性能，但是由于该方法采用对称口腔解剖，容易出现错误分类。

咬翼片检测和编号在牙齿分析和诊断中具有重要意义，但也存在一些问题需要解决。1）咬翼片只能提供部分牙齿的信息，无法呈现整个口腔的整体情况。这可能导致遗漏其他牙齿的异常或整体结构问题的评估不准确。2）目前大多数咬翼片检测和编号方法都基于CNN，这种方法在处理图像特征上表现出色，但也存在一些局限性，需要进一步探索其他方法来提高咬翼片检测和编号的准确性和可靠性。3）保证数据集的多样性和特殊情况也是必要的，以确保咬翼片检测和编号方法在不同口腔状况下的鲁棒性和泛化能力。

1.2 深度学习在根尖片影像中的应用

不同于咬翼片对牙齿接触面的成像，根尖片通过准确的定位和特定区域成像，能够显示根尖周围以及齿间隙的细微结构和病变，如根尖感染和牙周感染等，是一种对龋齿、根尖周炎等牙科硬组织疾病诊断必不可少的口腔医学影像。根据该特点，在口腔医学影像处理中，根尖片主要用于检测和评估根尖区域龋齿、牙周炎和根尖炎等疾病。

1.2.1 基于深度学习的根尖片龋齿检测

随着人工智能的发展，支持向量机（support vector machine，SVM）和人工神经网络引入到口腔医学影像的病灶检测中，相比于“基于规则”的计算机算法，这些方法取得了较好的效果（Yu 等，2006；El-Bakry等，2008；Tumbelaka等，2014）。但是在上述研究中，将图像特征传递给SVM 或者人工神经网络之前，需要手动定义和预计算。

近年学者将深度学习技术引入到口腔根尖片影像应用中，避免了手动定义特征（Chen 等，2021）。Geetha等人（2020）采用反向传播神经网络，利用105张牙医标注过的根尖片训练神经网络来检测龋齿，该系统检测准确率可以达到97.1%。然而经典反向传播的网络参数太大，计算成本高，且该实验数据量较低，可能存在过拟合问题。

如前所述，根尖片通常用于检查牙齿根尖周围的病变，在表面龋齿病变的检测上，根尖片的能力有限，表现不如咬翼片。但是由于根尖片展示了根尖周围的细微结构，对于根尖周围的龋齿检测优于咬翼片。由于临床上大多患者龋齿发病在牙齿表面和牙间隙，因此基于根尖片的龋齿检测研究较少。

1.2.2 基于深度学习的根尖片牙周炎与根尖炎检测

基于根尖片影像，利用深度学习方法来检测牙周炎和根尖炎的方法开始涌现：例如Prajapati 等人（2017）采用CNN 和迁移学习策略搭建深度学习模型，利用251 张根尖片（其中80 张存在龋齿，110 张存在根尖炎，61 张存在牙周炎）训练提出的网络，最终龋齿的识别准确度为87.5%，根尖炎的识别准确度为90.0%，牙周炎的识别准确度为87.5%；不过该方法的数据集影像数量较少，为了避免过拟合问题的影响，Li等人（2022）采用了包含4 129张根尖片的数据集训练基于ResNet-18设计的网络，对根尖炎的检测准确率为83.67%。

目前，对于基于根尖片的龋齿、牙周炎、根尖炎检测的研究还没有统一的公开数据集，尽管部分方法达到了很高的准确率，但是不能否认存在过拟合问题，这导致模型的泛化能力降低。数据集的数据数量和质量在很大程度上影响方法的效果，因此构建统一的大型公开数据集仍亟待解决。

1.3 深度学习在全景X光片影像中的应用

与咬翼片和根尖片不同，全景X 光片除了能够显示口腔中全部牙齿和牙龈外，还包括了上下颌骨、头骨、脊柱和其他骨骼的结构，提供了口腔整体情况的综合信息。根据这些特点，在口腔医学影像处理中，全景X 光片通常用来进行牙齿检测、编号和分割，以提供给医生不同牙齿的位置和形状等信息。此外，由于全景X 光片还显示了牙根，牙槽骨等结构，因此也常用于非牙体疾病的检测和评估。本节重点介绍深度学习技术在全景X光片中的3类应用场景：1）牙齿检测和编号；2）牙齿分割和编号；3）非牙体疾病检测中的应用。

1.3.1 基于深度学习的全景X 光片牙齿检测和编号

牙齿的形状、数量和位置是牙医在通过X 光片检查患者口腔问题时的主要目标，牙齿自动检测和编号可以帮助医生做出更好的判断。2019 年之前，大多数基于全景X光片的深度学习方法应用研究都局限于牙齿检测（Oktay，2017；Wirtz 等，2018；Jader等，2018；Lin 等，2018；Kim 等，2019）。2019 年，Tuzoff 等人（2019）首次将深度学习方法应用于全景X 光片牙齿检测和编号。该研究使用了两个神经网络模型：第1个是Faster R-CNN，用于输出边界框；第2个是VGG-16，用于对牙齿进行编号。然而，采用两个神经网络模型的方法存在一定的复杂性，所采用的启发式方法会导致结果出现不良特征。为了解决这一问题，Chung 等人（2021）采用了一个基于逐点牙齿定位的神经网络，首先进行32 个点的中心点回归，每一个点代表成人口腔中一颗牙齿的位置，由于不考虑牙齿是否存在，网络允许自动分配标签，随后细化牙齿中心，并以级联的方式确定边界框。对于牙齿缺失的情况，该方法依然可以对所有牙齿进行相对准确的标注和编号。

1.3.2 基于深度学习的全景X 光片牙齿分割和编号

随着计算机技术的发展，计算机辅助设计（computer aided design，CAD）系统在各个领域得到了广泛的应用。世界上大多数牙科诊所也相继采用CAD 系统来制定治疗计划，例如正畸治疗等。牙齿分割、分类和标记是这些CAD 系统中最基本和最关键的组成部分。

Silva等人（2018）对基于全景X光片的传统牙齿分割方法做了综述，提出了运用深度学习的方法来进行牙齿分割的想法，并给出了一个由1 500张全景X 光片构成的数据集。此后，基于深度学习方法的全景X 光片牙齿分割和分类的学术研究开始涌现，例如：基于Mask R-CNN 的牙齿实例分割（Jader 等，2018）、基于耦合形状模型与神经网络相结合的牙齿分割（Wirtz 等，2018）、基于端到端神经网络的牙齿分割和编号（Silva 等，2020）、基于R-CNN 的牙齿实例分割（Lee 等，2020a）、基于CNN 的牙齿语义和实例分割（Cha 等，2021）以及基于Mask R-CNN 的牙齿实例分割和编号（Pinheiro等，2021）。

受Silva等人（2018）启发，Jader等人（2018）利用Silva 等人（2018）给出的数据集，提出了一种基于Mask R-CNN 的牙齿实例分割模型，如图3 所示。该研究首次尝试利用深度学习方法在口腔全景X光片上进行牙齿分割，其工作具有开创性，为此后研究提供了新的思路。不过，该模型只能进行牙齿的检测和分割，无法对牙齿进行精确的编号。针对此问题，Pinheiro等人（2021）同样采用Mask R-CNN提出了一个新的牙齿分割模型，该模型除了可以完成牙齿分割任务，还对每个牙齿进行了精准的编号，但是该方法提取的特征信息较单一。基于提取信息单一的缺陷，Zhao 等人（2021）对该方法进行了改进，考虑到牙齿的类别信息与性状位置信息融合提取的问题，在原有方法的基础上采用融合跳跃结构对Mask RCNN 模型中的分割分支进行改进，有效解决了原分割模型在分割分支中语义信息提取不足的问题。

图3 基于Mask R-CNN分割系统训练过程图（Jader等，2018）Fig.3 Training process of the segmentation system based on Mask R-CNN（Jader et al.，2018）

基于Jader等人（2018）的研究，Silva等人（2020）总结了基于深度学习的全景X光片牙齿分割方法的一般模型（如图4 所示），并对全景X 光片的牙齿检测、分割和编号进行了深入研究。可以看到，该模型与Jader 等人（2018）提出的模型类似。但是该研究的新颖之处在于：1）除了牙齿检测和分割，该模型还可以实现牙齿的精确编号；2）对于神经网络结构的选择，不再局限于Mask R-CNN，还采用了PANet（path-aggregation network）（Liu 等，2018）、HTC（hybrid task cascade）（Chen 等，2019a）和ResNeSt（split-attention network）（Zhang 等，2022）结合级联R-CNN（Cai 等，2019）。研究结果表明，通过端到端深度网络来实现全景X 光片的牙齿检测、分割和编号是可行的，其中采用PANet取得了最佳结果，值得注意的是，该研究使用的网络模型采用了更大的训练和验证数据集。

图4 基于深度学习的全景X光片牙齿分割方法一般模型图（Silva等，2020）Fig.4 General model of panoramic X-ray tooth segmentation method based on deep learning（Silva et al.，2020）

综上所述，深度学习方法在全景X 光片影像的牙齿编号、检测和分割任务上效果相比传统方法提升显著，但是目前仍存在一些突破点：1）金属伪影的影响。部分患者可能佩戴有金属牙套或者金属种植牙等，这些金属制品会严重影响成像质量，如何降低或者消除金属伪影至关重要。2）畸形牙齿的处理。部分患者存在牙齿畸形如多牙、缺牙和牙列拥挤等，造成全景X 光片存在重叠等问题，限制了对牙齿的结构分析，可以考虑融合其他类型影像处理。

1.3.3 基于深度学习的全景X 光片非牙体疾病检测

1）基于深度学习的全景X光片牙周炎检测。牙周炎已经成为世界第6 大流行疾病，严重时会造成牙齿脱落、咀嚼功能障碍等风险（Tonetti 等，2017）。Chang 等人（2020）提出了一种利用深度学习架构与传统CAD 架构混合方法在全景X 光片上自动检测和分类单个牙齿牙槽骨吸收程度的CNN 模型，该模型可以自动检测牙槽骨、牙长轴和釉牙本质界，对牙槽骨吸收程度进行自动分析分类并根据2017 年牙周病和植体周病国际分类研讨会提出的新标准对牙周炎的病变程度进行分类。研究结果显示，该模型的自动分类结果和放射科医生诊断的Pearson 相关系数整体为73%，整个颌骨内相关系数为91%，这表明基于深度学习方法的CNN 模型在牙槽骨吸收自动分析和牙周炎程度分期的自动诊断中具有较高的准确性和良好的可靠性。

2）基于深度学习的全景X 光片下牙槽神经检测。如果下颌阻生智齿与下牙槽神经距离过近，智齿拔除后可能会引发神经损伤，因此在拔除下颌阻生智齿之前需要根据医学影像图像来判断阻生智齿和下牙槽神经之间的位置关系。Vinayahalingam 等人（2019）开发了一种自动检测和分割全景X光片中第3 磨牙（third molar，M3）和下牙槽神经（inferior alveolar nerve，IAN）的系统。作为参考，作者对81 张全景X 光片人工分割M3 和IAN，并将基于U-Net 的深度学习方法应用于参考数据来训练CNN。结果显示，该系统分割M3和IAN的Dice系数分别为94.7% ± 3.3%和84.7% ± 9.9%。这表明深度学习是分解解剖结构的有效方法，不过该算法还需进一步优化来提高分割IAN的精确度。

3）基于深度学习的全景X光片肿瘤检测。成釉细胞瘤（ameloblastoma，AME）和牙源性角化囊肿（odontogenic keratocyst，OKC）都是起源于牙源性上皮的良性囊肿病变，两者在医学影像中特征相似，但是治疗方法不同，准确诊断两种病变有助于医师制定合适的治疗计划。Poedjiastoeti 和Suebnukarn（2018）开发了一个利用CNN 检测和鉴别全景X 光片中的成釉细胞瘤和牙源性角化囊肿的系统，结果表明该系统表现出较高的诊断准确性。由于大量病变样本的收集和标记十分耗时，且现有的基于深度学习的方法缺乏解释性，Yu 等人（2022）提出了一种基于深度学习方法的新思路：通过健康人的大量全景X光片来诊断颌骨囊肿和肿瘤。该方法在收集到的872 个病变样本和10 000 个健康样本的基础上，提出了一个用于颌骨囊肿和肿瘤分类的双分支网络。该双分支网络首先对大量健康人全景X光片进行预训练，然后进行样本类别分类和病灶区域分割的训练。结果显示，该系统分类的平均准确率、精密度、灵敏度、特异性、F1 评分分别为88.72%、65.81%、66.56%、92.66%、66.14%，这表明该方法对颌骨囊肿和肿瘤的诊断效果良好，分类的种类和病变区域的分割为进一步的诊断提供了依据，为颌骨肿瘤和囊肿的诊断提供了可靠的工具。

综上所述，全景X 光片在各类非牙体疾病检测中得到了广泛应用。不过，需要注意的是，全景X光片的分辨率较低，不能提供和咬翼片以及根尖片类似的细节信息，不适用于一些需要高分辨率图像的应用。因此，未来的研究应当聚焦于：1）利用图像处理和增强技术提高全景X 光片分辨率；2）注重多模态融合学习的研究，以融合不同影像的优势。

2 三维牙齿点云/网格影像

口腔正畸技术可以在一定程度上解决由于龅牙、牙列不齐、牙齿稀疏等带来的面部不美观等问题。牙体种植可以修复缺失的牙齿，恢复患者正常咀嚼功能，改善患者颌面美观。为了创建针对不同患者的牙齿正畸和牙体种植的治疗计划，需要对患者的牙齿进行分割，并标记相应的解剖学标注，以分析并重新排列牙齿位置。前文所述的二维口腔X射线影像仅提供了患者牙齿在一个平面上的投影，缺乏牙齿的深度信息，在口腔正畸和牙体种植等领域存在一定局限性。

与二维口腔X 射线影像相比，三维牙齿影像是利用口内扫描仪（intraoral scanner，IOS）对患者口腔进行实时扫描和重建得到的数字化三维口腔模型，从本质上来说是一种由无序的点云或网格组成的三维非结构化数据。三维牙齿点云/网格影像展示了患者牙齿的完整三维结构信息，可以准确定位每颗牙齿的位置，并且展示牙齿的全貌，包括形状、大小和曲度等，具有高效、安全等优点。

三维牙齿点云/网格影像忽略牙髓等牙齿内部结构的信息，在牙体疾病检测和评估方面应用较少。但由于其高精度的牙齿细节展示、非侵入式安全成像以及支持数字化的数据处理和分析的优点，使其在口腔正畸学和牙体种植学的子任务——牙齿分割中得到了广泛应用。目前，即使有大多数商业软件（通常为集成半自动算法）提供的帮助，手动进行牙齿分割和标注也是十分耗时的，临床上迫切需要全自动的方法来代替人工操作。

本节重点介绍利用三维点云/网格牙齿影像进行牙齿分割和标记的深度学习方法。

2.1 基于全监督学习的三维牙齿分割

全监督学习是指给定训练样本以及对应的像素或体素级标注情形下的学习策略。目前，针对IOS 网格的牙齿分割问题，已经有大量研究进行了尝试。

传统基于几何的方法依赖于从IOS 网格中手工提取特征（Kumar 等，2011；Fan 等，2015；Li 和Wang，2016），并且这些方法并不是全自动的，通常需要人工干预进行交互或后续处理以纠正错误结果。近年来，学者们提出了许多基于深度学习的全监督方法（Xu等，2019；Tian等，2019；张凌明 等，2022；Wu等，2022），具有较好的三维牙齿分割效果。本节介绍两类经典的基于全监督学习的深度网络模型。

2.1.1 多阶段分级网络模型

Xu 等人（2019）提出了一个两阶段的牙齿分割方法。如图5 所示，在网络模型中，第1 阶段用于牙齿—牙龈分割；第2 阶段用于齿间分割。同时，作者还提出了一种新的边界感知牙齿简化方法，用来提高特征提取阶段的效率，此外还采用了改进的模糊聚类算法来进一步细化分割边界，取得了不错的效果。

图5 基于两阶段分级网络结构牙齿分割模型图（Xu等，2019）Fig.5 Tooth segmentation model based on two-stage hierarchical network structure（Xu et al.，2019）

Tian 等人（2019）同样采用了两阶段分割方法，不同于Xu 等人（2019）的研究思路，图6 给出了该方法的网络结构，其中第1 阶段用于牙齿分割，第2 阶段用于牙齿分类。同时，作者在分割层采用了3 阶段，其中seg-1 阶段用于牙齿—牙龈分割，seg-2 和seg-3 阶段用于齿间分割。另外，该方法利用稀疏体素八叉树对原始数据进行处理得到简化模型，再利用简化模型进行预特征提取。

图6 基于多阶段分级网络结构牙齿分割模型图（Tian等，2019）Fig.6 Tooth segmentation model based on multi-level hierarchical network structure（Tian et al.，2019）

尽管这些采用多阶段的基于深度学习的牙齿分割方法相比于传统的几何分割方法具有更好的性能，然而由于多阶段方法本身固有的限制，上一阶段出现的错误无法及时在下一阶段得到纠正，在一定程度上影响了模型的分割性能。

2.1.2 端到端网络模型

采用端到端牙齿分割结构可以避免多阶段分级网络带来的问题，进一步提高系统性能。受Point-Net（Li 等，2018）的启发，许多学者提出了基于端到端的网络模型，如Zanjani 等人（2021）提出了Mask-MCNet 结构，通过预测每个牙齿的三维边界框来分割每个牙齿实例。该模型不采用体素化或者下采样技术，以原始空间分辨率处理输入的原始数据，这种方式可以保留数据中的精细细节，如相邻牙齿边界的精细曲率，以满足临床实践（如正畸治疗等）所需的高度精确的分割。李占利等人（2020）运用图卷积网络选取牙齿种子点，解决了牙齿分割中需要进行交互标记的问题，基本实现了自动化牙齿分割。为了捕获细粒度的局部环境，提高系统识别不同形状和外观的牙齿，Lian 等人（2020）提出了MeshSegNet用于在原始牙齿表面进行自动牙齿标记。该模型集成了一系列图约束学习模块来分层提取多尺度局部上下文特征，但是该模型是在包含14 颗牙齿的理想牙弓数据集上进行训练的，然而在临床实践上的口腔图像并非总是如此理想。上述模型的实现依赖于一个大规模的标注数据集，这种大规模标注数据集的收集一方面耗时耗力，另一方面依赖于放射医师的从业经验和水平，且由于隐私等问题无法公开获得。此外，上述几种方法在不同IOS 扫描的数据上泛化能力也存在一定的局限性。

2.2 基于非全监督学习的三维牙齿分割

如前所述，口腔医学影像数据的标注通常耗时耗力，另外对标注人员的专业要求非常高，导致可用于训练的标注样本数量有限，这将影响深度网络模型的训练。因此，研究基于非完全监督学习的网络模型是一个重要的发展方向。本节重点介绍基于非完全监督学习的三维牙齿分割方法。

为了降低标注成本，针对只有部分数据含有标注的问题，Liu 等人（2023）提出了基于自监督学习（self-supervised learning）的三维口腔内网格扫描牙齿分割模型——STSNet。如图7 所示，该模型首先从原始网格Mt中采样点云Pt，然后将其送入预处理模块进行特征提取和增强数据处理，以在区域级别（Ct1，Ct2）和点级别（Pt1，Pt2）生成两个输入对，经过区域级和点级对比学习模块处理分别获得RegionInfoNCE 和PointInfoNCE 损失值，最后通过两个交叉对（Pt1，Ct2）和（Pt2，Ct1）计算CrossInfoNCE 损失值。实验结果表明，与完全监督的方法相比，STSNet 仅使用40%的标注样本即可实现更好的性能。当然，该模型仍然需要进一步改进：1）原始网格扫描中的几何和拓扑特征没有得到充分利用；2）系统跨复杂情况的鲁棒性和泛化能力需要进一步提高。Alsheghri 等人（2022）提出了一种基于半监督学习（semi-supervised learning）的牙齿分割模型，其主要思想是通过将未标注的三维牙弓分解成仅依赖几何信息的段来自动生成训练数据，然后使用结合了带标注输入的监督损失和未标注输入的自监督损失的联合损失对该模型进行训练。实验结果表明，使用半监督学习的模型比Lian 等人（2020）提出的使用完全监督的MeshSegNet 网络性能有所改进。

图7 基于自监督学习方法的牙齿分割模型图（Liu等，2023）Fig.7 Tooth segmentation model based on self-supervised learning method（Liu et al.，2023）

对于将弱标注思想应用到三维牙齿分割的研究目前依然较少（Qiu 等，2022；Xie 等，2023）。Qiu等人（2022）首次尝试在弱标注的牙科模型上进行三维牙齿实例分割，提出了一种牙弓先验辅助的3D 牙齿分割方法，即DArch 模型。DArch 由两个阶段组成，包括牙齿质心检测和牙齿实例分割。准确检测牙齿质心可以帮助定位单颗牙齿，从而有利于分割，因此该模型提出了一种由粗到精的牙弓估计方法：牙弓最初由贝塞尔回归曲线生成，然后训练基于图的卷积神经网络（graph-based convolutional network，GCN）对其进行细化。利用估计的牙弓，提出了一种牙弓感知点采样（arch-aware point sampling，APS）的方法来辅助生成牙齿质心分割模块，并使用基于补丁的策略单独训练，以此在以牙齿质心为中心的三维补丁中分割牙齿，其整体架构如图8 所示。实验结果表明，无论是弱标注还是全标注场景，DArch 模型都优于三维牙齿实例分割模型TSegNet（Cui 等，2021），不过这种基于补丁的训练策略存在无法反映全局信息的缺点。

图8 基于弱标注的DArch牙齿分割模型图（Qiu等，2022）Fig.8 DArch tooth segmentation model based on weak annotation（Qiu et al.，2022）

综上所述，基于三维点云/网格影像的牙齿分割研究工作比较丰富。其中，全监督的学习方法优点在于人工标注的数据为网络学习提供了丰富的语义信息。然而对于口腔医学影像来说，数据标注需要专业医师来完成，大量标注数据的获取是不现实的。非全监督学习方法，例如自监督学习、对比学习以及半监督学习等可以充分利用大量未标记数据来训练网络，有效解决数据标注的问题，是目前口腔医学影像处理中的重点研究突破方向。

此外，由于牙齿和牙龈之间以及不同牙齿之间紧密连接，如何准确分割边缘部分也是值得思考和突破的地方。吴婷和张礼兵（2018）采用牙龈路径和牙缝路径分开规划策略，有效克服牙缝牙沟分支干扰以及分割线断裂问题。Xu 等人（2019）和Tian 等人（2019）的方法中都引入了边缘优化算法来解决分割边界不平滑的问题，但是大都在分割之后采用能量函数来进行优化。因此，如何根据网格模型的数据结构特点，对网络结构进行改造，例如运用KNN（K-nearest neighbor）和邻接矩阵等方法，或者添加Transformer 架构中的多头注意力机制等，从而在分割过程中对边界网格或点云进行精准分类分割同样值得深入探究。

3 锥形束计算机断层扫描影像

锥形束计算机断层扫描（CBCT）成像是一种广泛应用于牙科诊断和治疗的无创、低辐射的技术（Guerrero 等，2014）。与传统放射成像生成的二维影像相比，CBCT的三维特征提供了更多关于牙齿及其周围结构（例如牙槽骨）的信息（Lin等，2021）。与三维牙齿点云/网格影像相比，CBCT 能够提供具有更高对比度和分辨率的解剖结构显示。它可以显示牙齿、牙根、骨质和其他相关组织的立体关系和细节。相比之下，三维牙齿点云/网格影像主要反映牙齿表面形态，而无法提供内部结构信息。此外，相对于传统CT 成像，CBCT 可以以更低的辐射剂量和更短的扫描时间提供更高质量的影像，提高了牙科诊断成像的诊断效率和准确性（Mureșanu等，2023）。

尽管CBCT 成像具有诸多优点，但在临床解释上同样依赖于从业医师的经验。深度学习方法和CBCT 影像的结合可以在一定程度上简化和完善牙科诊疗方面的工作，实现更优质、更客观和可重复的放射图像评估工作，并减轻医生的工作量。本节主要介绍深度学习在CBCT口腔影像中的应用。

3.1 深度学习在口腔正畸学中的应用

人工智能技术的快速创新以及CBCT 的出现促进了数字牙科的迅速发展，提高了正畸判断和治疗的准确性（Lee 等，2022）。从CBCT 影像中对牙齿进行分割是数字化牙科的重要组成部分，精确分割单个牙齿对模拟修复评估、计算机辅助咬合不规则预测具有重要意义。与基于三维牙齿点云/网格影像在牙齿正畸中的应用相比，CBCT影像提供了更多牙齿内部结构的信息，这对医生制定正畸诊疗计划具有重要意义。

另外，在口腔正畸治疗过程中，不仅要关注牙齿的形态，还要关注患者的骨骼结构、牙齿与骨骼的位置等，头影测量可以帮助医生对患者的颌面进行分析。本节重点介绍基于深度学习的CBCT 影像牙齿分割和头影测量两类口腔正畸的子任务应用。

3.1.1 基于深度学习的CBCT影像牙齿分割

尽管CBCT 影像具有大量优势，但是基于CBCT影像的牙齿自动分割任务存在以下难点：1）牙根与周围牙槽骨之间的强度相似；2）牙冠部分与相邻牙齿之间的附着边界分割困难。因此，探索高效和准确的基于深度学习技术的牙齿分割新模型、新算法至关重要，有助于进一步推动正畸判断和治疗的准确性。

此前，部分学者使用CNN 模型针对CBCT 影像牙齿自动分类和编号问题进行了尝试（Miki 等，2017；Kirthiga 等，2018；Li 等，2019；Shaheen 等，2021），不过这些方法存在由于相邻牙齿的高相似性引起的错误分类问题。此外，在临床实践中，金属假体、矫正器等都可能在CBCT 影像中引入金属伪影，而受到金属伪影破坏的CBCT 影像难以进行自动牙齿分割。为了解决这一问题，Jang 等人（2022）开发了一种分层多步深度学习模型，该模型可以从口腔CBCT 影像中自动识别和分割单个牙齿，如图9 所示。首先，该模型根据输入的3D CBCT 图像自动生成上下颌全景图像，以克服高维数据带来的计算复杂度，然后使用获得的二维全景图像来识别单个牙齿并捕获三维单个牙齿的松散和紧密感兴趣区域（region of interest，ROI），最后，使用松散和紧密的ROI 实现准确的三维单个牙齿分割。该模型单个三维牙齿分割的Dice系数达到94.79%，为数字牙科提供了一个有效的临床和实用框架。

图9 基于CBCT的分层多步深度学习牙齿分割模型图（Jang等，2022）Fig.9 Hierarchical multi-step deep learning tooth segmentation model based on CBCT（Jang et al.，2022）

有学者尝试采用U-Net 结构以及改进的U-Net结构进行CBCT 影像的牙齿分割。U-Net 框架由Ronneberger 等人（2015）首次提出，它能够以更少的时间和更小的数据来提供上下文信息以完成模型训练，因此广泛应用于医学影像分割（Yin 等，2022）任务中。Lee 等人（2020c）提出了一种基于U-Net 结构的全自动牙齿分割方法，该方法使用基于直方图的方法，预处理并估计骨骼和牙齿区域的平均灰度密度水平。此外，作者利用空间丢失层正则化CNN 模型，并引入密集卷积块替换卷积层，提高了分割性能。周秀蓉等人（2021）考虑到牙齿和牙槽骨的强度相似以及咬合状态下上下牙交汇处结构复杂难以分割的问题，提出了基于3D U-Net 的三级网络分割单个牙齿；此后，Hsu 等人（2022）训练了5 个 U-Net，包括 2Da U-Net、2Dc U-Net、2Ds U-Net、2.5Da U-Net、3D U-Net 来分割牙齿。使用多数表决法获得了另外4 个U-Net，包 括2.5Dv U-Net、3.5Dv5 U-Net、3.5Dv4 U-Net 和3.5Dv3 U-Net。结果表明，U-Nets的性能因CBCT 牙齿分割的不同训练策略而异，其性能可以通过多数表决来提高。总体而言，采用改进的3.5D U-Net 模型提高了U-Net 在CBCT 图像上分割牙齿的性能。

3.1.2 基于深度学习的CBCT影像头影测量

头影测量是口腔正畸治疗过程中采用的关键技术之一。传统的手工头影测量依赖于医生的手工定点，且存在精确度和稳定性欠佳的问题。众多研究聚焦于利用人工智能技术实现自动化头影测量，以提升临床诊断效率和测量精度（吴志娜 等，2021；马建斌 等，2022）。

CBCT 成像允许在没有叠加的情况下实现解剖标志的三维可视化，这使得头影测量从二维成像向三维成像转化。Codari 等人（2017）为了解决头影测量手工定点精确度低的问题，提出了一种基于强度的标注参考体配准方法应用于患者CBCT 扫描图像。不过该方法仅是给出了基准点的预测，仍需要临床医生进一步完善。Huang 等人（2021）采用生成对抗网络对CBCT 影像投影合成头颅图，进一步使用LeNet-5 和ResNet50（residual network50）的组合，实现了头影测量基准点的自动预测。

3.2 深度学习在牙体种植学中的应用

3.2.1 基于深度学习的CBCT 影像牙槽骨分割评估

牙槽骨的分割评估在牙齿种植中具有重要的意义。这一过程提供了关键的信息和准确的定量数据，用于评估患者的牙槽骨健康状态、骨质量以及种植体安置的可行性。通过对牙槽骨进行准确的分析和评估，牙医能够制定个性化的治疗方案，确保种植体的稳定性和成功率。

Sorkhabi 和Khajeh（2019）提出了一种用于牙槽骨定性评价的三维深度CNN 模型，采用圆柱体素和六边形棱镜体素的平均精密度分别为95.2%和84.6%，该方法训练阶段的第4 次迭代可以对输入的CBCT 影像数据进行精确分类，准确率为95.2%。Roongruangsilp 和Khongkhunthian（2021）使用Faster R-CNN 算法开发了一种基于牙槽骨数量的牙体种植规划方法，并对Bayrakdar 等人（2021）提出的Diagnocat 系统做了评估，该方法可以正确识别95.3%的缺齿区域，但是无法进行多次骨高度和骨厚度测量。

考虑到临床实践普遍存在的复杂病例以及以往研究受到数据集数量的限制，Cui 等人（2022a）采用更大的CBCT 数据集开发了一个基于深度学习的人工智能系统，用于从牙科CBCT 图像中全自动分割牙齿和牙槽骨。如图10 所示，a 模块输入CBCT 扫描影像，b 模块进行单个牙齿的分割，c 模块用来提取牙槽骨，d 模块输出单个牙齿和牙槽骨的掩膜。该方法在内部测试集上取得了94.5%的Dice 系数和93.8%的灵敏度，在外部测试集上Dice 系数和灵敏度分别为93.8%和93.5%。然而，受到CBCT 影像分辨率有限的影响，该方法在重建牙冠表面细节方面仍存在缺陷。前文所述的口内扫描仪获取的三维点云/网格影像通常具有较高的分辨率，因此后续研究可以考虑结合三维点云/网格影像或者采用图像增强等技术提高CBCT 影像的分辨率来解决此问题。

图10 基于深度学习方法的CBCT牙齿及牙槽骨分割模型图（Cui等，2022b）Fig.10 CBCT tooth and alveolar bone segmentation model based on deep learning method（Cui et al.，2022b）

3.2.2 基于深度学习的CBCT影像下牙槽神经识别

牙齿种植手术涉及到下颌骨区域的操作，而下牙槽神经（IAN）是位于下颌骨内的重要神经结构。通过准确地识别下牙槽神经的位置和走向，医生可以避免对神经的损伤，从而减少手术中可能出现的并发症和术后不适。

通过使用影像学技术和计算机辅助分析，医生能够可靠地规划种植手术的安全区域，并选择适当的种植体尺寸和位置，以确保手术的安全性和成功率。但是早期的一些方法，如Active-Shape 模型（Gerlach 等，2014）和Statistical-Shape 模型（Abdolali等，2017a）等并不适用于临床实践。为了解决这一问题，Cipriano 等人（2022）提出了一种基于U-Net 结构的深度学习模型并发布了完整标注的下颌骨图像公共数据集，该方法取得了69%的Dice 系数，相较于此前提出的方法（Duan 等，2021；Jaskari 等，2020）效果更好。

从深度学习方法的应用情况来看，在牙体种植治疗方案制定方面，目前提出的深度学习方法还很难将患者的牙槽骨状况、缺牙情况以及全身健康状况等各方面的信息综合分析，以此制定更加个性化和高水平的诊疗方案。但是，随着数字化进程加快，深度学习必将逐步深入口腔诊疗的全过程以实现口腔诊疗的智能化。

3.3 深度学习在口腔颌面外科中的应用

3.3.1 基于深度学习的CBCT影像肿瘤识别

颌面外科肿瘤是指发生在颌骨和面部组织中的异常细胞增生，这些肿瘤占据患者口腔内的空间，干扰正常的咀嚼、发音和吞咽功能。此外，恶性颌面外科肿瘤可能对患者的生命构成直接威胁，因此，早期识别和准确诊断颌面外科肿瘤对于及时采取合适的治疗措施至关重要。

颌面外科的早期研究侧重于使用SVM、稀疏判别分析和随机森林等方法来识别骨内病变（Abdolali等，2017b；Yilmaz等，2017）。在口腔颌面肿瘤学中，一些学者使用深度学习方法在CBCT 影像中区分AME 和OKC。Lee等人（2020b）使用CBCT影像训练CNN 模型识别OKC，相对于全景X 光片的效果要好。受此启发，Chai 等人（2022）采用CNN 自动分类CBCT 影像中的AME 和OKC，比较了Inception v3 算法与口腔颌面外科医生在诊断AME 中的准确性，表明深度学习方法能够更好地区分AME和OKC。

3.3.2 基于深度学习的CBCT影像上下颌骨分割

上下颌骨分割也一直是近年来的研究热点，通过分割上下颌骨，使医生能够制定移动骨片或植入人工骨材料的最佳方案，以恢复骨缺损部位的形态和结构，为后续的纠正畸形、重建骨缺损、安置种植体等治疗提供良好的基础。

早期研究尝试使用基于图集和统计形状模型（Wang等，2013；Chang等，2013），效果并不理想。最近，Qiu 等人（2021）研究表明，深度学习方法可以提供更高的准确性，并在此后研究中（Qiu 等，2021）提出了一种基于三维CNN和递归神经网络SegNet的方法，可用于自动分割受到金属伪影破坏的CBCT 影像，效果比使用相同数据集评估的其他先进模型更好。

虽然深度学习在口腔颌面外科领域取得了诸多进展，但其应用仍然处于初级阶段。后期研究可以聚焦于：1）口腔医学影像的精确三维重建，实现精准分析病灶，设计诊疗方案；2）颌面骨精确分割；3）术后效果预测等。

4 问题与挑战

综上所述，深度学习方法在龋齿检测、牙齿分割、非牙体疾病检测和口腔颌面外科等方面都有杰出表现，这为推动智慧口腔建设提供了重要的理论和技术支撑。然而，目前基于深度学习的方法在口腔医学影像中的应用仍然存在许多问题与挑战，部分重难点如下：

1）缺少高质量标注的口腔影像数据集。目前提出的大多数深度学习方法通常是基于监督式学习策略的，此类学习方法的优劣在一定程度上取决于数据集的质量好坏。如前所述，口腔医学影像数据的标注往往耗时耗力，其标注质量也极大依赖于医生的专业知识和从业经验。尽管目前已经有部分公开数据集（如表1 所示），但已公开的数据集数量和体量还远远无法满足科研人员的需要；另一方面，公开数据集的标注质量也参差不齐，这将极大影响模型在临床实践中的准确性、鲁棒性和泛化能力。因此，进一步加快构建和公开更多更高质量、多种类的口腔医学影像数据集对推动智能化口腔医学领域发展至关重要。

表1 口腔影像部分公开数据集Table 1 A partial publicly available datasets of dental imaging

2）临床应用和转化受限。目前深度学习方法在口腔医学影像分析中的应用仍局限于解决牙齿分割、龋齿和肿瘤检测等常规任务，对于定量评估口腔颌面肿瘤异质性、分析牙髓和牙槽骨等的病变程度及紧密结合临床手术应用（如牙齿种植）的研究还相对较少，这是算法向临床转化的主要挑战之一。例如，临床诊疗中需要医生对患者的口腔状况进行详细评估，可将常规的牙齿检测任务通过深度学习模型的统一决策，最终为患者生成详细的诊断评估报告，以指导医生进行个性化的治疗。此外，为了促进深度学习在口腔医学中的应用，需将其与现有的临床工作流程和系统有效整合，兼容电子健康记录系统、影像存档和通信系统等，确保数据交换流畅，实时分析。因此，加强与临床医生的交流合作，探讨更多、更有价值的临床应用切入点至关重要。

3）跨模态数据的融合与学习。在口腔医学影像处理中往往会涉及不同模态的数据，如X 光片、CBCT 等。如何有效融合和学习跨模态数据的信息是一个具有挑战性的问题。例如，根据全景X 光片和三维口内扫描模型构建出具有牙槽骨信息的三维口腔模型，以弥补某些欠发达地区无CBCT 扫描仪的困境。此外，如何加入文本、语言等模态的提示信息来融合临床知识和专家经验，以便医生通过文字或者语言等简单的方式与机器模型进行交互也是值得思考的一个问题。

4）数据隐私与安全性保障不足。不同于自然图像，口腔医学影像内容涉及患者个人隐私，如何保护这些隐私数据和确保模型的安全性是一个重要的挑战，需要采取数据加密、去识别化等隐私保护措施。例如，可以采用目前广泛应用的联邦学习安全范式，将医疗数据进行分布式训练，这样不仅可以显著提升数据安全，而且可以显著扩大数据样本的多样性，实现多医疗机构之间的数据互通。此外还需要制定数据访问和共享政策，确保患者数据的合法使用和保护。

5）模型可解释性、实时性、泛化性和轻量化较差。目前提出的深度学习方法仍然有待优化，其可扩展性、可重复性、可解释性以及跨模态多样性较差。同时，许多算法过于庞大，不利于临床部署。例如当前的大多数模型采用了全监督和私有数据集的训练方式，无论是学习策略还是数据规模均受到限制。因此，研究设计更轻量、鲁棒性更好、扩展性更强、泛化能力更强以及满足医学诊断的实时性和效率的深度神经网络，使其达到满足部署到医疗设备中的要求的问题还亟待解决。

5 结语

本文主要针对口腔医学领域常用的二维X射线影像、三维点云/网格影像以及CBCT 影像3 类常用口腔医学影像，重点介绍了深度学习在牙齿分割、龋齿检测、牙齿种植、牙齿检测与编号以及非牙体疾病检测等任务中的应用现状。

深度学习方法在解决多样化的图像分类和分割问题方面表现出色，然而尽管目前提出了许多深度学习模型并对其进行了测试，但是全自动的口腔医学影像分析依旧充满广阔发展前景：

1）对口腔医学影像进行标注是一项费时费力的工作，并且在很大程度上依赖于医生的经验，这严重制约深度学习深入广泛发展，需要开展数据自动标注方面的研究。另一方面，小样本性一直是口腔医学影像分析领域面临的严重问题，基于非完全监督的深度学习方法（例如：弱监督学习、自监督学习以及迁移学习、少样本学习和增量学习）可以有效缓解此问题。因此，研究如何摆脱模型对数据的依赖将是未来的研究重点。

2）提升深度学习方法在口腔医学影像分析各类应用中的可解释性也是值得深入研究的。只有模型的可解释性及结果的可靠性得到保证，这些算法才能转化成真正可使用的临床辅助诊疗技术。

3）目前，深度学习在口腔医学影像中的应用发展还处于比较初级的阶段，特别是针对CBCT 影像的研究还十分匮乏。因此，加大相关领域的研究并探索多种数据间的融合技术对推动口腔诊疗数字化建设至关重要。这一领域的发展离不开计算机科学家和临床医师以及影像设备与软件开发专家的通力合作，以实现更多基于口腔医学影像的智能医疗产品的广泛临床应用，助力智慧口腔建设。

4）随着GPT（generative pre-trained Transformer）、SAM（segment anything model）等大模型的出现和迅速发展，口腔医学影像处理领域也将迎来更加广阔的临床实践应用前景。目前，需要进一步思考如何将这些大模型应用到口腔医学影像处理的下游任务中，以期利用大模型卓越的语义理解和上下文推理能力，准确地进行口腔影像的分析诊断和处理。

综上所述，深度学习与口腔医学影像分析的结合已是大势所趋，深度学习方法也在各类分析任务中取得了显著成果，但仍需进一步深入研究，以期突破可解释性、可重复性、可扩展性以及跨模态多样性等挑战，引领口腔医学影像处理与分析进入新阶段。