超声多模态人工智能技术在甲状腺癌智能诊断中的应用研究

吴爱娣, 王娟,宋艺敏,陈容,李文靖

518052 广东 深圳,深圳大学总医院 超声医学科

甲状腺癌已成为中国女性最常见的五种癌症之一,新发甲状腺癌病例在中国15～59岁的女性中排名第3位[1]。一直以来,超声是甲状腺疾病诊断的首选方式,但具有主观性及经验依赖性。人工智能(artificial intelligence,AI),近几年再度成为各领域关注的焦点,其中深度学习的提出带来了一系列革命性变化[2]。超声医学作为影像领域的重要分支,利用AI相关算法进行声像图分析的研究不断涌现[3-4],不仅为临床科研提供了新思路,亦有助于提高超声诊断的准确性。AI学习中模型构建包括训练集、验证集与测试集[5],训练模型需要大量的医学图像,甲状腺癌已被列入全球癌症发病率的前十位[6],甲状腺结节的高发病率能够提供足够多的医学病例作为模型的训练集。因此,甲状腺AI医疗诊断与甲状腺结节的诊断迅速契合。现阶段关于甲状腺结节彩色Doppler、弹性成像、超声造影等类型的数据研究较少,因此,本研究拟设计基于不同类型数据训练得到的AI模型,通过比较不同模型对甲状腺癌的诊断效能,求证超声多模态AI技术在提高甲状腺癌诊断中的价值。

1 资料与方法

1.1 研究对象与仪器

回顾性收集2020年8月至2023年8月在本院超声科行甲状腺检查中均含有二维灰阶图像、弹性成像及彩色Doppler的486例患者的超声图像,共获得486个甲状腺结节。年龄范围13～80岁,平均年龄(40.1±12.0)岁。486个结节中225个结节为恶性(占46.3%),261个结节为良性(占53.7%)。恶性结节全部经病理证实,良性结节经病理证实或至少随访一年无变化(随访病例需由两位副高级别以上医师诊断)。

图像纳入标准:(1)结节图像清楚、边界在图像可显示范围内且一张图像中只有一个结节;(2)经超声检查后,根据美国放射学会2017版TI-RADS分类诊断标准[7],诊断为TI-RADS3类及以上结节可纳入;(3)患者既往没有恶性肿瘤病史;(4)患者既往没有进行甲状腺消融手术或在本院行超声检查前未进行甲状腺穿刺[8];(5)所有结节图像均含有同一切面三个模态。

图像排除标准:(1)甲状腺结节超声图像背景信息模糊,结节显示不清或结节边界超出界面可显示范围;(2)患者既往进行甲状腺有创性检查或治疗;(3)原始图像上出现患者身份、箭头等标注信息。

仪器:法国声科Aixploper超声诊断仪,探头选择机器配套使用的浅表器官高频探头(频率为7.5 MHz～13 MHz)。图像标注软件为可用于3D医学图像中分割结构的软件ITK-SNAP(3.0版本)。

1.2 方法

1.2.1 建立数据集 (1)图像标注:甲状腺目标结节的标注全部由1名经过专业培训的超声医师(具有十年甲状腺超声检查经验,且经过软件专业培训,能熟练掌握软件操作)进行;(2)数据分组:将486个结节分为两组,386个结节(良性208个,恶性178个)进行5倍扩增后分为训练集和验证集(训练集1 737个,验证集193个)用于构建模型,100个结节不扩增分为测试集(良性53个,恶性47个)用于测试模型;(3)数据增强:用于模型训练的原始数据有386例,为了加强数据的可利用性,算法人员对原始数据进行了数据增强,增强倍数为5倍,增强方法为:①旋转:所有图像在±25度范围内进行随机角度旋转;②翻转:镜像或者垂直翻转。增强后得到1 930例数据,共5 790张图片。

1.2.2 模型训练 标注好的图像交由深圳大学生物医学工程系相关技术人员进行甲状腺结节超声特征提取。本研究所采用的网络主干是ResNet18。为了更好利用数据及降低小数据集的影响,算法设计了自监督任务对ResNet18预训练。在完成自监督预训练后,将参数迁移到多模态特征融合网络的各个特征提取分支上,用以后续对多模态甲状腺图像进行分类诊断(图1)。然后,使用3个ResNet18作为特征提取的网络分支,3个模态的图像各自送入对应的ResNet18分支提取特征。同时为了更好结合各模态之间的信息,本实验使用多模态特征融合分支,提取3个模态的共同特征,并再与各模态自身的特征融合以引导后面网络层的特征提取,最终融合3个分支的特征用于甲状腺癌的诊断分类(图2)。模型训练大致步骤如下:(1)标注好的386例结节进行5倍扩增得到1 930例结节;(2)将图像输入网络主干进行训练,采用10折交叉验证的方法进行模型训练与验证。10折交叉验证:即将扩增得到的1 930例结节随机分为10份,9份用于训练模型,1份用于验证模型,得到每次AI模型的分类结果,进行10次验证后取其平均值作为输出结果。训练得到AI模型:(1)US-AI模型:为提取甲状腺结节二维灰阶特征训练而得;(2)多模态-AI模型:为提取甲状腺结节二维灰阶、弹性成像及彩色Doppler特征后进行特征融合训练而得。

图1 通过自监督任务进行预训练和参数迁移

图2 多模态特征融合的分类网络

1.2.3 模型诊断结果判读 把图像导入相对应框架后,模型下方可判定结节性质及概率值。结果显示为“良性”/ “恶性”,概率值越大,则表示结节为良性/恶性的可能性越大。具体流程及案例见图3。

图3 AI诊断系统诊断甲状腺结节流程及良恶性判断案例

1.2.4 低年资住院医师判读 测试集中所有的病例,由一名具有3年甲状腺超声检查及诊断经验的住院医师进行诊断。

1.3 统计学方法

2 结 果

2.1 验证集中多模态-AI诊断模型与US-AI诊断模型诊断甲状腺结节良恶性的比较

验证集中,US-AI模型准确诊断良性结节97个,恶性结节59个,多模态-AI模型准确诊断良性结节105个,恶性结节76个(表1)。多模态-AI模型的AUC为0.938,US-AI模型AUC为0.797,前者诊断效能高于后者,差异具有统计学意义(Z=5.444,P<0.001;图4)。

表1 US-AI模型与多模态-AI模型验证结果

图4 US-AI模型及多模态-AI模型ROC曲线图

2.2 测试集中多模态-AI模型、US-AI模型与低年资住院医师诊断甲状腺结节良恶性的比较

测试集中良性结节53个,恶性结节47个。US-AI模型、多模态-AI模型及低年资住院医师准确诊断良性结节分别为47个、49个、40个,准确诊断恶性结节分别为33个、40个、40个(表2)。绘制各组ROC曲线图(图5),得到各组的AUC。US-AI模型、多模态-AI模型以及低年资住院医师的AUC分别为0.794、0.888、0.803。多模态-AI模型AUC大于US-AI模型(Z=3.176,P=0.002),大于低年资住院医师(Z=3.261,P=0.001),差异均有统计学意义。US-AI模型AUC低于低年资住院医师,差异无统计学意义(Z=0.239,P=0.810)。

表2 US-AI模型、多模态-AI模型及低年资住院医师测试结果

图5 各模型及低年资住院医师诊断效能ROC曲线图

3 讨 论

近年来,AI在乳腺与甲状腺疾病诊断、胎儿测量、心脏功能测定等多个领域已有较多研究与应用[9-11]。目前甲状腺AI应用研究主要集中在甲状腺结节分割与分类[12-13],所应用到的超声图像主要是甲状腺结节二维图像[5,14],如Sun等[15]的研究,在甲状腺二维图像特征的基础上应用迁移学习的方法获得AI模型,然后与主治医师比较,结果显示,AI诊断的准确性、敏感性和特异性均高于后者,分别为96.4%vs93.1%、83.1%vs67.2%和92.5%vs87.1%。关于联合甲状腺结节弹性图像或其他类型数据的研究较罕见,仅发现国内有研究者应用剪切波数据进行研究[16]。因此,本研究拟以甲状腺二维灰阶、弹性成像及彩色Doppler三种超声图像为基础,利用AI进行深度学习,设计可以智能分类甲状腺结节的模型,比较各模型在诊断甲状腺结节中的效能,探讨多模态AI在甲状腺癌诊断中的应用价值。

据报道,运用二维数据得到AI模型诊断甲状腺结节的准确率一般可达到85%～90%[17-18]。本研究以486个甲状腺结节为研究对象,运用上述结节不同图像进行数据集构建及框架训练,训练得到模型后进行测试,100个测试结节中,US-AI模型准确诊断良性结节47个,恶性结节33个,共准确诊断结节80个,得出US-AI模型的准确率为80.00%,诊断率低于报道情况,可能因为本研究为小数据量研究,未来加大样本量诊断率可能会有所提高。AI模型中融入彩色Doppler及弹性两个模态信息后,AI模型诊断的AUC明显提高,其中多模态-AI验证集与测试集AUC分别为0.938、0.888,这反映了甲状腺结节多模态特征提取与融合可以进一步提高模型的分类能力。Li等[19]使用超过40 000例的二维灰阶图像数据进行训练,结果显示其测试集曲线下面积为0.912,与本研究结果接近,说明多模态数据能在一定程度上弥补小样本量的不足。专家共识表明,实性甲状腺结节若不具有恶性特征,结节周围显示较完整环形血流且弹性硬度较低,此类结节多为良性[20]。因此,临床工作中恰当运用多普勒超声与弹性成像超声有助于甲状腺结节诊断。多模态-AI模型融合了彩色Doppler及弹性特征后,结果与预期相符,模型诊断效能明显提高,多模态特征融合具有可行性。除了弹性成像,较新的技术如超微血管成像、超声造影等亦为临床工作中诊断甲状腺结节提供了重要参考信息[21-22]。本研究初步表明多模态特征融合具有可行性,为AI多模态特征融合奠定重要基础,未来研究可进一步尝试融合甲状腺结节超声造影以及超微血管成像获得的特征,让AI更深入、全面获取结节信息。低年资医师因经验不足,诊断主观性影响较大,因此客观性诊断、同质性诊断尤为重要。测试集中US-AI模型与低年资医师的诊断效能相近,并不能很好地给低年资医师诊断甲状腺结节提供参考意义。但融入多模态特征后,AI模型诊断效能极大提高,恰当应用AI能辅助低年资住院医师诊断甲状腺结节,更能满足临床需求。

为了更加全面地利用超声数据,本研究AI模型设计所采用的图像数据,除了二维数据外,还有弹性成像、彩色Doppler数据。另外,AI模型设计旨在为临床服务,我们创新地设计了可视化操作页面,方便超声医师操作。同样地,本研究亦存在一些不足之处,首先本研究所采用的图像均为静态图像,未将动态超声图像纳入,这可能会导致病灶的部分特征信息丢失[23]。其次本研究数据来源仅为单中心研究,样本量亦不够大,未来多中心大样本量研究将是研究重点与突破方向。

总之,本研究中训练得到的AI模型是基于甲状腺结节不同模态图像改进得到的,研究结果得出,甲状腺多模态AI可以更加全面准确诊断甲状腺癌,可为多模态AI超声在甲状腺疾病的诊断和研究奠定重要基础。

作者声明：本文全部作者对于研究和撰写的论文出现的不端行为承担相应责任;并承诺论文中涉及的原始图片、数据资料等已按照有关规定保存,可接受核查。

学术不端：本文在初审、返修及出版前均通过中国知网(CNKI)科技期刊学术不端文献检测系统的学术不端检测。

同行评议：经同行专家双盲外审,达到刊发要求。

利益冲突：所有作者均声明不存在利益冲突。

文章版权：本文出版前已与全体作者签署了论文授权书等协议。