CycleGAN、ACGAN在人工智能医疗器械数据增广中的应用

郝鹏飞，李瑶，柴蕊，裴晓娟，于哲，李庆雨，陈曦，张克

1.山东省医疗器械和药品包装检验研究院 医用电器质量评价中心，山东 济南 250101；2.道普信息技术有限公司，山东 济南 250101

引言

随着图形处理器等硬件技术的发展及各类人工智能算法的突破，人工智能产品成为最热门的赛道之一。人工智能算法作为功能引擎，为各个行业提供生产动力输出。在医学+人工智能领域，现有案例证明，利用人工智能可对常见高发慢性疾病进行风险评估，大大减轻医生工作负担，提升就医效率[1-3]。

医学领域大批量人工智能产品面世，给医疗器械检测机构带来了前所未有的压力。其中，产品优劣程度对病情、病变检测等诊断结果起着决定性的导向作用，因此，如何测试人工智能算法成为医疗行业中亟待解决的主要问题。众所周知，人工智能算法分训练集和测试集，测试集为算法指标评估重要的输入[4]。现今，对检测机构来说，由于承检量大，产品种类多，很难建立全域测试数据集，因此只能依赖送检机构针对人工智能产品提供的测试数据集，但医疗器械检测机构很难判断此数据集是测试集还是训练集，因此无法保证算法模型质量。

基于以上考虑，结合国内外数据处理加工算法，本文提出一种包含循环生成对抗网络（Cycle-Consistent Generative Adversarial Networks，CycleGAN）、辅助分类生成对抗网络（Auxiliary Classification Generative Adversarial Network，ACGAN）进行数据增广的方法集合。由于肺部影像诊断是临床影像学中的一个重要分支，肺部影像学的自动化分析也是人工智能医疗设备的热点研究方向之一，且肺部影像中的结构和形态比较规律，更容易进行算法研究、评估和比较，因此本文选择肺部图像作为研究对象。本文旨在对送检数据集进行变换或生成特定领域数据，以保障模型对数据的不可见性，提高模型评估的置信度。

1 传统数据添加扰动方法

传统数据添加扰动方法可分为图像旋转与翻转、图像加噪、图像叠加滤波[5]。该类方法为基于一张原始图像进行规律性变换，且不同方法变换的方式不同，在整个变化过程中不会过多地影响图像的整体结构和图像质量。传统数据添加扰动方法如图1所示，图像均采用肺炎图像里的一小块区域，每种方法从左到右设置阈值为由低到高。

图1 传统数据添加扰动方法

图像旋转与翻转是图像像素进行空间几何变换的结果，是最初等的变换，也是数据增广的常用方法。图像旋转是让图像以某一点为中心旋转指定的角度。为了保障图像的完整度，基于医学领域图像旋转以中心点作为基点，以90°作为旋转角度最小变换量。经过旋转或翻转的图像，其图像内容不会发生变化，但是原坐标系需要通过角度等复杂计算，才可得到目标坐标空间。

图像中的噪声不是来自原始场景内容的伪影。一般来说，噪声是随机过程中产生的测量值的统计变化[6]。在成像中，噪音以涵盖画面的粒子结构为伪影出现在画面中。噪声在图像中可有不同的形式和外观，也可根据需求设置噪声大小，具体效果如图1a～c所示。为了增加图像噪声作为检测模型的输入，本文对人工智能模型进行多层次噪声检测，以更好地测试模型的鲁棒性。

图像可以看作由多块子图像组成，各块内像素相似且过渡缓慢，块与块相邻部分称作边缘。现今图像滤波常用于图像块内平滑降噪、去细节并最大程度保留图像边缘[7]。图像滤波因具备去除噪音、去除图像细节、保持图像边缘的能力而被广泛使用。具体效果如图1d～f所示。医学领域中的影像也常用滤波技术进行去噪处理[8-9]，本文提到的滤波区别于常用用途，旨在对医学影像进行滤波变换，在不改变图像整体结构和元素的前提下对图像进行加工。

传统数据添加扰动方法是在不改变图像整体结构的前提下，对医学图像数据进行加工，处理后的数据为模型的测试集。通过传统数据添加扰动，使用不同方法、不同阈值对数据进行变换，将得到的测试集分别应用于模型测试，可以更精准地评估模型的鲁棒性。

2 CycleGAN生成干扰图像

传统数据添加扰动方法都是基于某种规律对图像进行变换，随着人工智能技术的不断发展，CycleGAN 应运而生。CycleGAN 突破了原始生成模型的枷锁，以一种新的模态展现在人们面前，取得了令人满意的效果。

2.1 CycleGAN的优势

CycleGAN 是生成对抗网络（Generative Adversarial Networks，GAN）的一种类型，由2 个生成器和2 个判别器组成，可学习两个域之间的映射且无须进行数据配对。生成器学习将图像从一个域映射到另一个域，判别器学习区分真实和假的图像。CycleGAN 的关键方法是循环一致性损失，确保生成的图像可映射回原始域。CycleGAN 已应用于各种领域，包括图像风格转移、图像到图像的翻译和医学影像领域。在医学影像中，CycleGAN 已用于图像配准、图像合成和图像分割。例如，Zhu 等[10]使用CycleGAN 将磁共振成像图像合成电子CT 图像进行放射治疗规划，生成的CT 图像在图像质量和准确性方面与真实CT 图像相当。

本文使用CycleGAN[11]作为生成扰动图像方法的原因有：① CycleGAN 的通用性更强，不依赖于具体的任务；② 生成器输入的不是随机噪声，而是图像，由于本文的目的是在原始图像基础上添加扰动，因此CycleGAN 生成器输入原始图像较传统GAN 生成器输入随机噪声，可更好地保留原图特征；③ CycleGAN 的训练集只需准备原始图像和带有扰动的图像即可，数据之间无须进行对应关系的映射[12]。

2.2 数据准备

CycleGAN 需要2 个集合的数据即原始数据（A）和目标数据（B），训练集与测试集比例设置为5 ∶1。构造数据集的具体过程为：以肺炎图像为例，首先挑选出1800 张肺炎图像作为基础数据（本文肺炎图像均来源于Kaggle 网站[13]），再随机选出1500 张和300 张图像作为训练集和测试集中的集合A，然后使用传统添加扰动的6 种噪声和滤波变换方法对1800 张图像进行变换，每种方法设置3 个阈值，具体数值如表1所示。

表1 图像变换对应表（张）

表1 中以行列进行排列组合，可分成18 个类即18 个100 张集合。以随机的策略在17 个类别中选取17 张，在最后一个类别中选取11 张，凑够测试集B 集合的300 张图像。剩下的1500 张图像作为训练集的B集合使用。该方法一方面可避免数据出现偏态分布，导致模型训练效果不佳，另一方面可使模型对该18 个类别数据进行学习，融合多种变换方式，从而在原图像基础上生成不规则的扰动信息，并对其进行图像加工。

2.3 CycleGAN的原理

CycleGAN 包含2 个生成器和2 个判别器，见图2，如果从一个图像转换到另一个图像后再返回，可得到最初始的图像。以肺炎图像为例（图2），a为原始肺炎图像，经过生成器G 生成添加扰动肺炎图像，再经过生成器F 生成图像。与其他对抗网络不同，CycleGAN增加了循环一致性损失的目的是使得向a靠拢，反之亦然。

图2 CycleGAN计算原理图

指标最优模型的推理结果如图3所示。作为肺炎图像数据，图像中整体的结构和元素没有发生太大变化，图像中均有不同程度噪声和滤波的扰动信息，实现了基于原始图像添加不规则扰动的目的。

图3 推理效果展示

3 ACGAN生成特定领域数据

对医学领域而言，领域性强、标注成本高导致医学数据稀缺且数据集体系不规范[14]。对于医疗器械检测机构，特别是检测人工智能相关产品的机构，数据作为最基础的检测元素必不可少，确保该类数据不是产品模型训练集中的数据同样重要，且数据量越大越好。

现今人工智能技术飞速发展，GAN 作为神经网络发展的产物，成为近几年深度学习中较为活跃的领域。GAN 主要利用博弈的方法优化生成器，在完成训练后复用生成器生成数据[15]。本文经过多种GAN 尝试拟完成生成医学特点领域数据的目标，解决数据不足等问题。

3.1 ACGAN的优势

虽然医学领域每天都会产生大量数据，但数据标注和脱敏复杂等仍是导致医学领域应用于人工智能模型开发数据不足的根本原因。作为科研人员或人工智能软件开发者，可使用公开数据集进行模型训练和评估，但作为医疗器械检测机构，使用公开数据集只能作为一种检测手段，说服力较低。因此，本文致力于探究一种在医学特定领域可以生成标签数据的GAN。

2014年条件生成对抗网络（Conditional Generative Adversarial Networks，cGAN）进入了大众的视野[16]，随后众多知名算法横空出世，例如：信息最大化GAN[17]、深度卷积GAN、半监督GAN（Semi-Supervised Generative Adversarial Networks，sGAN）等。本文应用ACGAN算法生成肺炎领域带标签数据，在介绍ACGAN之前，首先要了解cGAN和sGAN。

cGAN[18]与其他GAN 的不同之处在于其使用“条件”输入指导图像的生成，生成器网络可因此接收到额外的信息，例如标签或特定图像，有助于其生成更具体、更逼真的图像。例如，如果条件输入是一个标签，表明生成的图像应该是一只猫，生成器网络将尝试生成一张看起来尽可能逼真的猫图像。

sGAN[19]利用判别器或分类器一端重建标签信息，从而提升GAN 的生成效果。研究发现，当模型处理额外信息时，反而会让模型本来的生成任务完成得更好。优化后的分类器可有效提升图像的综合质量。

ACGAN[20]将以上2 种思想结合建立辅助分类GAN，使用“辅助分类器”指导图像的生成。辅助分类器是一个单独的神经网络，经过训练可预测生成图像的类别。附加信息有助于生成器网络生成更逼真的图像，使图像更符合预期的类别。ACGAN 由1 个生成器和1 个判别器组成，类似于CycleGAN。ACGAN 还包括1 个分类网络以学习预测生成图像的属性。生成器被训练生成与所需属性匹配的图像，而判别器被训练区分真实和假的图像并预测其属性。目前。ACGAN 已应用于各种领域，包括图像合成、图像到图像的翻译和医学影像领域等。在医学影像中，ACGAN 已用于图像分类、图像分割和疾病诊断。

3.2 ACGAN的原理

ACGAN 由1 个生成器和1 个判别器组成，生成器由若干个反卷积层和先行层组成，而判别器包含了若干卷积层和线性层。判别器通过Sigmod 函数判断图像真假，通过softmax 函数判断图像类别。

ACGAN 结构图如图4所示，类别信息与随机噪声进行横向拼接作为生成器的输入并进入网络进行计算，类别信息以独热编码的方法表示。以肺炎数据集为例，分3 个类别，分别为正常、细菌感染、病毒感染，在网络中以向量[1,0,0]、[0,1,0]、[0,0,1]表示。生成器生成图像分别和真实图像及类别信息进行对比后输入到判别器中，ACGAN 在原有GAN 损失的基础上，增加了类别信息损失计算。生成器一旦训练完毕，在推理时只需将类别信息编码输入到生成器中，即可生成带标签的数据。

图4 ACGAN结构图

3.3 ACGAN的应用

本文使用5856 张肺炎图像作为ACGAN 的训练集，3 个类别的数量分别为：正常1583 张、病毒2780 张、细菌1493 张。经过多次调参实验，最终获得了效果较好的生成器，生成器的生成效果如图5所示。虽然距离真实图像还有差距，主要原因是数据量不足、网络结构不适配等，但相信随着科技的发展，未来会有更多算法来支撑医学领域数据的生成工作。

图5 ACGAN生成器生成效果展示

4 应用方法

将CycleGAN 和ACGAN 组合用于人工智能医疗设备中的数据增广，基本方法是使用CycleGAN 从现有医学影像中生成新的医学影像，再使用ACGAN 生成具有特定属性的医学影像。

实现步骤为：① 数据预处理：通过调整大小并归一化像素值来预处理医学影像；② CycleGAN 训练：在预处理的医学影像上训练CycleGAN 模型，生成器学习将图像从一个域映射到另一个域，判别器学习区分真实和假的图像；③ CycleGAN 测试：使用训练好的CycleGAN 模型从预处理的医学影像中生成新的医学影像，再将生成的图像保存以供进一步处理；④ ACGAN训练：在生成的医学影像上训练ACGAN 模型，生成器学习生成具有特定属性的医学影像，判别器学习区分真实和假的图像并预测其属性；⑤ ACGAN 测试：使用训练好的ACGAN 模型生成具有特定属性的医学影像，生成的图像可用于训练机器学习模型，例如图像分类和疾病诊断。

5 讨论与总结

本文开展了基于医疗器械人工智能图像领域数据增广的方法研究，提出了CycleGAN 和ACGAN 结合用于数据增广的方法。CycleGAN 和ACGAN 作为GAN 的变形，不仅适用于肺部图像的增广和添加扰动，还可用来处理各种类型的图像数据，但需要针对具体的应用场景和数据集进行调参和优化以达到最佳效果。本文提出的方法解决了现有明确诊断结论的医学图像数据不足的问题，对送检数据集进行变换或生成特定领域数据，保障了模型对数据的不可见性，大大提高了模型评估的置信度。

本研究还存在一些不足之处：① 对于送检机构自行提供的数据集，在筛选原始数据质量时可能存在偏倚现象；② 医学影像具体的操作任务及数据集的质量是影响数据增广质量的关键因素，不当的数据增广也可能造成负面影响；③ 基于GAN 的增广方式往往需要大量的数据，而基础训练数据难以获得；④ 本研究只提出了3 种数据增广方式，对数据增广后的实际应用和效果对比的研究还不够深入，导致数据增广后的数据尚不具备权威性，不能作为检验的依据，仅可用来提高模型的泛化能力，增加数据集的多样性及减少数据集采集成本。

综上所述，本文提出了一种测试方法以解决医疗器械检测机构测试集不足的问题。下一步有必要针对生成对抗算法展开深入研究，对医学不同领域数据集进行透彻分析，力求生成更实用的医学领域数据，以帮助人工智能医疗器械检测机构对产品进行可信检测。