人工智能医疗器械企业质量管理现状调研

刘毅 ，王浩，李澍，张威，樊瑜波

1 北京航空航天大学 生物与医学工程学院，北京市，100191

2 北京北铃专用汽车有限公司，北京市，101500

3 中国食品药品检定研究院 医疗器械检定所，北京市，102629

4 中国医疗器械有限公司，北京市，100028

5 北京航空航天大学 生物医学工程高精尖创新中心 生物力学与力学生物学教育部重点实验室，北京市，100191

6 北京航空航天大学 医学科学与工程学院，北京市，100191

0 引言

人工智能（artificial intelligence，AI）自1956年在达特茅斯会议上被首次提出[1]。随着深度神经网络的出现，AI在多个不同领域展现出了超越人类的表现[2]。以独立的医疗软件、软件组件、医疗信息化系统（云医疗）、AI赋能医疗设备等状态存在的人工智能医疗器械（artificial intelligence medical device，AIMD），为传统医疗活动插上了一对强有力的翅膀。自2016年以来，随着相关技术的发展，AI技术的发展开始突飞猛进，世界各国各地区纷纷出台AI国家战略，并纷纷在本国本地区进行AIMD的布局[3]。经过不断的技术突破和产品迭代，AIMD已经在语音识别[4]、紧急救援[5]、辅助诊断[6]、辅助治疗[7]、健康管理[8]等方面对人类的生活带来了巨大的影响。

目前，人工智能的发展已经上升到国家战略，医疗健康从信息化走向智能化也将是必然趋势[9]。政策红利与科研创新加速的双重驱动下，我国AIMD产品的审批上市迎来重大突破，截至2020年底，随着“肺结节CT影像辅助检测软件”的注册，我国获批上市的AIMD企业已达9家[10]。医疗器械产品的质量可靠是确保产品真正服务于临床的重要保证，Xavier于2018年发布了《Xavier GMLP报告》，积极推动AIMD产品质量管理体系的构建[11]；美国FDA在2019年发布了有关机器学习/人工智能医疗器械软件的产品变更监管框架讨论文件，聚焦产品迭代后的快速评价路径。2018年12月，由中国食品药品检定研究院牵头的电气和电子工程师协会（IEEE）人工智能工作组成立，率先推动AIMD性能与安全评价术语、数据集质量管理与评价两个方面国际标准的制订[12]，《人工智能医疗器械质量要求与评价 第1部分：术语》和《人工智能医疗器械质量要求与评价 第2部分：数据集通用要求》两个医疗器械行业标准日前已进入报批阶段[13]。但是，我国AIMD产品应用评估和质量控制体系总体处于起步与探索阶段，AIMD产品的质量管理体系尚不够完备。在YY/T 0287—2017《医疗器械质量管理体系用于法规的要求》[14]的医疗器械通用法规的基础上，2019年7月，国家药品监督管理局医疗器械技术审评中心发布《深度学习辅助决策软件审评要点》[15]，同时主持完成《医疗器械生产质量管理规范独立软件附录》[16]（以下简称软件附录）。

本研究主要参考上述文件，针对我国的代表性AIMD企业，对其产品设计研发过程中的质量管理情况进行问卷调研，并对调研结果进行深度分析，旨在为AIMD企业内部质量管理体系的构建和完善提供参考依据。

1 对象方法

（1）研究对象：据不完全统计，目前我国AIMD各个方向主要生产研发企业共有40家左右，此次调研受访的企业一共为32家，覆盖了绝大多数主要 AIMD产品生产研发企业。32家企业产品应用情况，如图1所示。

（2）问卷的设立和确定：将YY/T 0287—2017《医疗器械质量管理体系用于法规的要求》中的5个一级指标、22个二级指标、60个三级指标经过两轮专家咨询和头脑风暴之后，筛选得到与AIMD企业质量管理体系相关的5个一级指标、12个二级指标，36个三级指标（权重打分≥3分），这些指标是专家认为AIMD产品具有一定特殊性，在生产过程中应当重点关注的。将筛选得到的36个三级指标与软件附录以及《独立软件检查指导原则》的各项条款进行一一对应，结合《Xavier GMLP报告》中的AI_GmLPChecklist，并根据AIMD的实际生产研发过程质量管理体系可能存在的问题，系统化设计相关的问题，形成调研问卷。问卷一共55道题，题型分为单选、多选和简答题。

图1 受访企业产品应用情况Fig.1 The application of the interviewed enterprises’ products

（3）问卷的填写：将问卷录入问卷星系统，通过微信消息的形式召集具有代表性的生产研发企业，在手机端进行问卷的填写。

（4）数据分析方法：调研结束之后，从问卷星后台导出原始数据，利用Excel 2016对问卷结果进行分析，主要进行描述性统计分析。

2 结果分析

此次调研，主要针对AIMD企业设计研发生产过程中的关键问题进行调研，主要分为4个大的模块：产品的策划和设计、产品的质控、结果输出和产品的变更，具体的调研结果如下。问卷一共发出32份，回收32份，回收率为100%。

2.1 产品的策划和设计

2.1.1 训练集来源

AIMD产品训练集的来源情况为：32家（100%）受访企业均从医院获得训练集，另有部分受访企业会从体检机构（7家，21.88%）、第三方影像中心（7家，21.88%）或者社区诊所（4家，12.50%）获得相关的训练集数据。针对是否根据医院的实际情况进行定制化训练的问题，15家（46.88%）表示肯定，其中9家（60.00%）表示进行参数调整，3家（20.00%）表示进行网络结构的调整，3家（20.00%）表示进行其他的调整；17家（53.12%）受访单位表示并未根据医院的实际情况进行定制化训练。

2.1.2 算法来源及文件记录情况

在AIMD产品设计过程中，23家（71.88%）受访企业表示使用开源的算法或者工具包，这23家中的22家表示在使用开源算法或者工具包前，会对其进行验证。关于算法的名称、算法训练，算法性能评估以及网络安全防护（内在要求）等的记录完备程度，见表1。由表1可以看出，受访企业在网络安全防护方面需要引起足够的重视，文件记录完备程度尚需加强。

表1 产品设计环节，各要素的记录完备程度 [n(%)]Tab.1 The complete degree of records of various elements in the process of product design

可追溯性分为数据的可追溯性和算法模型的可追溯性：数据的可追溯性，制造商应该具有的记录，见图2；对于算法模型的可追溯性，制造商具有的记录，见表2。

图2 对于数据可追溯性，制造商应该具有的记录Fig.2 The records that manufacturers should have for data traceability

表2 对于算法模型的可追溯性，制造商应该具有的记录[n(%)]Tab.2 The records that manufacturer should have for the traceability of the algorithmic model

2.1.3 产品性能验证

14家（43.75%）受访企业表示AIMD产品进行临床部署后，使用新的数据再训练，其中12家在此基础上，实时复制/备份该系统，并对再训练前后的产品性能进行对照分析；18家（56.25%）表示AIMD产品进行临床部署后，并不使用新的数据再训练。通过对AIMD产品的性能验证方案的结果进行分析可知：大多数企业选择多中心临床研究进行产品的性能验证（30家，93.75%），同时有些企业会辅佐一些其他的方式，比如在自有封闭测试集上进行测试、在第三方封闭测试集上进行测试，等等。

2.2 结果输出

32家受访企业中，13家（40.63%）表示AIMD产品的临床结论是独立输出的，19家（59.37%）表示AIMD产品的临床结论需要人为干预；32家（100.00%）表示AIMD产品的输出结果需要医生审核。25家（78.13%）表示最终用户有权修改AIMD产品的输出结果，余下的7家（21.87%）表示最终用户不能修改AIMD产品的输出结果。

15家（46.88%）受访企业表示能根据输入的数据，列出下一步可选的动作（例如急救场景下，给出转诊、报警、用药等选项），这15家中，有10家表示能自动判断下一步应如何动作（例如向急诊科发出警报），有9家表示其AIMD产品能自动执行下一步动作（例如向医生发出报警）；尚有17家（53.12%）表示不能根据输入的数据，列出下一步可选的动作。

15家（46.88%）表示AIMD产品的输出结果可以作为其他软硬件的输入（例如应用于放疗计划的AIMD产品，其输出结果是否可以作为放疗靶区规划的数据输入），17家（53.12%）表示AIMD产品的输出结果不能作为其他软件的输入。9家（28.13%）表示AIMD产品的输出结果可以操控其他软硬件进行治疗，23家（71.87%）表示AIMD产品的输出结果不能操控其他软硬件进行治疗。

2.3 产品质控

对于算法安全和数据安全，大部分受访企业表示会对19项网络安全能力进行验证（25家，78.12%），同时建立网络安全设施（24家，75.00%）；有1家（3.12%）表示会开启密码验证从而保证算法和数据的安全。

产品在长期使用过程中，17家（53.12%）表示设有质控环节，用以检测产品自身性能的变化；15家（46.88%）表示没有质控环节；17家（53.12%）表示医生在临床使用AIMD产品的过程中，周期性地开展性能验证（类似利用体模进行周期性质控），15家（46.88%）表示医生在临床使用AIMD产品的过程中，未能周期性地开展性能验证。

对于如何开展AIMD产品的风险分析和控制：25家（78.13%）选择根据YY/T 0316，建立风险管理文档；23家（71.88%）选择在实际的临床环境下，搜集疑难病例，开展压力测试；16家（50.00%）选择针对产品可能出现的风险，通过模拟仿真、GAN等方式，生成对抗性样本，开展对抗测试；有1家（3.13%）企业选择其他，但是未注明具体内容。

2.4 产品的变更

AIMD产品性能退化的发现方式，大部分受访企业通过定期对产品的维护与校准（20家，62.50%）或者通过实际使用AIMD产品的医生反馈（20家，62.50%）来发现，也有部分通过医院的日常质控（16家，50.00%）和实验室间的对比（6家，18.75%）来发现。对于持续学习的AIMD产品，性能退化严重处置方式，绝大多数企业选择停用、算法更改或者版本迭代。同时，受访企业表示算法性能显著下降（28家，87.50%）或者软件效率显著下降（21家，65.63%）时，将对产品进行停用。

针对AIMD产品在何种情形下启动变更程序以及变更程序的流程，各个企业说法不一：有的表示应该按照“设计变更申请提交——设计变更设计与定义——设计变更评审——设计变更规划与执行——设计变更验证”，有的表示应该按照“产品需求确定——产品开发——性能测试——第三方性能测试——真实世界临床数据库性能测试”，还有的表示应该按照“市场调研——可行性分析——立项讨论——风险分析”进行变更。这也从侧面反映出来在AIMD产品变更程序方面，目前尚缺乏统一的参考依据。

3 讨论与结论

本研究针对AIMD企业的产品质量管理体系现状进行调研，从调研结果可以看出，目前各AIMD企业对于医疗器械质量管理体系基本要求已有初步的认识，信息领域从业人员逐步意识到除了一般的软件工程质量管理要求，还需考虑医疗器械的特殊性。但是，从业人员针对国家出台的医疗器械生产质量管理规范独立软件附录的认识还不够深入。在实际执行中，还存在一些理解不到位、处理不完善的情况，尤其对产品的设计开发、设计变更、风险管理、预防和纠正措施等方面，并没有深入贯彻实施相应的要求。同时，缺乏针对AIMD产品质量的数据集的相关要求，也没有深入地研究如何保证数据集的可靠性和有效性，而这些恰恰是AIMD企业最值得关注的几个方面。

第一，数据集在生产研发中的角色日益丰富，在算法的训练、调优、验证、临床试验、再训练、真实世界监控等环节都有涉及。数据集的质量管理是AIMD企业质量管理的痛点之一[17]。目前，虽然我国医疗数据量特别庞大，但是80%的数据属于非结构化数据，需要处理和质控，否则难以直接用于AIMD的生产研发[18]。企业在产品研发阶段，一般需要投入资源开展数据采集、标注、质控等活动，以建立自有的数据集，而不同模态、场景的医学数据集差异较大，如何建立适宜的操作规程与记录，是质量管理的重要问题。社会各界也在积极建设公开数据集、第三方数据集，但数据提供能力有待提升，且如何建立合适的对供应商考核机制，同样有待研究。AIMD企业有必要从技术层面、管理层面提高对标准规范和法规的认识，加强数据集质量控制的技术能力、基础设施和管理体系[19]。

第二，针对AIMD产品或者生产过程的变更控制是AIMD质量体系的另一个重点和难点。未经充分验证和确认的变更可能导致产品失效或者返工。因此，AIMD企业需要建立详细的质量变更控制文件，并对这些变更进行充分的验证，确保变更纠正了问题。同时，AIMD企业还要确保设计变更和相应的版本控制得到了充分验证。如果相应的设计变更在已经建立的版本体系中属于次要升级，则不需要进行主版本变更，如果相应的设计变更属于重大变更，则应该升级版本，并进行相应的申报并持续满足法规的要求。

第三，网络安全记录方面未得到充分重视，仅有7家（21.88%）受访企业表示记录非常完备，甚至有受访企业表示记录非常不完备甚至没有相关记录的情况。AIMD产品在研发阶段的网络安全管理，一方面应遵循原国家食品药品管理总局颁发《医疗器械网络安全的注册技术审查指导原则》[20]，另一方面应考虑AI产品的技术特色，包括：①AIMD产品算法性能的可靠性、模型健壮性等要素；② 产品全生命周期的网络安全风险防御策略[21]。但是，目前针对AIMD产品的网络安全标准尚属空白，并且对于网络安全的质量评价方法和措施也尚无定论，这也有待于产业进一步联合，共筑AIMD产品的网络安全质量评价方法和相关的行业标准，共建AIMD产品运行的安全绿色环境。

第四，对AIMD产品上市后的质量控制环节未加以关注。15家（46.88%）受访企业表示未针对未来临床使用AIMD产品的过程中设计质控环节，未考虑进行周期性性能验证。这也可能因为大部分受访企业的AIMD产品尚处于上市前的研发和临床试验阶段，还未能很好地考虑到产品上市后的质控环节。由于AIMD的“机器学习”特性，AI算法模型具有快速演化、黑盒、对数据质量高度依赖等特性，AIMD的安全性和有效性可能在临床使用条件下出现不同程度、不同方式的波动[22]。不管是正向还是负向的波动，对AIMD产品的趋势监测和质量控制是非常必要的，尤其是对于具有持续自学习功能的产品，这一点显得尤其重要。AIMD真实性能如何监测、由谁监测，是AIMD质量研究应关注的重要问题，具体应考虑企业与医院之间的沟通反馈如何实施、企业的预防与纠正措施如何设计。

综上，随着AI技术的不断突破和升级，作为我国医疗器械产业异军突起的新方向，AIMD产业的发展机遇和挑战并重。一方面，国家在政策方面给予了大力的扶持，随着公众关注度的提高，学术研究水平也在不断提升，大量的社会资本进入将推动产业快速升级；另一方面，持续的产品质量管控，方能确保产品在市场上的生命力，期待行业内协同起来，推动产品质量管理体系的深入研究，共同建立标准规范，与法规形成良好的衔接，有效确保AIMD产品安全有效，更好地服务于临床。