人工智能系统发展安全风险及防控

张 萌

（太极计算机股份有限公司，北京 100102）

自1956 年美国达特茅斯学院学术研讨会召开之后，人工智能成为了一个独立的学术领域，如今，人工智能已经发展了近70 年。 相关技术日臻成熟，未来还会有更多智能程序和机器人成为人们重要的工作助手，承担危险的或具有重复性的工作。人工智能技术的发展给人类带来了巨大的便利， 同时也给人类生活带来了新的安全风险。

1 人工智能系统发展的主要风险

1.1 技术滥用引发的安全威胁

对于人类而言， 人工智能的价值主要取决于人工智能的应用和管理。 犯罪分子运用人工智能技术就有可能给人类带来安全威胁。例如，黑客运用人工智能技术进行网络攻击，由于攻击软件实现智能化之后，能够学习和模仿用户行为，不断对攻击方法进行调整，就能够在被攻击对象的信息系统中留存很长时间。 黑客还有可能运用人工智能技术窃取他人的私密信息， 定制用户的阅读内容，左右民众信息获取，继而影响他人的判断和决策。

1.2 技术或管理缺陷导致的安全问题

人工智能技术还在不断发展， 目前还并没有完全成熟。 部分技术缺陷的存在，有可能引起异常现象，给人类带来安全风险。例如，人工智能技术的自我学习是完全的黑箱模式，因此，构建的模型有可能并不具备较好的解释能力，无人操作系统、机器人的设计或者制造出现漏洞，就有可能在使用的过程中发生安全风险。假如没有完善的安全防护措施，机器人、无人驾驶车辆以及其他运用人工智能技术的设备装置就有可能被犯罪分子控制，做出危害人类的行为。

1.3 未来的超级智能引发的安全风险

未来当人工智能技术发展到很高的水平， 具备自我演化能力之后， 有可能形成与人类高度相似的自我意识，就有可能威胁到人类的生存。 目前，已经有不少研究人员正在研发具有认知能力的新智能设备， 例如机器意识和机器情感。 虽然人们还并不明确超级智能未来是否真的能够实现，但是在没有考虑到安全风险、没有采取充分措施应对之前，超级智能一旦实现，就有可能全面爆发安全风险。

1.4 数据化带来的隐私安全风险

隐私问题是开发和利用数据资源面临的最重要威胁。 首先，采集数据的过程中，可能出现侵犯他人隐私信息的情况。智能系统保存着大量人类的生理特征，还可以基于个体的行为偏好，对温度、灯光、音乐等进行调节，根据锻炼、睡眠、饮食和体征等对人体健康状况进行分析和判断。智能系统大量掌握个人的隐私信息，对个人的了解程度甚至超过本人。 如果这些信息被人出于商业目的非法利用， 就会引起隐私安全问题。 其次，云计算技术也有可能带来安全风险。云存储技术给人们提供了广阔的存储空间， 但是在云端存储的隐私信息也很容易受到攻击和威胁。 因为人工智能技术具有较强的计算能力，当前云存储、云计算已经成为许多系统普遍应用的技术， 如何有效地保管好云端存储的信息已经成为非常重要的问题。最后，知识抽取过程中也可能出现隐私安全风险。 当前人们有了越来越高效的知识抽取技术可以将看起来没有任何关系的数据信息整合起来，总结出个体性格或行为特征，给隐私安全造成了较大风险。

2 人工智能安全风险防控的基本价值准则

加强对人工智能的治理和监管， 已经成为人类的共识，各个国家政府、研究人员、国际组织以及许多商业企业都提出了对人工智能进行治理和监管的基本原则。

治理和监管人工智能的基本价值准则是人本主义。 首先，应该确保所有人工智能系统都被人所控制。无论哪一项技术都是服务人类的， 人工智能技术的开发应用也应该不能脱离人类的控制， 应避免人类被超级人工智能技术胁迫或者控制。决策的结果以及过程，都不应该全部交给人工智能技术。所以，有必要进一步增强人们管理和控制人工智能系统的能力， 确保在系统运行期间以及系统运行之后都支持人类干预。其次，人工智能系统管理和治理的核心是确保人的自觉权。对人工智能技术的管理和治理必须确保人类充分了解人工智能技术， 人类能够自主决定人工智能系统的设计以及应用，不应该将决策交给技术，应避免出现个人被迫接受人工智能系统的现象。总体而言，人工智能系统采集个人信息以及运用可能涉及隐私问题的信息都应该确保“ 知情同意”“ 正当合法”。 应该交给隐私信息的所有人决定是否运用人工智能系统提供的服务或产品，而且应该保证个人有撤回此服务和产品的决策权，以便更好地保障人们对于自身隐私信息的主权。最后，人工智能技术以及系统的应用都应该遵循人类伦理的基本准则，其核心目标应该是促进人类福祉。 所以，应该确保人工智能系统从设计到开发应用的全部过程都严格遵循人类伦理的基本准则， 不得设计和生产对人的尊严以及人格权有侵害的产品或系统， 应该保障个体的数据以及隐私安全，保障商业公平和消费者权益，保障社会公正平等，保障伦理价值，建立可靠、安全的人工智能管理和治理体系。

3 人工智能安全风险防控的基本原则

为了保障人本主义基本价值准则的实现， 本文认为，人工智能风险防控应该遵循下述原则。

3.1 安全性原则

人工智能系统的设计以及应用， 首先应该确保安全风险的最小化。 使用人工智能技术和系统者应采取措施，有效保障用户数据、隐私以及网络信息安全。 人工智能技术和系统风险防控的关键在于运用组织、技术以及管理制度等多种方法， 使得人工智能技术和系统应用的安全性。所以，有必要针对人工智能技术和系统建立全生命周期的治理以及风险防控体系， 及时发现人工智能技术和系统应用过程中的风险， 加以纠正和防控。在实际出现风险事件时，能够及时有效地予以处理，确保人工智能技术应用和系统应用的动态安全。

3.2 透明度原则

人工智能系统的应用开发需要首先解决智能黑箱问题，因此，有必要设定透明度原则。设定透明度原则，不仅能够更好地帮助监管机构和运行主体进一步了解人工智能系统运行的过程， 还能够及时有效地发现其中的问题和风险， 因此也能够进一步强化消费者对于人工智能系统应用和开发的信任。 透明度原则的设定首先应该确保用户对于算法数据以及规则的知情权。在人工智能系统运行和应用过程中， 消费者应该明确知晓自身接触的产品和服务来自人工智能系统， 确保受系统影响的各方面主体都能够明确人工智能系统运行结果得出的过程。此外，应该确保对于人工智能系统算法的过程、所构建模型以及所得结论的充分解释，要求向当事人充分解释算法的运行以及决策形成的过程，消除对于结果的质疑。

3.3 公平性原则

人工智能系统的应用开发需要确保公平原则，尽可能消除不公平等现象。 人工智能系统的应用开发需要保证得出的决策不会对特定群体或者个人形成歧视或偏见， 导致此类群体或者特定个人不能公平地参与社会经济活动，或者处在明显不利地位。人工智能系统的开发应用应该保证所有人的公平， 不得引起对特定群体或个人的歧视， 不得损害社会正义和个体以及群体的尊严。

3.4 问责性原则

人工智能系统广泛影响着不同的主体， 其中主要法律责任应该由使用算法程序的主体承担。 问责性原则强调的是使用人工智能系统的主体必须要明确算法的逻辑、数据以及过程，对于程序使用结果所造成的影响负责。 因自身过错损害社会经济的行为都需承担行政责任或法律责任。在此基础上，需要进一步强化开发人工智能系统人员以及系统服务对象也就是消费者的治理责任，形成多方面合作的治理体系。

4 建立全生命周期人工智能安全风险防控体系

有必要对安全风险进行分级，实行差异化管理，为了保证人工智能系统风险的有效监管和防控， 需对人工智能进行全生命周期的风险防控。

4.1 以风险为基础的分级监管

以风险分级为基础， 对人工智能系统进行风险防控。首先，需要针对人工智能系统的风险建立科学合理的评估体系，对各类人工智能系统都进行风险评估。基于评估得出的结论， 将人工智能系统划分为不同的风险等级，本文认为可以划分为低风险、高风险以及不可接受风险级别。对于那些可能对人类伦理、生命安全以及社会经济安全造成严重损害的人工智能系统， 均定义为不可接受风险级别系统， 政府理应通过立法予以禁止，设定对人工智能系统开发应用的红线和禁区。对于那些高风险系统， 政府需要强化对此类系统的事前认证以及使用准入管理， 需要确认应用此类系统的主体达到国家要求， 严格遵循法律规定的基本原则和履行相关管理义务，加强对于违规违法的处罚以及监督。最后，对于那些风险较低的人工智能系统，政府可以在一定程度上放开管制， 强调使用者确保对系统的动态监管以及使用过程的高度透明， 鼓励和引导使用者合规合法地使用人工智能系统， 鼓励使用者和企业实施质量认证，因此得到消费者的认可和信赖。

4.2 建立一体化的人工智能系统政府监管体制

针对人工智能系统建立完善的政府监管体制，首先需要对人工智能系统的安全风险建立明确的评估标准、认证制度。 为了避免风险真正发生，尽可能降低风险发生后的损失， 有必要对人工智能系统的设计应用制定质量安全统一标准以及必要的认证和达标管理制度。对于高风险人工智能系统，需要确保严格的认证和审批， 需组建第三方团队研究人工智能系统安全认证以及安全评估制度。 所有高风险人工智能系统均需由专业的第三方团队对系统安全风险进行评估和认证，所有未达标或者未通过评估的人工智能系统均不得投入使用。

其次，需要加强对人工智能系统风险的过程管理。为此需要强化运用人工智能系统组织和企业机构的主体责任， 要求此类机构和组织内部针对人工智能系统安全风险的问题建立专门的组织机构以及制定有效的管理制度和措施， 重点加强监管机构的动态监测以及合规审计。 考虑到人工智能系统本身具有动态优化的特征， 一次审计或者检查所得的结论经过一段时间之后就会失效。所以，有必要持续对人工智能系统进行全生命周期的监控以及动态审计。 算法审计和监测的关键在于对算法运行过程中的相关因素、权重数值分配、数据质量以及数据，结论和事实之间的关系，对使用算法的主体以及应用过程中的合规、 合法性进行监管和动态审计。为了便于监管机构的监管以及动态审计，使用人工智能系统的主体必须向监管机构开放算法运行机制、源代码、运行结果以及相关数据界面。 考虑到算法审计对于工作人员的专业性要求很高， 监管机构可以委托、授权第三方专业机构来完成这项工作。 不过，为了保证人工智能系统使用者本身的合法权益以及算法知识产权， 被授权的第三方专业机构以及政府监管机构都需对此系统保密。

最后， 有必要加强对于违法违规行为的追责和惩处。 强化对于违反人工智能系统安全相关法规行为的惩处在于下列几点。第一，明确使用人工智能系统以及设计人工智能系统主体的法律责任。 虽然人工智能系统和算法并行是计算机基于智能技术自主学习并且完成的，整个过程可能并没有人干预。 然而，使用人工智能技术和系统的主体也不能因此免责， 原因在于此类主体理应承担确保算法、技术可信而且安全的责任。第二， 对于那些违反安全治理规则甚至踩踏红线者必须予以严厉处罚。提高犯罪者的违法成本，就能够在很大程度上遏制经济主体的违法违规现象。 如欧盟发布的《 人工智能法》（ Artificial Intelligence Act） 对于违规违法企业惩处最高额度为全球营业总额的6%或3 000万欧元。根据我国发布的《 中华人民共和国网络安全法（ 含草案说明）》《 中华人民共和国数据安全法（ 含草案说明）》等设计了整改、约谈、限制营业资格、罚款以及刑事责任等不同的措施， 未来还需进一步明确适用条件。 尤其是应该去除罚款上限，罚款上不封顶，制定更加明确更能够遏制企业违法违规行为的罚款制度。 例如，可以以企业营业额为基数，设定一定比例来计算罚款。 最后，有必要制定民事损害赔偿制度，对那些违规违法运用人工智能技术或系统侵害公民个人权益行为给予民事损害赔偿。

4.3 强化人工智能使用者风险治理第一责任人角色

人工智能系统使用者是管控其风险的第一责任人，人工智能系统风险可能与不同的主体有关。怎样在不同主体间进行责任配置， 是监管人工智能系统的难题。为了实现最好的防范效果，在配置责任时应该始终保持最高效率实现最佳结果目标的原则。 使用高风险人工智能技术和系统的主体， 必须要以严格履行公开透明相关信息的责任， 有必要进一步强化对于使用人工智能技术和系统主体的数据治理义务。 使用人工智能技术和系统的主体有必要建立全生命周期风险的预防和控制制度以及工作体系。 考虑到人工智能技术和系统具有动态性，风险防控系统以及体制，也有必要不断根据人工智能技术和系统全生命周期的动态变化予以更新。

5 结束语

人类对于新兴事物的未知感可能引起人们的恐惧。 人工智能技术就是一项具有突出未知性的新兴技术，而且人工智能技术和系统所具备的未知性，有可能超出人类思维和想象。未来不断进步出现的新技术，有可能增强人们对于人工智能技术和信息系统学习的认识。 人工智能技术究其本质而言，是模式匹配器。 人工智能技术和系统也有自身的漏洞， 无论企业发展到哪一个阶段，人工系统和技术都有可能被污染，或者遭到操纵。 人工智能的漏洞天然存在，无法消除，人工智能系统的攻击不可能通过简单的打补丁完全解决。 本文总结分析了人工智能技术和系统可能发生的安全风险， 指出了防控人工智能技术和系统风险的基本价值准则，并给出了具体的建议。