生成式人工智能的刑事风险与规制

李楚琦

（青海民族大学法学院,青海 西宁 810007）

生成式人工智能是基于算法和数学模型生成的物理性信息的技术，它具有一个自由或者半自由的学习框架，通过模仿、学习和统计生成“类人化”信息。不同于传统的人工智能，生成式人工智能不仅能够收集数据还可以通过算法提炼数据并对数据进行整合和检查，其具有高度的“类人化”特征。ChatGPT是生成式人工智能的代表程序，其主要的算法技术是由美国开放人工智能研究中心（以下简称OpenAI）公司开发并不断更新，该程序突破原有的数权界限将法律发展带入新的领域。2023年8月15日施行的《生成式人工智能服务管理暂行办法》对生成式人工智能的数据收集行为、数据交互行为进行政策性引导。人工智能技术的发展将“类人化”行为中部分数据交互和生成行为进一步拟制为刑法规制的危害行为，以算法技术为代表的ChatGpt程序发展带来的刑事司法挑战在于如何界定数据生成、交互和获取行为带来的法益侵害风险和如何进行刑事规制。可以依据生成式人工智能的技术特征对刑事风险进行分类讨论并明确规制路径。

1 ChatGPT生成式人工智能引发的刑事风险

金融、医疗企业运营中主要涉及数据的收集、传输、处理、存储和销毁等工作，网络数据在这些工作中不断地流动，企业因此而获益；与此同时，数据泄露风险、再训练阶段的数据合规风险、数据滥用风险也在流动过程中逐渐增加。

1.1 生成式人工智能在运行阶段的数据泄露风险

生成式人工智能在运行阶段的数据行为主要以交互行为和收集行为为主，交互行为是基于算法技术结合用户提供的关键词提出解决方案，生成式人工智能拥有独立的计算系统和统计系统，其提供的方案往往具有人的思维。以ChatGPT为例，由于在数据交互过程中数据痕迹不会消失，数据泄露的风险也随之加剧。早期的ChatGPT程序中发生用户数据泄露的情况，并且由于数据泄露导致用户的个人信息暴露于公众之中。

第一，生成式人工智能数据泄露的风险在于运行的广度。其需要从大量数据中学习和生成模型，海量数据的处理将扩大其攻击面，数据泄露的发生概率和影响范围也随之增大[1]。运行公司对于生成式人工智能的可控性备受质疑，生成式人工智能在运行阶段大范围收集处理数据，其泄露的风险也逐渐加大。比如，出于数据安全考虑，美国太空部队将暂时禁用以ChatGPT程序为代表的生成式人工智能。

第二，生成式人工智能数据泄露的风险在于其运行的深度。由于生成式人工智能通过语言模型驱动与用户交流获取大量数据并学习，数据来源主要是用户提供的语言信息和利用大数据技术收集的同类型信息。在这一过程中，大量的数据处理工作增加数据泄露的风险。比如，OpenAI公司的技术官表示应谨慎使用该程序以避免出现信息泄露的事故，在很多大型的科技公司、学校等地方都禁止员工和学生使用ChatGPT。

基于此，以ChatGPT为代表的生成式人工智能在运行阶段的数据泄露风险主要是运行阶段数据收集、处理的深度和广度，深度越深、广度越广，创设的刑事风险越高。所以，应尽可能在运行阶段合规处置数据风险以优化生成式人工智能的适用[2]。

1.2 生成式人工智能在再训练阶段的数据合规风险

生成式人工智能的特点之一在于人机交互行为，其中ChatGPT更是人机交互行为的代表，用户与ChatGPT之间的人机交互行为会产生大量数据，这些数据用于其他模型进行算法更迭训练，即再训练阶段。

再训练阶段数据流转于其他数据模型中，这些拥有大型数据模型的科技企业是否可以合理利用获取的数据是有待商榷的。如果交互数据中涉及个人信息、商业数据，仅依据初次使用获得的用户授权不足以覆盖再训练阶段要求[3]。在这一过程中，科技企业借助授权规则滥用数据会产生数据合规风险，这种风险可能触犯刑法的相关规定。比如，Facebook曾经发生利用初级的生成式人工智能计算用户的私人信息，并且导致个人私密信息泄露的事件；生成式人工智能获取的数据发生泄露或者滥用可能引发侵犯个人信息的犯罪以及非法获取计算机信息的犯罪，增大科技企业数据合规的风险。

1.3 生成式人工智能在输出阶段的数据滥用和算法滥用风险

生成式人工智能对于用户的反馈主要是在数据输出阶段，其在数据输出阶段主要是对于收集的信息进行整合得出“类人化”观点和利用算法技术推测结果、提出解决方案，在数据输出这一阶段会引发非法获取数据、收集数据的风险，以及滥用算法技术推测结果、侵犯用户个人信息和社会公众数据的风险。

第一，数据滥用的风险。用户登录门槛较低，仅注册便可与ChatGPT进行交互式交流并且在问答过程中极易暴露自己的个人信息，而ChatGPT没有筛除个人信息的算法基础，多次数据流通会导致数据滥用风险增加，侵犯公民的合法权利，甚至可能促使运行ChatGPT的公司成为刑事犯罪的主体。此外，生成式人工智能在输出阶段反馈大量的信息数据，其中可能包含不同用户的信息，甚至是敏感信息和国家秘密信息，因为在使用初期，生成式人工智能利用同意规则的漏洞和用户猎奇的心理，隐秘地收集大量敏感信息成为语言库后整合成不同的答案反馈给不同的用户、机构，使用的用户、机构越多、数据滥用的风险在不断增加。

第二，算法滥用的风险。生成式人工智能的算法技术可能被滥用，比如，用于挖掘漏洞生成恶意代码，甚至进行网络攻击，从而成为网络犯罪的工具。并且，生成式人工智能多与搜索引擎联合开发，这种开发模式造成数据在收集阶段的滥用风险加大。比如，ChatGPT与搜索引擎融合后的New Bing程序，其运行模式是搜索与生成式任务相结合的模式，这种模式虽使搜索结果的准确度得到提升，却增加了个人信息被滥用的风险[4]，算法技术作为生成式人工智能的技术基础，某些企业利用算法技术本身的语言漏洞从后门进入生成式人工智能的数据系统造成用户信息暴露、企业机密信息泄露，甚至是国家信息非法利用等严重后果，算法技术的滥用不仅会降低公众对于生成式人工智能发展的信任度，更会触发更为严重的刑事犯罪。

基于此，生成式人工智能在输出阶段的数据滥用风险主要是对于用户信息的滥用和交互信息的可信度降低等；而算法滥用风险的主体是生成式人工智能服务者，他们利用人工智能信息交互的特点，增加“类人化”特性，不断运用带有风险的算法技术导致算法滥用，增加企业合规风险。

2 对ChatGPT生成式人工智能初步的刑事规制

生成式人工智能具有传统产业无法具备的创造力和生产力，同时，也引发数据安全风险和知识产权刑事犯罪问题，为了进一步维护数字技术空间的稳定发展，保障公民的隐私权和数权，国内有关部门制定了一系列的法律文件以规制刑事风险。

2.1 生成式人工智能的现有刑事规范

《生成式人工智能服务管理暂行办法》《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国科学技术进步法》《互联网信息服务算法推荐管理规定》《中华人民共和国刑法》以及相关的政策中均有条文涉及规制生成式人工智能服务者的不法行为的规定。比如，《互联网信息服务深度合成管理规定》第六条规定，任何组织及个人不能利用以生成式人工智能为代表的深度合成服务生产、传播违法信息以及从事违法犯罪活动，并禁止利用深度合成服务的基本特点从中获取非法信息。此外，《生成式人工智能服务管理暂行办法》第十七条规定提供具有舆论属性或者社会动员能力的生成式人工智能服务应履行算法备案义务[5]。不同类型的法律规范均对生成式人工智能有所涉及，其目的在于不同场景下均可以有相关主体和规范对有关生成式人工智能的犯罪进行规制。

刑法中虽然未明确规定生成式人工智能犯罪，但是基于生成式人工智能的特点也有部分罪名可以适用，比如，《中华人民共和国刑法》第二百五十三条之一，违规处理个人信息、非法获取公民个人信息的，对于生成式人工智能的服务者将以单位犯罪进行处罚。与此同时，不同地区也开始制定有关生成式人工智能的条例，且主要集中于科技、金融发达的地区，比如深圳市发布的《深圳经济特区人工智能产业促进条例》。

2.2 生成式人工智能现有刑事规范的不足

现有刑事规范对于生成式人工智能的规制主要在于信息网络犯罪板块，并且人工智能的规范处于萌芽阶段，生成式人工智能的快速发展与法律规范发展的不同步性导致其约束力不足，主要体现在以下几个方面：

第一，监管主体难以明确。目前，国内对于生成式人工智能的监管主要体现多主体的情况，比如，国家市场监督管理总局、国家互联网信息办公室、公诉机关等都可以成为监管主体，但主体之间的权责范围未加以明确。不同类型的法律规范在一定场景下可能会发生重复适用的情况，或者法律规范缺乏一定的标准以明确如何进行适用，不同的监管主体无法第一时间针对生成式人工智能创设的风险进行规制，公诉机关也无法第一时间进行监查并提出合规举措，法律规范的现状在一定程度上不利于生成式人工智能向好发展。

第二，生成式人工智能刑事规范不够完备、效力不明确。目前，国内对于生成式人工智能的规制主要在于其关联罪名，多集中于网络犯罪中，没有明确界定生成式人工智能刑事主体资格。此外，现有的法律规范部分是依托于某一特定的部门法，对于部分非法行为是否可以由该规范规制存在疑问，则其效力和约束力也无法实现。比如，《生成式人工智能服务管理暂行办法》和《个人信息保护法》中均规定了同意原则，但是生成式人工智能的使用会淡化同意原则导致相关的法律规范不能有效地规制刑事风险及犯罪。

3 ChatGPT生成式人工智能风险刑事规制的路径

以ChatGPT程序为代表的生成式人工智能会引发数据安全风险、侵犯个人信息的风险等刑事犯罪风险。所以，应对生成式人工智能创设的风险给予必要的规制。从刑事合规的角度加强刑事规范的实践性，进一步规制生成式人工智能产生的刑事风险，促进其与公民数字权利、社会公共利益的共同发展。

3.1 生成式人工智能数据刑事合规的路径

生成式人工智能数据刑事合规的途径主要针对其产生的刑事风险类型进行，分别从数据泄露、数据滥用风险和算法滥用的风险进行考虑，主要的措施是风险预警、评估、监督和处理机制，以生成式人工智能服务者合规的方式进行刑事规制。

第一，针对数据泄露的刑事风险。应当明确收集数据的类型是否涉及敏感信息、个人信息，并评估在使用过程中存在的数据泄露风险。对于个人信息泄露的刑事风险，应从数据收集的深度和广度进行衡量。从而构建生成式人工智能服务者的刑事合规体系。生成式人工智能服务者的刑事合规主要聚焦于技术与利益的平衡点上，需要算法技术的层次和深度、既得利益的获得与生成式人工智能使用者的合法权利之间的平衡，生成式人工智能的发展不能以突破个人权利为条件。一方面，以OpenAI为代表的生成式人工智能服务者，应当承担保护使用者及其他公民数据信息的责任，设立专门的风险预警、监督和处理机制，风险预警机制在于要求对出现的风险及时报告监督部门，并在风险最小的时候进行处理，减少处理成本；另一方面，风险监督机制和风险处理机制紧密结合。监督机制不仅要监督平台，还要进一步监督后续平台合规措施的及时性和完成性。

第二，针对数据滥用的风险。现有运行的ChatGPT程序具有3 000亿单词的语料基础上预训练拥有1 750亿参数的模型[6]，大量的数据收集和处理工作增大了数据滥用的风险，针对这一情况，应当加强检察机关对生成式人工智能服务者的监管，形成强有力的监管体系。此外，可以建立专门的第三方机构帮助公检机关做到日常监管，通过技术手段建立一个有效的、具有针对性的持续监管体系。对出现数据滥用风险的服务者，及时介入并进行查管、做出刑事合规的建议和具体举措，并针对合规的效果决定是否移送起诉。

第三，针对算法技术滥用创设的刑事风险。以ChatGPT为代表的生成式人工智能是以不同的算法技术为基础构建的程序，应当引入专业的技术监督部门形成完备的技术监督体系，专业的技术监督部门不仅可以做到日常算法监督还可以提供算法技术滥用的技术判断支持。对于利用算法技术谋取非法利益的企业应及时处理，并提出是否进行合规的建议，而无法进行合规的服务者及时移送起诉。

基于此，作为超大型、集中式平台的生成式人工智能服务者，为降低信息数据被泄露和滥用的风险，应通过合规计划明确数据获取途径和获取中的刑事风险，制定具体的风险识别、评估和防控措施[7]，此外，在风险处理中应当从预防阶段进行规制以降低解决风险处理成本，并且着重关注风险监督机制和处理机制，做好合规后的评估和处理，对于未及时按照相关机关规定进行合规审查的服务者在核查后移送起诉。

3.2 刑事规范规制生成式人工智能的路径

第一，明确生成式人工智能的风险分类便于刑事规范规制生成式人工智能。生成式人工智能风险类型化后，根据不同类型的风险在法律规定上也更加清晰，有助于解决实践中监管主体混杂的问题。比如，对于一般的数据泄露风险和算法技术滥用风险以刑事合规为主要的规制手段。但是，对于严重侵犯公民权利和社会公共利益、国家利益的危险行为，应及时以刑事规范进行规制，做到分类处理、高效治理。

第二，基于现有的有关生成式人工智能的监管举措，形成具有针对性的监管举措，对生成式人工智能形成综合性的法律监管体系。在这个法律监管体系中，刑事规范与其他规范的适用场景必须明确、具体化适用标准；对于生成式人工智能的相关定义要统一化、刑事风险行为和其他风险行为的判断标准要明晰，建立一种监管为前提、明晰化的综合性法律监管体系，比如，以数据泄露风险为例，在监管初期要利用相关的规范进行行政处罚和民事赔偿，并且提出刑事合规举措，监管后期要利用刑事规范对相关的违法行为加以规制，以打击生成式人工智能服务者的刑事犯罪。

第三，应当进一步落实数据立法与现有刑法分则的规定。比如，明确非法入侵计算机罪的主体中应包含生成式人工智能，避免生成式人工智能成为网络犯罪的工具。数据立法成为未来立法的趋势也是数字法治建设的重要举措之一，数据立法中应当有一个部分是关于刑事规制的，以便于刑法打击生成式人工智能犯罪。数据立法是更为宏观的内容，数据立法的相关内容可以与刑法的相关规定相结合，便于刑法区分什么样的行为是严重危害公民利益、社会公共利益和国家利益的行为，更好地适用刑法分则的规定，做到罪责刑相统一。

基于此，以ChatGPT为代表的生成式人工智能融入法律领域，正在推动着刑事规范的逐渐转变。目前，刑事规范的内部体系中对于强人工智能与弱人工智能的区分标准尚未明确，对于人工智能创设的刑事风险，主要以打击生成式人工智能服务者为主，对于人工之智能的主体地位采取消极认可态度，对相应的犯罪行为是积极的应对态度。但是，随着法律法规的不断完善，刑事规范对于有关生成式人工智能的内容也将会不断完善，基于立法原意对新时代的人工智能有更多的解释。刑事规范规制的关键在保证其谦抑性、明确性的前提下，进一步规制生成式人工智能创设的数据泄露、数据滥用和算法滥用风险。

4 结语

以ChatGPT为代表的生成式人工智能通过不断的人机交互行为逐渐向高级智能发展，从“类人化”转变为“独立化思考”从而其引发了新风险。为有效应对这些风险，也在不断地出现相应的法律规范和政策，对于风险的规制需要采取主动的规制措施，以预防为前提、进而主动应对。不同类型的法律规范在不断地完善，刑事规制的路径应从预防和惩治两个方面介入，针对不同类型的风险提供具有针对性的解决方法。所以，刑事规制的路径应是动态的、不断更新的，应立足于数字技术、网络技术和算法技术，明确生成式人工智能运行过程的法律风险和产物在刑事法律上的主体概念，加强数字刑事立法从源头规制生成式人工智能创设的刑事风险，做到多层次多维度的刑事规制。