互联网内容安全关键技术研究综述

廖 忠 王志昂 申 宇 魏子令 陈曙晖

1(媒体融合内容感知与安全湖南省重点实验室 长沙 410073)

2(湖南日报社 长沙 410073)

3(国防科技大学计算机学院 长沙 410073)

随着智能设备的广泛普及和社会信息化的高速发展,互联网的构成和用户参与方式发生了极大的变化.首先,智能设备出现后迅速占领了互联网用户市场,移动应用APP成为用户访问网络的主要入口.据第52次《中国互联网络发展状况统计报告》显示,2023年上半年,我国移动互联网累计流量约142EB,同比增长14.6%.其次,随着社交、网络直播、社区共享、短视频等支持内容创作和内容分享的应用的完善和用户下沉,内容创作的门槛大大降低.互联网用户不再是信息的被动接受者,而是成为内容创作和内容分享的深度参与者.因此催生了以文本、图像、音频、视频为载体的多种自媒体形态,给互联网内容安全治理带来了极大的挑战.

互联网内容安全包含2个层面的内涵[1]:一是对信息内容的保护,涉及信息内容的完整、知识产权保护、隐私保护等方面;二是保障信息内容符合政治、法律、道德等层次的要求,该层面主要通过信息内容分析实现不良信息检测、内容过滤、态势感知等.当前互联网内容的复杂性对内容安全提出更为紧迫的需求.

当前的互联网环境复杂,为传统的以人工研判、简单规则匹配等为主要手段的内容安全治理带来了诸多挑战,包括数据源丰富、监测数据海量、数据形式多样、对抗手段先进等.目前互联网内容以文本、图像、音频及视频为主要载体,使得在这些数据形式和大数据处理上具有天然优势的人工智能技术成为内容安全治理的必要技术手段.

在人工智能技术的依托下,当前的互联网内容安全研究要素总结如图1所示.其显著特征为以多源异构数据为监测对象,以隐私保护、自然语言处理、音视图识别分析等关键技术为核心的内容保护和内容分析.本文对内容保护和内容分析的主要任务总结为4大类,分别为多媒体内容分析过滤、信息伪造检测、舆情态势感知和数据保护.各类任务包含多种应用目标,如敏感信息检测、非法信息检测、音图视频伪造检测、舆论情感分析、数据加密等[2].

图1 互联网内容安全研究要素

1 多媒体内容分析过滤

多媒体内容分析过滤是指对各种形式的媒体内容进行分析,以识别其中存在的任何不良、违规或有害的内容.由于涉及文本、图片、音视频各类媒体内容,因此多媒体内容分析过滤任务涵盖关键字匹配、自然语言处理、音视图分析技术等图1中列举的各类技术.近年来,随着人工智能技术的发展,多媒体内容分析过滤主要研究都聚焦在面向机器学习和深度学习的内容过滤技术上.

1.1 基于机器学习的内容过滤技术

随着机器学习算法的发展,统计学和机器学习的方法被应用到内容过滤中.Sahami等人[3]提出一种基于贝叶斯的垃圾邮件过滤器,是早期将机器学习方法应用于内容过滤的重要工作之一.以该工作为基础,出现SpamBayes和Bogofilter等垃圾邮件过滤工具.Drucker等人[4]基于支持向量机(support vector machine, SVM)对垃圾邮件进行检测和过滤,并比较SVM与其他方法的性能,指出SVM在垃圾邮件分类方面具有更高的准确率.Yang等人[5]对比了特征选择、分类器选择和文本表示等方法,提出一种基于互信息的特征选择方法.

1.2 基于深度学习的智能内容过滤技术

依托大数据背景和算力的提升,基于深度学习的智能内容过滤技术近年取得了显著的进展.Hochreiter等人[6]提出的长短记忆网络(long short-term memory, LSTM)已被广泛应用于文本分类、垃圾邮件过滤等任务.Kim[7]首次将卷积神经网络(convolutional neural network, CNN)应用于文本分类,避免了传统方法中需要手动提取特征的问题.针对虚假新闻分类问题,Yang等人[8]将新闻文本转化为2维矩阵进行表示,并基于CNN实现虚假新闻分类.Oord等人[9]提出一种基于深度学习的音乐推荐方法.该方法使用CNN学习音乐的音频信号特征,并进行音乐推荐.与传统的基于协同过滤的方法相比,该方法具有更好的推荐效果和更强的普适性.Jin等人[10]提出一种基于加权多实例学习的色情图像识别方法.该方法将图片分为多个图像块,并为每个图像块分配一个权重.然后使用分类器对每个图像块进行分类,并将每个图像块的分类结果进行加权得到整张图片的分类结果.Yousaf等人[11]提出一种深度学习架构用于检测视频中的不当内容.该架构采用ImageNet预训练模型EfficientNet-B7提取视频描述符,然后使用双向LSTM学习有效的视频表示并执行多类视频分类.该方法在YouTube卡通视频集上的实验表明,双向LSTM结合CNN可实现更好的视频内容检测.Alguliyev等人[12]提出一种过滤有害图像内容的ChildNet模型,该模型服务于儿童和青少年,避免他们成为有害图像的受害者.

2 信息伪造检测

深度伪造(DeepFake)技术主要基于人工智能生成内容(artificial intelligence generated content, AIGC)实现对文本、音频、视频、图片等数字媒体内容的伪造,是信息伪造的主要手段.基于深度伪造技术,恶意攻击者可生成大量的虚假信息,并通过互联网进行大规模传播,对互联网内容安全造成巨大的威胁,对用户、民生、社会、政府等造成严重的危害.

2.1 深度伪造技术

随着以生成式对抗网络为代表的深度学习算法的出现和持续迭代,AIGC得到了极大的发展.AIGC指基于人工智能算法进行数字内容(如图片、视频、文本等)的生产.其中最新的代表模型如OpenAI推出的ChatGPT[13]和DALL-E-2[14].

中国信通院和京东探索研究院发布的AIGC白皮书中将AIGC的技术能力分为3个层次[15]:一是智能数字内容孪生;二是智能数字内容编辑;三是智能数字内容创作.深度伪造主要基于AIGC中的生成模型实现,可以视作是AIGC中3种层次能力的一种具体体现.

对于语言内容,典型的生成模型包括GPT,BERT等.GPT采用Transformer解码器中的多头自注意力机制实现对自然语言的理解,完成对后续文本的生成任务,属于从左到右的语言理解模型.与GPT不同,BERT采用一种新的预训练目标,通过融合左右2侧的语义从而实现一个深度双向表示.

对于视觉内容,典型的生成模型包括生成对抗网络、深度变分自编码器、流模型和扩散模型等.生成对抗网络包括2个模块:一个负责生成信息;另一个负责判别信息的真实程度并反馈给前者以此达到对抗的目的.深度伪造中,生成对抗网络可通过不断对抗来提高伪造的信息质量.通过引入自注意力机制,SAGAN[16]可以使用来自所有位置的特征信息生成图像细节,具备长距离依赖性,解决了早期基于卷积的生成对抗网络难以捕捉图像结构的问题.另一经典模型StyleGAN[17]提出一种新的生成器,并基于潜码和网络噪声来控制图像的特征并使得图像中的随机属性可更改.深度变分自编码器则通过概率分布对潜在特征进行描述,使其具有数据生成的能力.流模型基于可逆的非线性变换计算出模拟真实数据的似然函数并最大化以实现数据的生成,其典型模型包括NICE,Real NVP,Glow.随着扩散模型的提出,生成模型的主流研究已转向扩散模型,OpenAI,Google Brain等公司也先后基于扩散模型提出多种文本生成图像模型,例如DALL-E-2,stable-diffusion,Imagen.这些研究表明,相比生成对抗网络,扩散模型的训练更稳定,可生成精度更高、真实性更强的图像.

即使面向的数字内容类型和采用的生成模型方案有所不同,最新的生成模型仍具备一些共性.首先,Transformer已经成为生成模型的一种基础网络架构,它不仅在自然语言处理领域获得了巨大的成功,也广泛应用于视觉领域.结合无监督学习和Transformer,基于大规模预训练的模型成为主流,通过充分利用无标注样本进行预训练,模型可以在小标注、无标注样本的场景下也具备模型参数规模大、模型泛化能力强、模型综合性能好的优势.

2.2 深度伪造检测

近年涌现出大量的深度伪造检测技术,主要工作可分为[18]:基于机器学习/深度学习的方法;基于统计策略的方法;基于区块链的方法.

1) 基于机器学习/深度学习的方法.基于传统机器学习的方法通过分析信息是否符合真实情境下的数据特征判断信息是否是伪造的.例如人物脸部表现是否具备一定的连续特征,生物符号在空间和时间上是否具有统一的行为、脸部特征标点的运动过程是否符合生物学等.由于技术的不成熟,一些深度伪造的信息可能会出现异常的特征.例如,Habeeba等人[19]对视觉伪影进行分析,检测图中不符合常理而出现的异常内容.这类机器学习方法检测深度伪造信息的准确率可以达到极高的水平.然而,这种高准确率完全依赖于数据集的类型、所选的特性以及训练集和测试集之间的相似程度.

相较于传统机器学习算法,深度学习采用的模型复杂度更高,其常用的模型包括生成对抗网络GAN、深层卷积神经网络、R-CNN、胶囊神经网络等.此外,其特征来源也更多样,例如连续特征、RGB数据甚至是心跳和呼吸等生物特征.深度学习模型的有效性通常依赖于大规模的训练数据,并且模型可解释性较差.

2) 基于统计策略的方法.基于统计策略的方法从其他角度对信息进行“非自然”的发掘.例如Koopman等人[20]通过检测视频帧中光响应的不均匀性判断信息是否是伪造的.该性质是数字图像中的一种独特的噪声,来自相机光敏传感器的缺陷.除此之外,该类方法还常采用期望最大化、特征路径等手段对信息进行统计和测量.这些方法的主要思路是对图像中的像素进行统计、测量,以此从图像本身的构成上找到伪造的痕迹.

3) 基于区块链的方法.区块链技术提供了高度可信、去中心化的交互环境.区块链可支持检验内容的合法性和来源,因此被视为验证视频或图像真实性的可能解决方案.如果一个视频或图像的真实性被怀疑,则基于区块链的网络能够给出这些视频或图像的准确来源,并可以发现其是否被篡改.相比另2类方法对视频和图像的特征进行分析,区块链技术则是从根源上限制了深度伪造信息的传播.然而,这一解决方案仅限于在区块链环境下使用,其部署环境限制较大,因此目前该方法并未成熟地应用于深度伪造的检测中.

实际上,深度伪造和深度伪造检测是一个不断对抗的过程.对于各种深度伪造检测技术,伪造者也会不断地探索先进的伪装技术增强伪造信息的隐蔽性,例如基于微小扰动技术避开伪造视频的检测[21].该方法通过在伪造视频的每一帧上添加微小的扰动,使得它们能够欺骗深度伪造视频检测器,同时又不影响人眼的感知质量.相比视频信息,伪造音频的检测更加困难.文献[22]对伪造语音检测的局限性进行了说明,尤其是对高质量的对抗神经网络合成语音的检测.其实验表明,对这类语音真伪判断的准确率接近于随机猜测.

3 舆情态势感知

舆情是指涉及社会公众关心的各种事件、现象、信息的集合.它可以反映社会热点、民意变化和公众关注度,对政府决策、企业经营、社会稳定等方面都有着重要影响.因此,舆情态势感知是内容安全在社会层面上的重要一环.其中,舆情分析是舆情态势感知的重要技术,其旨在从海量信息中提取情感、态度和事件趋势等关键信息.

舆情分析技术起源于20世纪90年代互联网早期.早期的研究主要关注文本挖掘、情感分析和情绪检测等方面.随着社交媒体的兴起,互联网数据规模剧增,数据的分析变得越来越重要,舆情分析技术得到了快速发展.舆情分析技术的发展经历了多个阶段,包括初期阶段、自动化阶段和深度学习阶段.

初期阶段:此阶段舆情分析主要依靠人工分析新闻媒体、报纸等传统媒体中的信息,通过翻译、编码等手段进行内容分析,以获取公众对特定话题的态度和情感.这种方法存在效率低、可扩展性差、主观性强等问题.McCombs[23]研究了新闻媒体对公众认知和态度的影响,提出媒介效应理论,认为媒体的报道会影响公众对现实世界的认知和看法,从而对其行为产生影响.

自动化阶段:随着互联网技术和自然语言处理技术的发展,舆情分析开始转向自动化和智能化.通过数据挖掘、文本挖掘、机器学习等技术,将公众在社交媒体等网络平台上的言论、评论等信息进行收集、处理和分析,得到舆论的情感、态度、趋势等信息.Pang等人[24]对情感分析和观点挖掘技术进行总结,强调了情感分析在舆情自动化分析中的重要作用.Liu等人[25]提出一种基于机器学习和语言分析的舆情分析方法.Wang等人[26]对社交媒体数据在自然灾害管理中的应用进行分析,并提出了一种基于机器学习的自动化方法提取社交媒体中有关自然灾害的信息,并对自然灾害的影响范围、人员需求和资源需求等方面进行分析.Leskovec等人[27]提出一种社交网络链接预测方法.该方法可以用于预测用户之间的情感关系,以及发现可能引起用户负面情绪的内容和事件,有助于提高舆情分析的效率和准确性.

深度学习阶段:随着深度学习技术的发展,舆情分析的实现逐渐转向深度学习.基于卷积神经网络、循环神经网络等技术,海量的文本、图像等多媒体信息可以被分析,并得到更加精准的舆论态势.Rakshit等人[28]对Twitter数据进行情感分析.该工作采用包括卷积神经网络和长短期记忆网络在内的多种深度学习模型,并对它们的性能进行比较.Davidson等人[29]提出一种基于卷积神经网络的深度学习模型,用于检测冒犯性言论,并探讨了言论检测面临的各种挑战性问题.张琛等人[30]构建了一种面向社交媒体评论文本数据的舆情分析方法框架,利用Single-Pass聚类算法和Louvain社团发现算法,对媒体发布的新闻通报的微博评论进行演变分析.这种框架为重大公共事件的舆情研究提供了理论支持和创新思路.刘忠宝等人[31]利用随机场建立疫情时间画像,并利用双向长短期记忆网络建立网民情绪画像,对疫情事件与网民情绪进行关联分析.

基于舆情分析结果,相关方可介入对舆情进行引导.舆情引导指通过某些技术实现舆情的控制和操控,例如监测用户言论情绪、制定引导策略等.

4 用户数据保护

上述的多媒体内容过滤、深度伪造检测和舆情态势感知是对互联网内容进行分析的技术.除内容分析外,内容安全还涵盖对内容的保护.隐私保护技术是保护用户数据的主要技术,包括加密、数据脱敏、差分隐私和零知识证明等技术.基于隐私保护技术,可实现身份验证、匿名化、数据安全传输和数据安全存储等方面的数据保护需求.

针对隐私保护技术,本节重点对加密技术、数据脱敏技术、差分隐私和零知识证明技术的前沿进展进行介绍.

1) 加密技术.随着量子计算和人工智能等技术的发展,内容安全的加密技术也在不断进化.基于量子计算的加密技术起源于20世纪80年代末,由Shor[32]提出的分解质因数的算法及Grover[33]提出的搜索算法引发了对传统加密方法安全性的重新评估.此后,人们开始探索使用量子现象来保证信息的安全性,例如,基于量子密钥分发协议的BB84协议、E91协议等[34].同时,基于量子计算的公钥密码学方法也随之产生,例如McEliece密码算法[35].近年来,随着量子计算机的发展和应用,基于量子计算的加密技术也在不断发展和完善,例如,基于量子纠缠的QKD协议、基于磁体量子效应的密码算法等.

除基于量子计算的加密技术外,人工智能技术也为内容安全的加密带来了新的方法.传统的加密方法面临着许多挑战,如密钥管理和保护、加密效率、数据存储和传输等.因此,研究人员开始探索如何利用人工智能技术来提高加密技术的性能和安全性.其中,同态加密、深度学习和生成对抗网络等方法在内容安全的加密技术中得到了广泛应用.

同态加密是一种允许对密文进行运算并得到密文结果的加密方法,可以保护数据隐私性的同时提供计算服务.基于不同数学原理,当前研究者们已提出多种同态加密方案,如基于多项式的同态加密、基于IDEA算法的同态加密、基于置换群的同态加密等[36].这些方案在多种应用场景下能够提供高效、安全的加密服务.

深度学习和生成对抗网络可以用于加密算法的自动化设计和密码分析.此外,近年来一些研究利用相关算法提高加密密钥的质量和安全性.文献[37]探讨了基于生成对抗网络的神经密码学的概念.通过这种方法,2种神经网络模型可以在没有传统密钥交换的情况下建立共享密钥.

2) 数据脱敏技术.数据脱敏技术是一种删除或替换数据中的敏感信息的方法.该技术可以有效地保护个人隐私,同时保留数据的基本特征.Zhang等人[38]提出一种基于身份的格式预加密在数据脱敏技术中应用的通用模型,其将传统的格式保留加密方案与改进的密钥生成功能结合,通过增加对分段数据的处理意见,实现数据在完整性、安全性、效率等多方面效果提升的通用模型.对于大型企业局域网和内部数据的数据保护,Wang等人[39]提出一种企业局域网数据脱敏方案.通过相应的脱敏方法,使数据全过程都安全可追溯.

3) 差分隐私.差分隐私是一种广泛应用于数据隐私保护的技术.该技术通过差分的方法对数据进行脱敏处理.它通过添加一定量的噪声保护数据隐私,确保不会泄露任何关于单个数据点的敏感信息.Dwork[40]在2006年首次提出差分隐私的概念,并提出Laplace机制和指数机制等实现方法.Abadi等人[41]将深度学习技术与隐私保护技术相结合,提出一种基于差分隐私的神经网络训练方法,表明了深度学习在差分隐私方面应用的有效性.

4) 零知识证明技术.零知识证明技术旨在证明某个声明的真实性,同时不泄露任何关于该声明的具体信息.该技术已有广泛的应用,例如数字身份认证、数字货币交易验证、在线投票等.

自零知识证明技术提出以来,其理论基础、实现方法以及应用场景成为研究热点.其中比较重要的研究成果包括:Goldwasser等人[42]的交互证明系统的知识复杂度分析;Blum等人[43]提出的零交互式证明技术及其应用;Ben-Or等人[44]针对非加密式的容错分布式计算问题提出的完备性定理;Fiat等人[45]提出的解决身份验证和签名问题的实际方案等.

5 结 语

面对互联网中海量的数据规模和多源异构数据,可预见人工智能技术将是未来互联网内容安全治理首要解决方案.本文对未来的内容安全研究关键问题从宏观层面展望如下:

1) 内容安全标准体系和数据集标准构建.

虽然互联网内容安全已获得政府、企业、科研工作者的高度关注,但各方的研究自成体系.内容安全的评估方法、内容安全指标体系、内容安全应用需求分类等方面仍缺乏统一的标准.这导致各方数据融合、内容安全保障能力评估、技术快速迁移和整合等方面存在困难.因此,推进建立内容安全标准体系对于内容安全领域的研究有十分重要的意义.此外,数据集是人工智能技术发挥效用的基础,尤其是有标签的数据集.为促进领域的发展、相关技术的交流,建立文本、图片、音频、视频的分类标准体系和使用体系对数据集的共享与融合具有重要的作用.

2) 基于人工智能的内容安全深度纵横分析.

当前的内容安全治理呈现的主要特点是按点治理,即针对特定问题采用特定技术解决.例如对于暴力图片检测需求,基于图片识别技术构建暴力场景检测模型;针对涉政信息检测,基于自然语言处理技术构建涉政言论分类模型.其重点在于不断革新人工智能技术,以保持具备解决特定问题的能力.与此同时,未来的研究中,可基于人工智能解决特定问题的结果实现纵向和横向的深度内容安全分析.首先,纵向层面上相关结果可以为更上层的应用服务,例如网络威胁情报的利用,从而将内容安全治理化被动为主动.横向层面上,可基于特定问题的输入、输出构建大规模知识库和知识图谱,实现跨域数据挖掘和知识推理.

3) 人工智能模型安全.

内容安全治理中,除不断革新人工智能算法以提高模型的问题解决能力外,人工智能算法和模型的安全性和鲁棒性正在引起广泛的关注.当前人工智能模型在安全方面存在的主要安全隐患包括:首先,其易于遭受数据投毒攻击[46].该类攻击通过注入精心伪造的数据或对样本数据添加扰动来污染训练样本和影响模型的可用性,使得人工智能模型对数据产生错误的判断.其次,模型提取类攻击[47]可通过持续的数据询问来推测模型的参数甚至完成对模型的复制,从而实现绕开模型的检测.最后,当前人工智能模型可解释性差,使得其安全性存疑.因此人工智能模型的安全性和可解释性等问题仍有待深入研究.