数据挖掘在综合网管告警相关性中的研究与应用

摘  要： 随着社会经济的不断进步，我国的电信事业得到了很大的发展，对电信网进行综合化的管理以及让电信网的管理变得更加智能化，也是目前电信网网络管理系统主要发展的方向。综合性的网络管理系统的目标就是能够集中监控多个子网，但是由于目前电信网络的规模逐渐变大且结构也相对比较复杂，在同一时间产生的一些告警信息具有多类型、数量庞大等的特点，要想对告告警的根源进行分析和定位是非常困难的事情，而有效利用好数据挖掘技术能够进一步解决综合网管告警当中存在的问题，让网络的运行更加流畅，质量不断提高。因此本文主要研究了数据挖掘在综合网管告警相关性及其应用，希望能够提供一定的参考价值。

关键词： 数据挖掘;综合管网告警

中图分类号： TP391. 41    文献标识码： A    DOI：10.3969/j.issn.1003-6970.2019.09.031

本文著录格式：曹素娥. 数据挖掘在综合网管告警相关性中的研究与应用[J]. 软件，2019，40（9）：135-138

Research and Application of Data Mining in Alarm Relevance of Integrated Network Management

CAO Su-e

（school of Computer and Network Engineering， Shanxi Datong University， Shanxi Datong， 037009）

【Abstract】： With the continuous progress of social economy， China's telecommunications industry has been greatly developed. Integrated management of telecommunications network and making the management of telecommuni cations network more intelligent are also the main development direction of telecommunications network manage ement system. The goal of a comprehensive network management system is to be able to centrally monitor multiple subnetworks. However， as the scale of the telecommunication network is becoming larger and the structure is rela tively complex， some alarm information generated at the same time has the characteristics of many types and large quantities. It is very difficult to analyze and locate the origin of the alarm， and to make good use of the data. Mining technology can further solve the problems existing in the integrated network management alarm， make the network run more smoothly and improve the quality continuously. Therefore， this paper mainly studies the corr elation and application of data mining in integrated network management alarm， hoping to provide some reference value.

【Key words】： Data mining; Integrated pipeline network warning

0  引言

社會经济在不断发展的过程当中，通信业务的需求也在不断扩大，导致网络规模也呈现扩大的趋势，增强了网络规模的复杂性和带宽需求量，所以对网络进行综合化、自动化以及智能化的管理是目前发展的主要趋势，相关研究人员必须要认识到综合网络管理系统的重要性，并对其进行深入的研究，让其能够将信息进行收集、传输、储存、维护、运

营等功能集为一体，将网络资源最大限度利用起来，从而让网络的运行质量和效率不断提高，也进一步价格低网络管理和控制的成本，让网络维护的手段呈现多样化发展，促进我国网络的进一步发展。

1  告警相关性以及数据挖掘的综合概述

1.1告警相关性的综合概述

告警相关性^[1]主要表示两个或两个以上的告警实体之间相互联系、相互出现的情况，其相关性的结果一般有两个：第一时增加了信息的语义内容，第二是缩减了独立单元的总数。所以告警相关性是对网络中出现的多个告警的解释和分析，将一个熟练缩减后的的告警的语义信息内容提高的一种联系。

告警主要是在综合网络管理的区域内被定义的故障产生异常功能的原因，而故障是产生告警的主要因素，在特定事件发生的过程当中，被管制的对象发出的一个通报就是告警，在系统当中，发出的告警信息就表示其发生了一些异常或某些问题，告警指示对可能有故障发生进行表示，但是并不一定真正有故障发生，告警事件^[2]主要包括被管制的对象异常状态下的信息。一般是故障的征兆、告警产生的时间等，但是告警并不会将网络故障的问题根源确切的位置信息明显显示出来，所以这就需要通过对网络产生的告警进行分析，从而对故障产生的原因进行判断。告警主要包含时间不同步、重复、闪断、扩散等的特点，其中时间不同步主要是由于在大型或者异构的通讯网络当中，并没有一个统一的网络时间，导致告警事件发生时，会存在一定的时间误差，所以会让告警事件的分析以及解决面临比较大的困难;重复告警主要是多个网络部件检测到了单独一个告警，但是每一个都把告警事件发送导致告警信息出现重复的现象;闪断告警主要是当网络业务量不断增加的过程中，出现了网络阻塞，或者是电脑的硬件处理能力较差，导致网络管理的系统没有处于正常状态下，其处理器就会产生波动负荷，导致网络管理系统与设备管理系统在进行通信的过程当中出现超时的错误，从而导致闪电告警出现。根据以上告警的特点对告警信息进行处理，过滤掉告警数据，将告警的一些冗余数据消除，可以在一定程度让告警数据的处理更具针对性和专业性，也让告警的相关性分析效率有效提高。

1.2数据挖掘的综合概述

随着计算机网络技术的不断进步，数据挖掘机技术的出现是必然趋势，它的出现一开始就是与应用相关。由于现在各个行业当中进行业务操作的发展方向都是流程自动化发展，企业在经营的过程当中产生的业务数据非常大量，所以企业在发展的过程当中积极应用数据挖掘能够让数据分析变得更加高层次和高效。目前在很多领域当中，都有效应用了数据挖掘，比如银行、保险、电信等商业领域，尽管它在这些领域当中都将其技术优势有效展现出来，但是在综合馆网络管理的应用当中，由于没有比较成熟的经验，所以其应用还不完善。在电信当中，应用数据挖掘能够帮助电信企业制定出更加合理的收费和服务的标准，防止出现费用欺诈等情况;在信息安全当中应用数据挖掘，这是因为在网上日益增多的储存处理的敏感问题，出现了许多安全问题，所以人们希望能有软件进行自动的审计数据，并对数据进行更深层次的分析，从中挑筛选出有用的信息，数据挖掘能够判断和与安全相关的一些特征，从而及时阻止一些未知入侵行为的出现。

2  数据挖掘在综合网管告警相关性中的研究

2.1改进设计综合管网中的算法

在综合网管系统当中，使用关联规则挖掘算法处理的对象主要是告警的数据，所以就需要对层次分析法和序列模式进行了解，在综合网络管理当中告警数据怎样进行关联规则性的挖掘是面临的主要问题。告警数据的属性^[3-4]有对象、ID、原因、级别等，其中告警的级别更是将告警的轻重程度直观展现出来。在告警网元的度数表当中其基本的属性也包括网元的ID、名称、拓扑的度数等，由于使用层次分析法可以了解到当属性的维数较高，则会在降低其效率，所以可以区按照度数区间划分出网元拓扑，这样就可以避免出现因为维度较高而出现的效率较低的问题，其中综合网络管理中局部网元之间存在的拓扑关系如下图1所示。

由以上的关系图当中可以看出，在整个网络当中的关联强度是每个网元当中的连接线数表明的，在综合网络管理系统当中网元的数量非常多，并且网元不同，其拓扑度数也不相同，因此为了让应用层次分析法能够方便计算，所以可以按照网元的拓扑度数进行区间划分，从而有效避免出现效率较低的情况，根据相关的专家研究显示，在网元的拓扑度数^[5]一般要≤10，所以在具体工程当中，对网元拓撲度数进行获取时，可以根据实际的情况对区间进行划分，如果说普度数小于10则实际的度数值不做划分，如果大于10则需要将拓扑度数划分在10个以内，所以在综合网络管理的系统当中，为了能够将影响权值的数据信息获取，就可以建立一个确定两个因素权值的层次模型，其设计结构图如图2所示。

在上图当中的n值应该取≤10。根据设计的层次模型，建立起判断的矩阵，就可以对告警级别和网元拓扑度数组合方案对应的权值进行计算，从而减少一些冗余且频繁的项目产生，让网络效果更好。

2.2构建综合网管中的数据挖掘算法模型

通过改进设计关联规则挖掘算法，可以构建出综合网络管理当中数据挖掘算法的模型^[6]。本文所使用的算法挖掘的对象是网络管理系统当中的告警数据，所以其关联的规则是挖掘告警数据相关的规则。整个算法的步骤^[7]-[8]首先要预处理告警数据后，按照时间的跨度和顺序将告警发划分为多个告警集合，并将每个告警当中重复的告警类有效去除，在对所有的告警集合t进行划分的过程当中，要找到1项目中的告警频繁的项目集L1，以其为基础，在对所有的告警集合t进行划分的过程当中，还要寻找第K项的告警频繁的项目集Lk，直到所得到的Lk出现空集为止，可以获取到频繁项目集当中的集合L，将告警频繁项目集和L中的Lk元素取出，寻找并对其每个元素中存在的相关规则进行计算，直到都处理完，最后要在规则库当中，把所有满足要求的告警关联规则放入其中，整个算法才算完成，其主要的流程图如下图3所示。

这样就可以设计出基于数据挖掘算法的相关性分析系统。在综合网络管理的系统^[9]当中包括配置安全、告警故障等的管理，其中告警与故障管理两者进行配合能够起到监测的作用，迅速发现和纠正网络中的故障，从而对网络进行维护，其主要的硬件结构拓扑图如图4所示。

告警相关性分析的流程图如图5所示。

3  數据挖掘在综合网管告警相关性中的应用

数据挖掘在综合网管告警相关性当中的运用^[10]，主要应用在规则发现数据的预处理阶段、挖掘阶段以及后处理阶段。其中用在规则发现数据预处理模块当中，需要对数据库进行频繁的访问，其作用是进行一定的降维操作，并且让告警属性具有特征性，把告警记录表示出来，并在面对雪崩告警时能对一些重复性的告警进行删除，然后对告警进行分类，从而让告警信息的权值不断增加，其主要的流程图如图6所示。

应用在规则挖掘的模块当中，主要是在处理完告警数据之后，规则发现系统当中的挖掘模块，挖掘这些数据当中一些频繁的项目。规则挖掘模块是一个内部处理的模块，通过研究出相关的函数代码，可以让一些频繁项目集和规则的挖掘更加方便，在规则挖掘模块当中具有两大功能，第一是发现频繁项目集，第二是发现规则，在频繁项目集表和挖掘规则表当中存放入符合的支持度和置信度挖掘的结果，从而让用户可以通过平台对这些挖掘的规则进行编辑。

用于规则发现规则后处理的模块，主要是对用户提供一些编辑挖掘规则的界面，但是该模块只是总结历史数据，对信息统计，所以很难保证信息的准确度和准确性，但是其也有一定的优势，其主要的优势是能够在海量的信息当中挖掘出有用的信息和人们所关注的数据信息，但必须要用户进行一定的编辑之后才能使用，规则的后处理模块主要是对用户以及挖掘规则之间提供一个相互交互的平台，由于挖掘的规则格式中还有一些冗余的规则，其描述也相对比较简单，所以规则模式是非常粗糙，因此需要增添和设置一些规则属性，比如有限的时间、级别等，从而让规则描述不断得到丰富。

4  结束语

随着社会经济的不断发展，网络的规模不断扩大是必然趋势，逐渐建立的综合网络管理系统让网络运行的质量和效率得到了很大的提升，降低了一些运营商的运营成本，也让维护的手段更加多样化，从而让相关企业得到了进一步的发展，但是在社会发展的过程当中，通讯网络的节点构成有成千上万种，所以当发生一个网络故障或者问题的时候，就会产生大量的告警信息，从而影响了用户用网的体验，因此在综合网络管理告警相关性分析中运用数据挖掘技术，能够帮助网络管理人员对故障的信息进行分析，并准确定位故障的位置，从而缩减网络故障的时间，减少一些告警数据，提高网络的质量，让综合网络管理系统发挥出最大的作用，促进其进一步的发展。

参考文献

• 韩宏莹. 并行数据挖掘技术在电信网管告警中的应用研究[D]. 长春工业大学， 2016.
• 吴英虎. 宁夏铁通网络综合告警系统设计与实现[D]. 电子科技大学， 2015.
• Wei Chen， Paraskevas Tsangaratos， Ioanna Ilia， Zhao Duan， Xinjian Chen. Groundwater spring potential mapping using population-based evolutionary algorithms and data mining methods[J]. Science of the Total Environment， 2019， 684.
• Javed A. Face Recognition Based on Principal Component Analysis[J]. International Journal of Image， Graphics and Signal Processing （IJIGSP）， 2013， 5（2）： 38.
• 李志敏， 赵晴. 综合网管告警数据缺失原因与解决策略分析[J]. 移动通信， 2015， 39（Z1）： 112-116.
• 蔡琦. 智能网管系统中的告警关联规则研究与实现[D]. 武汉理工大学， 2014.
• 朱剑， 张锦， 成奋华， 等. 基于支持向量机的人脸识别研究[J]. 计算技术与自动化， 2008， 26（4）： 79-81.
• 钟彩. 边缘检测算法在图像预处理中的应用[J]. 软件， 2013， 34（1）： 158-159.
• 冯杰， 屈志毅， 李志辉. 基于分类稀疏表示的人脸表情识别[J]. 软件， 2013， 34（11）： 59-61
• 张铮， 王艳平， 薛桂香. 数字图像处理与机器视觉[M]. 北京： 人民邮电出版社， 2010.