基于知识图谱的电力通信设备故障智能诊断方法

崔鸣石, 邬雪阳, 朱宏伟, 王 冲, 粘中元, 王 蕾, 杨 莎

(1.国网内蒙古东部电力有限公司, 呼和浩特 010020; 2.东北电力大学计算机学院, 吉林 吉林 132012)

电力通信系统是电网稳定运行的重要基础,随着电力通信设备运行情况的复杂化,其发生故障之后的处置难度也在不断增大,越来越难以应对复杂的电力通信设备故障[1]。而且当前的故障处置工作主要依赖相关工作人员的主观性决策,只能人工将离散的各类故障信息进行整合、分类并查找故障规律,从而获取故障产生的原因并指定相应的处置措施[2]。然而电力通信设备的数据系统中积累了大量本身就具有逻辑关系的故障产生及处理方法的文本数据,因此,利用知识图谱的图结构对本身就具有逻辑关系的文本数据进行组织和管理,进而解决电力通信设备故障智能诊断问题。

随着机器学习与人工智能技术的不断发展,学者们将电网故障诊断与前沿人工智能技术相结合[3],开展了大量先进技术与电网背景相融合的相关研究。余建明等[4]构建了针对线路故障处置相关的知识图谱,使线路故障的处置流程自动化。张晓华等[5]提出了调度自动化系统知识图谱的构建及应用方法,帮助相关工作人员深入了解和学习调度自动化系统内部结构并进行辅助性的故障分析。高泽璞等[6]针对低压配电网拓扑结构频繁变化的问题,提出一种基于知识图谱的低压配电网拓扑结构辨识方法,整合挖掘多个低压配电网信息系统数据,识别系统中低压配电网户间的关系。王骏东等[7]提出一种基于知识图谱的配电网故障辅助决策研究方法,使用电网调度规则和故障预案等知识建立配电网故障调度知识图谱,基于配电网的拓扑结构形成知识表示。此外,学者们将故障预案和故障处理案例与相关的事件簇联系起来,并结合人工智能相关技术和图算法实现配电网调度故障辅助问答系统。巩宇等[8]结合故障模式及其影响分析构建电力设备故障知识图谱,并在此基础上开发了电力设备知识库管理工具,从而实现了对电力设备故障知识的有效管理和应用。Zhang等[9]改进了图搜索算法以更好地展示检索结果的期望信息,并构建了面对多源异类电力设备数据的设备缺陷知识图谱。Shao等[10]利用本体构建电力系统的知识库,通过规则推理实现电力系统故障的诊断和定位,提高电力系统的安全性和可靠性。Wang等[11]提出了一种基于知识图谱的电力系统状态评估方法,通过将电力系统的状态信息表示为本体概念,实现电力系统状态的智能化评估。Feng等[12]构建了一个基于知识图谱的故障诊断模型。通过将电力系统的相关知识和数据表示为知识图谱中的实体和关系,实现了对电力系统故障的自动化诊断和快速定位。Zhang等[13]提出了一种基于知识图谱的电力系统状态评估方法,通过构建电力系统状态知识图谱,将不同类型的数据信息进行统一表示和管理,实现了对电力系统状态的全面评估和智能化决策。

由于电力通信设备故障形态日益复杂,故障处理对工作人员综合业务能力的要求不断提高。当电力通信设备发生故障时,要求工作人员能够及时分析设备运行中的薄弱环节,准确快速判断故障原因并采取相信的故障处置措施[14]。传统的设备故障诊断方法往往需要借助人工经验,无法高效地处理大量故障信息。本文旨在利用知识图谱技术将电力通信设备故障直观地展现出来,并进行电力通信设备故障的诊断工作。在知识图谱的基础上,通过智能诊断技术解决工作人员知识储备差异造成的对于电力通信设备故障的处理精度较低、时效性较差的问题,保证电力通信设备的稳定运行。这对于保障电力通信网络的稳定运行具有重要的意义。

本文的主要贡献有:①构建了电力通信设备故障知识图谱,将各种故障信息、设备信息、维护记录等数据进行整合,并结合知识图谱的关联和推理功能,对电力通信设备故障进行自动分析和诊断;②设计了一种基于加权双边拉普拉斯算法(weighted bilateral laplacian algorithm,WBLA)的电力通信设备故障严重性等级识别模型,方便判断故障的严重性程度,规划故障的治理顺序;③提出一种基于词频-逆文档频率余弦相似性方法 (term frequency-inverse document frequency cosine similarity,TFIDF-COS)的电力通信设备故障智能诊断方法,对严重性等级较高的故障信息进行及时处置,实现对电力通信设备故障的智能诊断工作。

1 电力通信设备故障知识图谱的构建

电力通信设备故障知识图谱的构建主要分为3个部分工作:实体抽取、关系抽取、知识存储。首先,设计基于转换器的双向编码器-双向门控递归单元-条件随机场(bidirectional encoder representations from transformers-bidirectional gated recurrent unit-conditional random fiel,BERT-BiGRU-CRF)的电力通信设备故障实体识别模型,从而完成实体抽取的构建工作,可以有效获取故障文本的关键实体信息;然后,基于已获取的实体信息和原始数据特点,提出一种基于人工规则的电力通信设备故障关系抽取方法,完成对故障文本关系集的构建工作;最后,将获取的实体、关系信息构建实体关系三元组,使用Neo4j图数据库技术实现对三元组知识的存储与图谱的可视化展示,进而完成电力通信设备故障知识图谱的构建。具体流程如图1所示。

图1 电力通信设备故障知识图谱的构建流程

1.1 基于BERT-BiGRU-CRF的电力通信设备故障实体识别模型

为了解决传统模型无法充分结合故障文本上下文信息进行实体识别的问题,设计一种基于BERT-BiGRU-CRF的电力通信设备故障实体识别模型。首先,对预处理之后的文本进行文本标注,完成模型所需训练数据的构建。其次,将训练数据通过BERT预训练语言模型进行词向量转化,利用BiGRU网络对故障文本进一步特征编码,然后将BiGRU的输出传入CRF中进行标签约束,从而获取全局最优序列。模型结构如图2所示。

图2 基于BERT-BiGRU-CRF的电力通信 设备故障实体识别模型

1.1.1 基于BERT的故障文本动态词向量转化

BERT是一种自然语言处理技术,是基于Transformer模型实现的深度双向语言表征模型。该模型的一个特点是能够根据上下文语境进行预训练,从而提高语言理解能力[15]。BERT模型的预训练过程由掩码语言模型和下一句预测两个任务组成。掩码语言模型是一种常用的预训练模型,在电力通信设备故障文本中随机屏蔽一些词汇(一般默认15%),然后使用Transformer模型来预测这些被屏蔽的词汇。这种方式可以帮助BERT模型结合上下文语境,从而更好地理解电力通信设备故障文本。在电力通信设备故障文本的实体识别任务中,BERT模型不仅需要考虑字词之间的上下文信息,还需要考虑句子之间的关系,因此它构建了一个下一句预测任务。该任务是二分类任务,具体步骤是从电力通信设备故障文本中随机选择相应的故障句子a和故障句子b,其中50%是正确的故障句子,另外50%是随机抽取的一个故障句子。通过提取两个句子的语义特征,BERT模型可以预测它们是否为相邻的句子。

BERT模型的核心组成部分是双向Transformer编码结构。Transformer编码单元的具体结构如图3所示。它由多个编码单元组成,每个编码单元中包含一个自注意力(Self-Attention)机制[16],如式(1)所示,用于在输入序列中找到相关的信息并加以加权。自注意力机制能够帮助模型捕捉输入序列中的长距离依赖关系,从而提高模型的语言理解能力。在BERT模型中,每个编码单元通过多头注意力机制来同时考虑不同的语义特征,从而进一步提高模型的性能。除了使用Transformer编码单元,BERT模型还采用了预训练和微调的方法来优化模型的性能。

X1代表位置的嵌入向量;X2代表每一个字的输入向量

(1)

式中:Q、K、V为输入的向量矩阵;dk为输入向量的维度。

首先计算每个词与所有其他词之间的相关性,然后使用这些相关性来调整每个词的重要性,从而生成新的语义特征表达。

为了扩展模型的表达能力,Transformer模型采用了多头注意力模式,增加了注意力机制的表示子空间,如式(2)、式(3)所示。

MultHead(Q,K,V)= Concat (head1,head2,…,headh)Wo

(2)

式中:MultHead(Q,K,V)为多头注意力机制;Concat()为向量的拼接;Wo为权重矩阵。

(3)

在对于故障文本的处理过程中,不同位置的词汇在句子中的含义也会不同,如“备用时钟板无法锁定主用时钟板时钟”,为了在Transformer模型中引入单词在句子中的位置信息,使用了位置嵌入技术,如式(4)、式(5)所示。

(4)

(5)

式中:pos为字的位置索引;i为第i个字;dmodel为输入模型可变的长度;PE(pos,2i+1)为偶数位索引的字的位置向量;PE(pos,2i+1)为奇数位索引的字的位置向量。

1.1.2 基于BiGRU-CRF的故障文本特征序列获取

利用具有门控机制的GRU模型对输入的故障文本向量进行深层次特征的提取工作。门控制循环单元是由长短记忆神经网络中简化起来的,将遗忘门与输入门结合的一种更新门,相对于长短期记忆(long short term memory,LSTM)来说,其构造更为简洁,参数也更简单[17],可以更加有效地完成对于故障文本的语义编码工作。GRU模型结构如图4所示。

Xt为t时刻的输入;Zt为更新门;rt为重置门;tanh代表将向量分部映射到0～1之间;σ为激活函数;ht、ht-1分别为隐藏层状态t和t-1时刻

GRU模型中的更新门与重置门用来调整前一时刻的状态信息在当前时间上的贡献范围。更新门的值越大,则前一时刻的状态信息对当前状态的贡献范围越大;而重置门的值越小,则前一时刻的状态信息对当前状态的贡献越小。

标准的GRU只能考虑到前面的文本信息,而无法处理后面的文本信息。为了解决这个问题,双向门控制循环单元网络(BiGRU)包含正向和反向的GRU网络,可以同时考虑前面和后面的文本信息,从而提取双向的语义特征,如式(6)所示。BiGRU的输出结果是由这两个GRU网络共同作用得到的。

(6)

由于BiGRU不能充分考虑故障实体标签之间的依赖关系。因此,结合CRF充分考虑故障实体之间的相连关系,从而获取全局最优序列,提高实体识别的准确率。

1.2 基于人工规则的电力通信设备故障关系抽取

通过观察电力通信设备故障数据本身的结构特点并结合已经抽取的实体信息,采用基于人工规则的电力通信设备故障关系抽取方法,主要是通过定义关系集来进行。本文人工定义了3类关系,可将实体连接起来形成三元组信息。关系定义分别是故障部位点产生的故障信息、故障信息产生的原因、故障原因对应的解决方法,具体定义见表1。

表1 电力通信设备故障关系定义

1.3 电力通信设备故障知识图谱的构建

在电力通信设备故障知识图谱构建过程中,主要采用自顶向下的本体构建方法[18]。Neo4j是一种基于图的数据库,它使用图形结构存储数据,使得数据处理更加直观和易于理解。电力通信设备故障知识图谱构建的流程如图5所示。具体步骤如下。

图5 电力通信设备故障知识图谱构建流程

(1)对获取的电力通信设备故障数据进行整理并标注,建立电力通信设备故障数据集。

(2)利用 BERT-BiGRU-CRF 模型进行实体识别,并针对电力通信设备故障文本本身特点,通过基于人工规则的关系抽取方法进行关系抽取。

(3)利用 Protégé 本体构建工具完成电力通信设备故障实体间关系的构建,以建立电力通信设备故障知识图谱本体模型[18],如图6所示。

图6 电力通信设备故障知识图谱本体模型

使用Neo4j对获取的三元组知识进行存储并进行可视化展示,完成电力通信设备故障知识图谱的构建。部分知识图谱如图7所示。

图7 部分电力通信设备故障知识图谱

2 电力通信设备故障智能诊断方法

结合所建的知识图谱,为了有效地识别出电力通信设备在运行过程中产生的不同严重性等级的故障信息,设计基于知识图谱的电力通信设备故障智能诊断模型。该方法主要分为两部分工作:首先,设计一种基于 WBLA 的电力通信设备故障严重性等级识别模型;其次,提出一种基于 TFIDF-COS 的电力通信设备故障智能诊断方法,实现对电力通信设备故障的智能处置。具体流程如图8所示。

图8 基于知识图谱的电力通信设备故障智能诊断流程

2.1 基于 WBLA 的电力通信设备故障严重性等级识别模型

为了推理电力通信设备故障可能存在的严重性等级,进而规划故障的治理顺序,设计基于WBLA的电力通信设备故障严重性等级识别模型,将故障产生的告警信息利用 Word2vec 算法[19]进行词嵌入向量表征后作为 BiLSTM (BidirectionalLongShort-TermMemory) 层输入,进行双向编码训练;然后通过 Attention 增强故障告警中的相关特征,最后利用 Softmax 函数实现对故障严重性等级的识别。具体故障严重性等级识别模型如图9所示。

图9 基于WBLA的电力通信设备故障严重性等级识别模型

2.1.1 Word2vec词嵌入层

采用Word2vec作为词嵌入方法,将获取到的故障告警信息形式化表示定义为

Sf={x1,x2,…,xn}

(7)

式中:xi为文本S中的第i个词汇。

对于每个词xi来说,在训练过程中,在输入BiLSTM层之前需要对故障告警信息进行预处理操作。其过程主要是利用词向量矩阵对故障告警信息进行词向量表征,即

embs={e1,e2,…,en}

(8)

那么,将故障告警信息的句子Sf转换为一个实数矩阵,并在其中添加故障等级信息,将获取的实数矩阵embs={e1,e2,…,en}传递到下一层模型中。

2.1.2 特征提取层

BiLSTM是由前向长短期网络和后向长短期网络组成,其中长短期网络主要利用遗忘门、输入门和输出门来保护和控制输入信息[20]。在前向网络中,通过将输入的分析特征向量xt与前一时刻的状态ht-1一起计算,来计算当前时刻的状态ht,公式为

it=δ(Wwiwt+Whiht-1+Wcict-1+bi)

(9)

ft=δ(Wwfwt+Whfht-1+Wcfct-1+bf)

(10)

Zt=tanh(Wwcwt+Whcht-1+bc)

(11)

ct=+ftct-1+itz

(12)

ot=δ(Wwowt+Whoht-1+Wcoct+bo)

(13)

ht=ottanh(ct)

(14)

式中:t为时间步长;ht为隐藏状态;i为输入门;f为遗忘门;o为输出门;b为偏置项;w为参数矩阵。

前向长短期网络主要是处理前文的故障告警信息来对输入的分词向量x1～xt,结合xt的前文信息来对xt进行语义编码,输出信息为ht。同样反向长短期网络通过处理后文的故障告警信息来对输入的分词特征向量xn～xt,结合xt的后文信息来对xt进行语义编码,输出信息为ht。最后,用获取到的ht和ht来表征第t个分词编码后的信息,公式为

ht=[ht⊕ht]∈R2de

(15)

式中:⊕为向量联结;de为单向长短期网络维度;H为输出向量集合,作为下一层的输入:R2de代表所得向量属于实数空间,其维度是2de。

H=(h1,h2,…hn)∈R2den

(16)

式中:R2den代表所得向量属于实数空间,其维度是2den。

2.1.3 注意力机制

在Attention中,n时刻由双向长短期网络输出的故障告警信息文本中故障等级特征向量对最后状态的注意力概率分布an的计算过程如式(17)所示。

(17)

式中:N为输入的故障告警信息文本序列的个数;h′n为第n时刻故障告警信息的完整隐状态序列;h′j为第n时刻故障告警信息中第j个隐状态向量;an为第n时刻隐状态h′n对于h′j的注意力分布。

基于Attention的故障告警信息文本在n时刻最终特征的计算过程如式(18)所示。其中,当an、hn的值越高,相应的动词所嵌入的表征能力也就越高,从注意力机制中得到的故障以及重要的判别信息也就越多。

(18)

式中:F为信息文本在n时刻的最终特征。

最后,通过输出层的Softmax计算,得到故障等级类型标签维度为1×4,其概率分布如式(19)～式(20)所示。

(19)

F′=VF

(20)

式中:T为故障等级标签数,T=4,包括Minor、Warning、Major、Critical;V为故障告警信息在训练过程中产生的权重。

2.2 基于TFIDF-cos的电力通信设备故障智能诊断方法

规划出故障的治理顺序还需诊断出故障原因并对严重等级较高的故障信息进行及时处置,提出基于TFIDF-cos的电力通信设备故障智能诊断方法,可以有效缩短故障的影响时间,保证电力通信网络的运行安全。具体故障智能诊断方法如图10所示。具体步骤为:①通过向量空间模型将预处理之后的故障文本特征项向量化表示;②使用TFIDF因子进行特征项加权;③利用余弦相似度函数进行故障文本相似度计算[21],从而获取可靠度较高的故障诊断结果,进而完成故障处置措施的制定。

图10 基于TFIDF-cos的电力通信设备 故障智能诊断方法

在向量空间模型中,每一个故障文本dj映射为一个特征向量,即

V(dj)=(t1j,w1j;t2j,w2j;…;tnj,wnj)

(21)

式中:tij(i=1,2,…,n)为文档dj对应的特征项;wij(i=1,2,…,n)为tij在dj中对应的权重。

Wij定义为TFIDF因子,其计算方法为

(22)

式中:tfij为第j个文档第i特征项在故障文本中出现的次数;dfij为第j文档第i特征项在所有故障文本中出现的次数。

故障文本di和dj的相似度使用余弦相似度公式计算,如式(23)所示。余弦值越接近1,故障诊断结果的可信度越高,余弦值越接近0,故障诊断的可信度越低。

(23)

3 实验与结果分析

3.1 实验设计

3.1.1 实验数据

使用的实验数据主要来源于国网某信通公司,其中主要记录了该公司中电力通信设备故障信息及故障处置措施。主要故障文本内容描述见表2。

表2 故障文本内容描述

3.1.2 评价指标

分别采用精度(P)、召回率(R)、F1-Score(F1)等作为衡量电力通信设备故障严重性等级识别算法的性能指标。各指标的计算公式为

(24)

(25)

(26)

式中:TP为正确的实体识别个数;FP为识别到的不相关实体个数;FN为没有检测到的实体个数。

3.1.3 实验设置

Windows11,CPU型号为12th Gen Intel(R) Core(TM) i7-12700H 2.30 GHz,16GB内存,Python3.6,使用Keras平台对模型进行模型验证。

3.2 实验结果

3.2.1 电力通信设备故障严重性等级识别实验

选取3 696条故障告警信息及对应的故障等级,按照3:1的比例划分训练集和测试集,从表3对于不同故障严重性等级的识别结果准确率来看,对比 SVM、LSTM、BiLSTM、CNN-BiLSTM 各模型的F1值可得设计的WBLA模型具有较好的故障严重性等级识别效果。通过图11可以很明显地看出,WBLA模型对于故障严重性等级识别结果的P、R、F1值以及准确率(ACC)分别94.9%、95.41%、95.15%、95.98%,与其他模型相比各个指标均为最高,而且最后的识别准确率可达95.98%,取得了较为不错的实验效果,充分证明了该模型的有效性。

表3 各模型识别不同故障严重性等级F1值效果对比

图11 不同模型故障严重性等级识别效果对比

将电力通信设备在运行过程中产生的故障告警信息输入到WBLA模型中,从而实现故障严重性等级的识别。具体效果如图12所示。

图12 故障严重性等级识别举例

3.2.2 电力通信设备故障智能诊断实验

使用TFIDF-cos模型来实现电力通信设备故障的智能诊断,通过余弦相似度计算出故障诊断结果的可信度值,从而获取可靠度较高的故障诊断结果。选取1 000个不同的电力通信设备故障样本数据,对TFIDF-cos模型进行诊断准确率及处置措施制定准确率的计算。具体实验结果见表4。其中故障智能诊断结合了故障等级识别算法,全面分析故障信息及故障严重性等级,从而方便故障治理顺序的划分。具体诊断结果示例如图13所示。完成故障的智能诊断之后,可以根据诊断出的故障原因进一步进行故障处置措施的制定,示例如图14所示。

表4 TFIDF-cos模型性能分析

图13 故障智能诊断示例

图14 故障处置措施制定示例

4 结论

提出了一种基于知识图谱的电力通信设备故障智能诊断方法。

(1)通过构建的基于WBLA的电力通信设备故障严重性等级识别模型,可以有效地划分出故障的治理顺序。

(2)结合基于TFIDF-COS的电力通信设备故障智能诊断方法,可以有效地实现故障的诊断,通过所提算法对选取样本的诊断准确率的展示,证明了诊断结果的可靠性,保障了电力通信设备的稳定运行。

然而,为了更深层次的故障诊断推理,还需要深入研究深度学习与知识图谱相结合的方法。同时,应进一步扩充电力通信设备故障文本数据,以使诊断结果更加全面和可靠。