基于语义增强的电网故障处置预案匹配方法

新型电力系统建设对调控业务的自动化、智能化提出了更高要求。故障发生时，调度员要根据现场情况快速采取相应处置措施，以防止故障进一步恶化，降低对人员和设备的危害。电网故障处置预案是调度员进行故障处置的重要参考，往往依赖于人工查找和判断，工作量大，且传统方式已无法满足需求。人工智能技术的快速发展为电网故障处置预案匹配提供了一种新思路，即结合深度学习模型和自然语言处理技术，根据故障事件自动匹配并推送相应的故障处置预案，提高工作效率。

《中国电力》2025年第4期刊发了蒙飞等撰写的《基于语义增强的电网故障处置预案匹配方法》一文。文章提出基于语义增强的电网故障处置预案匹配方法，预案匹配模型通过增强多调度对象语义信息，提取电网故障事件和处置预案的深层匹配特征。首先，使用BERT预训练模型进行超参数微调，并接入CRF模型，构建多调度对象语义库；然后，基于残差向量-字词嵌入向量-编码向量（residual vector-embedding vector-encoded vector，RE2）计算电网故障信息和调度对象的语义距离，实现预案与故障事件的文本相似度匹配；最后，通过某地区电网数据构建算例进行验证。本文将基于语义增强的电网故障处置预案匹配模型简称为BERT-CRF-RE2。

摘要

为提升电网故障处置预案匹配效率和准确率，提出了基于语义增强的电网故障处置预案匹配方法。首先，通过微调基于变换器双向编码器表征（bidirectional encoder representations from transformers，BERT）模型的超参数，将故障处置预案中多调度对象实体表征为可计算词向量，并接入条件随机场（conditional random field，CRF）模型识别调度对象实体类别；然后，基于残差向量-字词嵌入向量-编码向量（residual vector-embedding vector-encoded vector，RE2）计算电网故障信息和调度对象的语义距离，建立基于BERT-CRF-RE2的电网故障处置预案匹配模型；最后，通过某地区电网数据进行验证。结果表明，所提模型有效解决了预案匹配准确率低的问题。

01

电网故障处置预案匹配基础算法

BERT是一种基于Transformer架构的双向编码器表示模型。但BERT模型并未考虑实体标签之间的依赖关系，无法避免标签不一致问题，影响了实体识别的准确性。因此，在输出层添加CRF层构建BERT-CRF模型，其总体结构如图1所示。BERT模型在信息嵌入前要执行预训练任务，主要有掩码语言模型和下个句子预测等方式。通过多任务联合使模型学习到预案中调度对象的深层语义信息，有助于提升对较长实体的识别性能。

图1  BERT-CRF模型结构

Fig.1  BERT-CRF model structure

通过双向Transformer编码器结构进行序列特征编码，能全面准确表征调度对象语义信息。其关键部分为自注意力机制，通常表示为注意力权重矩阵的形式，即

式中：A为注意力权重矩阵；Q、K、V分别为预案文本嵌入向量的查询矩阵、键矩阵和值矩阵；dk为键矩阵的维度。

调度对象实体标签之间存在较强的依赖关系。CRF模型能考虑调度对象实体标签间的依赖关系，通过最大化词向量序列的对数似然函数更新模型权重，由维特比算法筛选条件概率最大的实体标签序列作为预测输出，以增强多调度对象语义信息。

RE2是一种实现通用文本相似度匹配的神经网络模型，考虑了序列间对齐可用的原始点对齐特征、先前对齐特征和上下文特征，能够全面捕捉文本序列间的语义相似度信息。本文方法通过RE2模型计算电网故障信息和调度对象的语义距离，实现预案文本相似度匹配。这种语义计算方法能显著降低参数量，简化推理和计算，提升预案匹配的效率。RE2模型结构如图2所示。

图2  RE2模型结构

Fig.2  RE2 model structure

N个网络块之间采用增强残差方式连接，每个网络块的输入由第1个网络块的输入、前2个网络块的输出之和拼接而成。

对齐层对输入的故障文本序列进行局部、全局等多层次对齐，并通过点积操作计算两序列间的相似度矩阵，输出对齐后的文本序列。

融合层整合对齐层的输入、输出序列，并对两序列进行信息聚合。

将最后一个网络块融合层的输出作为池化层的输入，降维处理为向量u1，u2。经过预测分类，输出文本匹配结果

式中：M为多层前馈网络；⊕为向量的拼接操作；∘为向量的逐元素积。

02

基于BERT-CRF-RE2的电网故障处置预案匹配方法

以电网故障处置预案为研究对象，提出基于BERT-CRF-RE2的电网故障处置预案匹配方法，其基本流程如图3所示。

图3  基于BERT-CRF-RE2的电网故障处置预案匹配方法基本流程

Fig.3  Basic flow of BERT-CRF-RE2 based grid fault handling plan matching method

本文所提基于语义增强的电网故障处置预案匹配模型与基础模型的不同之处如下。

1）BERT模型的词嵌入层替换为多信息表示层。采用BERT预训练模型完成文本分词、训练及测试数据生成，并结合词、段落及实体类型多方面信息进行词嵌入，逐元素相加形成综合嵌入表示，从而捕获预案中的多调度对象语义信息。

2）结合CRF层高效处理多调度对象语义信息。通过实体间依赖关系建模和标签序列优化识别实体类型，构建多调度对象语义库，去除预案中的无效信息，实现多调度对象语义信息的增强。

3）RE2模型的嵌入层与中间处理层替换为语义计算层。基于残差向量、字词嵌入向量和编码向量计算电网故障信息和调度对象间的语义距离，快速得到预案与故障事件的相似度值，实现基于语义增强的电网故障处置预案匹配。

目前电网故障处置预案文本信息主要依赖人工输入并上传至调度系统，对现象或处理方法的描述没有统一标准，导致故障文本存在不同的形式，为后续向量表示、特征提取等任务带来诸多不确定因素，因此必须先进行电网故障处置预案预处理。主要步骤包括：文本清洗、文本归一化、文本分词、去除停用词和实体标记。

本文使用基于统计分词方式的Viterbi算法，结合国家电网企业标准构建了电力行业专用词典；通过构建停用词表来去除停用词，停用词表包括修饰性词汇、过渡性词汇和标点符号等。根据多调度对象的文本句式、实体构成及实体间关系确定调度对象实体标签，包括地区、机构、机组、线路、母线、变电站、电压等级、开关、刀闸、状态等，据此进行实体标记，由识别的实体构建多调度对象语义库，同时输出对应的词向量表示。电网故障处置预案实体标记示例如表1所示。

表1  电网故障处置预案实体标记示例

Table 1  Power grid fault handling plan entity labeling example

利用电网故障处置预案语料微调BERT模型超参数，使其适配电网专业术语；然后使用部分预案样本训练BERT-CRF模型，解析预案中的多调度对象信息。具体训练过程如下：将预处理后的电网故障处置预案文本记为Cw，代表第w个预案文本，其中

模型主要训练参数包括：隐藏层维度为768，隐藏层层数为12，注意力头数为12，模型激活函数为ReLU，损失函数为交叉熵函数，优化器为Adam（β1设置为0.9，β2设置为0.998）。训练过程的超参数设置如下：训练轮数200，初始学习率3×，学习率调度使用线性学习率衰减策略，以保证模型训练的稳定性和实体识别的有效性。

训练阶段，由实体识别结果提取预案中的电网故障设备、电网故障类型、电网运行方式等调度对象语义信息，将其存储为多调度对象语义库，实现预案高效解析并增强了多调度对象语义信息。结合人工局部修正，构造电网故障处置预案匹配样本集，训练RE2预案匹配模型。测试阶段，根据实时电网故障信息，对语义库中的预案进行相似度匹配。RE2模型的训练过程如下：首先，将实时电网故障事件与预案样本同时输入RE2模型，分别记为T1和T2，经过嵌入层进行向量编码，转化为嵌入向量和残差向量，两向量维度均为300。然后，经过增强残差方式连接的N个网络块进行语义计算，使用点乘方式计算两序列的相似度，并将最后一个网络块的输出作为池化层的输入。最后，将降维后的序列向量输入预测层，经多层前馈网络计算，输出预案的相似性得分Ck。

03

算例分析

3.1  试验数据

以某地区电网的故障处置预案为研究对象，获取大量的故障处置预案和故障事件进行研究。首先构建预案解析样本集。通过BIO实体标记方法标记生成个调度对象实体，共涵盖10种类型，分别为地区、机构、机组、线路、母线、变压器、开关、刀闸、状态、电压等级。按照8∶1∶1的比例划分，形成训练、验证和测试样本集。然后构建预案匹配样本集。将故障处置预案与故障事件按照映射关系整理为预案匹配样本对，共计个，并按照8∶1∶1的比例划分数据集，形成训练集、验证集和测试集，分别包含、、个样本对。

3.2  评价指标

本文采用精准率P、召回率R和综合评价指标F1值评估模型的调度对象实体识别性能。调度对象实体识别为多分类任务，采用宏平均方法计算各项指标值为

式中：

为被正确分类为正样本的样本数；

为被错误分类为正样本的负样本数；

为被错误分类为负样本的正样本数；P为精准率，用于衡量模型预测的结果中正确结果所占的比例；R为召回率，用于衡量模型对真正例的检测能力；F1为综合评价指标，是精准率与召回率的调和平均，常用于综合衡量模型的分类准确性。

本文采用准确率和受试者工作特征曲线（receiver operating characteristic curve，ROC）下的面积（area under the curve，AUC）评估模型的预案匹配准确性，通过模型对单条预案匹配的平均耗时t来评估预案匹配效率，即

式中：

为被正确分类为负样本的样本数；Acc为准确率，指被正确分类的样本占所有样本的比率，用于衡量模型的总体分类性能；TPR为所有正样本中被正确分类的样本所占的比率；FPR为所有负样本中被错误分类为正类的样本所占的比率。

3.3  模型效果分析

本文模型最终的预案匹配效果很大程度上取决于预案解析精度，因此首先要分析其调度对象实体识别效果。在预案解析样本集上进行BERT-CRF模型训练和测试，得到测试样本上各类实体的识别结果如表2所示。由表2可知，BERT-CRF模型对变压器实体识别的F1值最高，达到98.70%，母线和机组分别次之，达到98.51%和98.22%，而且对各类实体识别的每项指标值均超过90%，P、R、F1值的平均值分别为%、%和%。由此说明，BERT-CRF模型在调度对象实体识别任务上能取得很好的效果。

表2  测试样本上的调度对象实体识别结果

Table 2  The dispatch object entity recognition results on test samples

为了更好地分析RE2模型的预案匹配效果，首先基于BERT-CRF模型在相同预案样本上进行调度对象实体识别，在此基础上分别使用RE2模型、基于注意力的卷积神经网络模型（attention-based convolutional neural network，ABCNN）、深层结构语义模型（deep structured semantic model，DSSM）和双向多视角匹配模型（bilateral multi-perspective matching，BiMPM）进行预案匹配，对比分析4种模型的匹配结果及变化情况。训练过程中各模型的输出损失、准确率Acc及特征曲线分类性能值AUC随着训练轮数的变化趋势分别如图4~6所示。

图4  各模型的输出损失随着训练轮数的变化

Fig.4  Variation of output loss for each model with the number of training rounds

图5  各模型的准确率Acc随着训练轮数的变化

Fig.5  Variation of accuracy for each model with the number of training rounds

图6  各模型的AUC值随着训练轮数的变化

Fig.6  Variation of AUC values for each model with the number of training rounds

由图4可知，训练过程中RE2模型的输出损失始终低于其他3个模型，收敛较快，说明该模型训练精度高，推理速度快。结合图5~6可知，RE2模型准确率增长最快，在训练18轮后准确率保持最高；而且AUC值变化趋势最为平稳，各轮次取值基本最高。总体来说，RE2模型预案匹配效果较好，通过语义增强能显著提升预案匹配方法的准确性。

3.4  模型性能对比

为了衡量本文模型的预案匹配性能，使用相同的测试样本，分别基于RE2、ABCNN、DSSM、BiMPM 4种算法建立故障处置预案匹配模型，对于测试样本得到的结果如表3所示。由表3可知，经测试，RE2模型的预案匹配准确率Acc达到95.92%，分别比DSSM、BiMPM、ABCNN模型高出2.15、5.08、9.89个百分点，AUC值达到，分别比DSSM、BiMPM、ABCNN模型高出、、，对单条预案匹配的平均耗时t为14.7 ms，分别加快了11.3、9.5、5.1 ms。原因在于，RE2模型能根据匹配结果修正分类权重，预案匹配准确性得以提升。同时，RE2模型充分融合调度对象实体所蕴含的原始点对齐特征、先前对齐特征和上下文特征，自然去除了预案中的无效信息，从而提升模型的整体计算效率。此外，DSSM模型并未捕捉词序特征且缺乏词的上下文信息，限制了预案匹配性能；BiMPM模型存在推理复杂、参数较多、不能很好处理较长预案等问题，影响匹配效率；ABCNN模型擅长捕捉局部语义特征，对于较长预案的处理存在局限性，极大影响其匹配准确性。

表3  不同文本匹配模型性能对比

Table 3  Performance comparison of different text matching models

综上，基于语义增强的电网故障处置预案匹配模型具备较高的调度对象实体识别精度和预案匹配准确度，且总体收敛性和稳定性较优，预案匹配效果较好。在电网实际运行中，综合智能告警系统会推送电网故障处置事件信息，文中所提基于语义增强的故障处置预案匹配模型能够解析故障处置事件中的故障设备、故障类型等信息，通过预案的多调度对象语义计算，实现最佳故障处置预案的匹配和推送，为调度人员提供可行的电网故障处置决策。

04

结论

本文提出了一种基于语义增强的电网故障处置预案匹配方法，通过分析和算例验证，得到结论如下。

1）提出的电网故障处置预案匹配混合神经网络模型，可准确识别预案中多调度对象实体，通过识别故障事件特征，准确匹配故障处置预案，提升了预案匹配速度。

2）预案匹配模型中增强了多调度对象语义信息，使预案匹配模型能够更深层次提取电网故障事件和预案的匹配特征，相比于预案全量计算，减少了预案匹配模型训练时间，提升了预案匹配准确率。

3）基于某地区电网预案数据验证，所提预案匹配模型相比于ABCNN、DSSM和BiMPM模型，匹配准确率更高，单条预案匹配计算耗时更少，有效提升了电网故障处置的响应能力。