CN115858750A

CN115858750A - 基于自然语言处理的电网技术标准智能问答方法及系统

Info

Publication number: CN115858750A
Application number: CN202211507458.7A
Authority: CN
Inventors: 任慧; 汪友杰; 王震; 史双双; 房玉川; 朱洪浩; 肖付寒; 任文峰; 曲孟龙; 肖晓东; 王进凯; 金叶; 张金华; 李剑; 宋汉捷
Original assignee: Shandong Luruan Digital Technology Co Ltd
Current assignee: Shandong Luruan Digital Technology Co Ltd
Priority date: 2022-11-29
Filing date: 2022-11-29
Publication date: 2023-03-28

Abstract

本发明属于问答系统构建技术领域，提供了基于自然语言处理的电网技术标准智能问答方法及系统，该方法包括获取电网技术相关自然语言问题，并从预设常用问题答案库中查找并构建出与所述电网技术相关自然语言问题相似的候选问题集合；计算所述电网技术相关自然语言问题与候选问题集中每个语句的相似度，若相似度大于第一相似度阈值，则输出候选问题集中相应语句对应的答案；若相似度均小于第二相似度阈值，则基于阅读理解式模型得到所述电网技术相关自然语言问题对应的答案。

Description

基于自然语言处理的电网技术标准智能问答方法及系统

技术领域

本发明属于问答系统构建技术领域，尤其涉及基于自然语言处理的电网技术标准智能问答方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

在互联网席卷全球的时代背景下，智能化的自然语言问答是处理语言信息的重要手段，实现高效、全面、更具有实用性的智能问答也是自然语言智能化的重点研究方向之一。由于电力行业术语的专业性限制，目前普遍的问答社区模块并不能够对其做很好的适配，严重影响了电力问答模型的准确性，导致了用户体验较差。另外，问答系统也满足不了日益增长的用户问答需求。

发明内容

为了解决上述背景技术中存在的至少一项技术问题，本发明提供基于自然语言处理的电网技术标准智能问答方法及系统，其致力于搭建基于电力行业不同领域的技术标准问答系统模型，能从语义、语境和语言结构方面更加智能化的语句识别，致力于构建一个更加实用的问答系统。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于自然语言处理的电网技术标准智能问答方法。

一种基于自然语言处理的电网技术标准智能问答方法，包括如下步骤：

获取电网技术相关自然语言问题，并从预设常用问题答案库中查找并构建出与所述电网技术相关自然语言问题相似的候选问题集合；其中，预设常用问题答案库内预先存储有若干电网技术相关问题及其对应答案；

计算所述电网技术相关自然语言问题与候选问题集中每个语句的相似度，若相似度大于第一相似度阈值，则输出候选问题集中相应语句对应的答案；若相似度均小于第二相似度阈值，则基于阅读理解式模型得到所述电网技术相关自然语言问题对应的答案；

其中，第一相似度阈值大于第二相似度阈值；所述阅读理解式模型的构建过程为：基于问题-答案-条款的构造方式，采用提示学习方法和电力条款问答数据集进行训练，通过挖掘问题和条款之间的语义关系生成问题的答案。

作为一种实施方式，所述问题-答案-条款的构造通过构建完形填空模板和延续字符串前缀的方式得到。

作为一种实施方式，所述提示学习方法通过引入额外的参数，并使用预设任务的目标函数对阅读理解式模型进行微调，以预训练阅读理解式模型适应于不同的下游任务。

作为一种实施方式，对于每一种答案类型，提示学习方法需要定义一个新的答案集合，该集合中的所有答案标签都是预训练模型中的词；

每个答案类型都会对应若干新的标签集合，通过取每个标签的并集，最终得到一个整体字典集合。

作为一种实施方式，所述条款的类别包括数字类、抽取类、统计类以及判断类。

作为一种实施方式，所述挖掘问题和条款之间的语义关系中，基于已有的电力系统问答数据集，将数据集中的样本进行表示，每个数据集的样本格式为：

x＝{[cls],t₁,t₂,...,m,...,t_T,[sep]}

其中，[cls]是句首标识符；[sep]为不同句子间的分隔符标志；t₁,t₂,...,m,...,t_T为每个词的表示；m为掩码语言模型mask的部分，即模型需要学习和预测的位置。

作为一种实施方式，所述电网技术相关自然语言问题与候选问题集中每个语句的相似度采用余弦相似度或欧式距离来衡量。

本发明的第二个方面提供了一种基于自然语言处理的电网技术标准智能问答系统。

一种基于自然语言处理的电网技术标准智能问答系统，其包括：

候选问题集合构建模块，其用于获取电网技术相关自然语言问题，并从预设常用问题答案库中查找并构建出与所述电网技术相关自然语言问题相似的候选问题集合；其中，预设常用问题答案库内预先存储有若干电网技术相关问题及其对应答案；

问题答案获取模块，其用于计算所述电网技术相关自然语言问题与候选问题集中每个语句的相似度，若相似度大于第一相似度阈值，则输出候选问题集中相应语句对应的答案；若相似度均小于第二相似度阈值，则基于阅读理解式模型得到所述电网技术相关自然语言问题对应的答案；

本发明的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于自然语言处理的电网技术标准智能问答方法中的步骤。

本发明的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于自然语言处理的电网技术标准智能问答方法中的步骤。

与现有技术相比，本发明的有益效果是：

本发明针对电力行业内部本身的术语特性和语义规范，结合自然语言处理领域前沿的技术成果，实现问题的精准定位，答案的准确生成，融合了意图识别模型、语义向量对匹配检索模型的训练和构建、阅读理解式问答模型等不同的深度学习模型，融合集成学习、少样本学习、更大规模上下文学习、查询重构、基于问答的多任务学习、可控生成、监督注意力和数据增强等不同算法，在问答系统构建的不同阶段对任务目标进行精准定位和准确分析。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明基于自然语言处理的电网技术标准智能问答方法流程示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本发明主要致力于构建电力行业的问答系统，通过电力行业本身的条款问答语料库积累，通过学习电力语料库语义、语境信息的基础上，针对抽取类、判断类、数字类、统计类不同的问答情境，利用深度学习-自然语言处理领域的相关技术，搭建电力行业条款问答模型系统，针对电力领域相关问题的发现处理提供快速的解决方案。

实施例一

如图1所示，本实施例提供一种基于自然语言处理的电网技术标准智能问答方法，包括如下步骤：

步骤1：获取电网技术相关自然语言问题，并从预设常用问题答案库中查找并构建出与所述电网技术相关自然语言问题相似的候选问题集合；其中，预设常用问题答案库内预先存储有若干电网技术相关问题及其对应答案。

步骤2：计算所述电网技术相关自然语言问题与候选问题集中每个语句的相似度，若相似度大于第一相似度阈值，则输出候选问题集中相应语句对应的答案；若相似度均小于第二相似度阈值，则基于阅读理解式模型得到所述电网技术相关自然语言问题对应的答案；

例如第一相似度阈值可以选取0.85，第二相似度阈值可以选取0.4。

作为一种或多种实施例，所述问题-答案-条款的构造通过构建完形填空模板和延续字符串前缀的方式得到。

通过构建完形填空模板和延续字符串前缀的方式，对于阅读理解式问答系统进行问题-答案-条款匹配模型的构建和训练。

其中，阅读理解式模型采用深度学习领域的bert模型，以prompt(提示)训练的方式进行样本数据的拟合。

具体地，阅读理解式模型利用基于掩码语言模型(MLM)的提示学习方法，通过引入数据模板，基于文本分类、阅读理解等下游任务对模型进行再次训练，将预训练语言模型应用于电力行业的自然语言处理任务，让公开语料训练的bert模型准确理解电力行业文本内容和语言环境。

作为一种或多种实施例，所述用户输入的问题后进行关键语义信息提取，具体包括：

通过统一的向量生成模型，对问题和条款中的关键语义信息进行加工和提取，分别得到问句向量和条款向量，形成问题和条款语句统一的特征向量。

作为一种或多种实施例，步骤2中，所述挖掘问题和条款之间的语义关系的中：

(1)基于已有的电力系统问答数据集{₁,...,x_n}，将数据集中的样本表示为：

数据集中样本的组成方式为x_i＝问题-答案-样本拼接而成。x_i＝为第i个样本。

(2)输入一个句子，即数据集的一个样本格式为：x＝{[cls],t₁,2,...,,...,_T,[sep]}

其中，[cls]是句首标识符，[sep]为不同句子间的分隔符标志，[cls]和[sep]中间的t_i为每个词的表示，m为掩码语言模型mask的部分，即模型需要学习和预测的位置。

(3)通过预训练得到蕴含语义的隐层(hidden层)，{h_[cls],h₁,...,h_T,h_[sep]}；

(4)最终选取作为h_[cls]最后的隐层表示，然后通过神经网络权重矩阵W和softmax激活函数映射到概率分布来达到预测的效果，softmax的最终结果为答案归属于不同答案的概率，概率最大的类别即为针对问题最终的答案。

其中，所述概率分布函数为：

P(y∈Y|s)＝softmax(Wh_[cls]+b)

式中，W为权重矩阵，b为偏置，表示对W权重矩阵与h_[cls]隐层表示矩阵内积结果的偏置。s是问题，Y是答案集合，y是答案集合中的一个答案。

与训练过程中，其中，W、b和所有预训练模型参数都要通过损失进行调整，其中损失函数为：

其中，n是问题的数量，s_i是第i个问题，y_i是第i个答案；P(·)表示概率分布函数。

对于每一种答案类型，提示学习方法需要定义一个新的答案集合，该集合中的所有答案label都是预训练模型vocab里的word：

v_y＝{w₁,...,w_m}

每个答案类型都会对应若干新的label集合，通过取每个标签的并集，最终得到一个整体字典集合T(s)。

P(y∈Y|s)＝P([mask]＝w∈v_y|T(s))

上述方案通过问题-答案-条款的构造方式，将掩码语言模型(MLM)应用到抽取类、判断类、数字类、统计类条款类问答领域进行训练，通过问题、条款之间的语义关系进行答案的学习，生模型具备根据问题和条款生成答案的能力。

本实施例通过统一的向量生成模型，对问题和条款中的关键语义信息进行加工和提取，形成问题和条款语句统一的特征向量表达方式(即将图中原本的问句向量生成模型和条款向量生成模型合并为一个，对于问句和条款中相似的语义关系形成相似的特征表达)。在面对新问题的产生时，模型首先接收用户提出的问题(即用户输入的问句)。然后，根据用户输入的问句，从常用问题库中查找并建立与用户问题比较相似的候选问题集。接着，对候选问题集中的句子与用户输入的问句进行余弦相似度计算，从候选问题集中寻找与用户输入的问句最相似的问句。如果在候选问题集中找到了与用户输入的问句相似的问句(即该问句和用户输入的问句的相似度大于某个阈值)，就直接把和该问句对应的答案返还给用户；如果没有找到与用户输入的问句相似的问句(即候选问题集中所有问句和用户输入的问句的相似度都小于某个阀值)，则利用关键词匹配原则进行相关问题的检索和答案的给出，并且将这个新的问题和其对应的答案加入到问答库当中。

实施例二

本实施例提供基于自然语言处理的电网技术标准智能问答系统，包括：

此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再详述。

实施例三

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于自然语言处理的电网技术标准智能问答方法中的步骤。

实施例四

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于自然语言处理的电网技术标准智能问答方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.基于自然语言处理的电网技术标准智能问答方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于自然语言处理的电网技术标准智能问答方法，其特征在于，所述问题-答案-条款的构造通过构建完形填空模板和延续字符串前缀的方式得到。

3.如权利要求1所述的基于自然语言处理的电网技术标准智能问答方法，其特征在于，所述提示学习方法通过引入额外的参数，并使用预设任务的目标函数对阅读理解式模型进行微调，以预训练阅读理解式模型适应于不同的下游任务。

4.如权利要求3所述的基于自然语言处理的电网技术标准智能问答方法，其特征在于，对于每一种答案类型，提示学习方法需要定义一个新的答案集合，该集合中的所有答案标签都是预训练模型中的词；

5.如权利要求1所述的基于自然语言处理的电网技术标准智能问答方法，其特征在于，所述条款的类别包括数字类、抽取类、统计类以及判断类。

6.如权利要求1所述的基于自然语言处理的电网技术标准智能问答方法，其特征在于，所述挖掘问题和条款之间的语义关系中，基于已有的电力系统问答数据集，将数据集中的样本进行表示，每个数据集的样本格式为：

x＝{[cls],t₁,2,...,,...,_T,[sep]}

其中，[cls]是句首标识符；[sep]为不同句子间的分隔符标志；t₁,₂,...,,...,_T为每个词的表示；m为掩码语言模型mask的部分，即模型需要学习和预测的位置。

7.如权利要求1所述的基于自然语言处理的电网技术标准智能问答方法，其特征在于，所述电网技术相关自然语言问题与候选问题集中每个语句的相似度采用余弦相似度或欧式距离来衡量。

8.基于自然语言处理的电网技术标准智能问答系统，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于自然语言处理的电网技术标准智能问答方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于自然语言处理的电网技术标准智能问答方法中的步骤。