CN116992007B - 基于问题意图理解的限定问答系统 - Google Patents

Abstract

本申请公开了一种基于问题意图理解的限定问答系统。其首先获取用户输入问题并进行关键词提取以得到多个问题关键词，然后，从业务专家构造的问题等价示例中筛选与所述用户输入问题语义相关的问题等价示例，接着，对所述问题等价示例进行语义编码以得到用户问题语义编码特征向量，然后，从后台数据库提取第一至第N备选答案并分别进行语义编码以得到第一至第N备选答案语义编码特征向量，接着，对所述用户问题语义编码特征向量和所述第一至第N备选答案语义编码特征向量进行语义交互关联匹配以得到第一至第N备选答案‑用户问题语义交互特征，最后，基于该语义交互特征确定多个概率值，并返回备选答案集。这样，可以帮助用户减少知识探索的障碍。

Description

基于问题意图理解的限定问答系统

技术领域

本申请涉及限定域问答系统领域，且更为具体地，涉及一种基于问题意图理解的限定问答系统。

背景技术

限定域问答系统是一种基于自然语言理解和自动推理技术的计算机程序，旨在回答用户提出的问题，并提供与特定领域相关的准确和详尽的答案。这种系统能够解析和理解用户输入的自然语言问题，利用存储在知识库中的领域特定知识进行推理和推断，最终生成准确的答案。

过去的系统不断优化基于问题的语义理解甚至意图理解，通过语义相似度分析检索到最合适的答案或知识。然而，这些系统的前提是提问者能够提出有助于用户高效认知和学习的好问题。实际情况是，在面对陌生领域时，用户可能无法提出好问题。因此，目前缺少一种能够理解用户提问意图，并且在已知的领域问答知识中，将输入问题定位到合适的高质量问题与答案，从而解决用户受限于知识面与认知能力产生的知识探索障碍。

因此，期望一种优化的基于问题意图理解的限定问答系统。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于问题意图理解的限定问答系统。其可以解决用户在知识探索中受限于知识面和认知能力产生的障碍。

根据本申请的一个方面，提供了一种基于问题意图理解的限定问答系统，其包括：

问题输入模块，用于获取用户输入问题；

关键词提取模块，用于对所述用户输入问题进行关键词提取以得到多个问题关键词，所述多个问题关键词包括命名实体、业务专有名词和事务处理操作；

问题等价示例筛选模块，用于使用问题等价示例筛选器通过语义相似度分析，从业务专家构造的问题等价示例中筛选与用户输入问题语义相关的问题等价示例；

问题等价示例语义理解模块，用于对所述问题等价示例进行语义编码以得到用户问题语义编码特征向量；

备选答案提取模块，用于从后台数据库提取第一至第N备选答案；

备选答案语义理解模块，用于分别对所述第一至第N备选答案进行语义编码以得到第一至第N备选答案语义编码特征向量；

问题-答案语义关联匹配模块，用于对所述用户问题语义编码特征向量和所述第一至第N备选答案语义编码特征向量进行语义交互关联匹配以得到第一至第N备选答案-用户问题语义交互特征；

以及备选答案集返回模块，用于基于所述第一至第N备选答案-用户问题语义交互特征，确定多个概率值，并返回备选答案集。

与现有技术相比，本申请提供的基于问题意图理解的限定问答系统，其首先获取用户输入问题并进行关键词提取以得到多个问题关键词，然后，从业务专家构造的问题等价示例中筛选与所述用户输入问题语义相关的问题等价示例，接着，对所述问题等价示例进行语义编码以得到用户问题语义编码特征向量，然后，从后台数据库提取第一至第N备选答案并分别进行语义编码以得到第一至第N备选答案语义编码特征向量，接着，对所述用户问题语义编码特征向量和所述第一至第N备选答案语义编码特征向量进行语义交互关联匹配以得到第一至第N备选答案-用户问题语义交互特征，最后，基于该语义交互特征确定多个概率值，并返回备选答案集。这样，可以帮助用户减少知识探索的障碍。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。

图1为根据本申请实施例的基于问题意图理解的限定问答系统的框图示意图。

图2为根据本申请实施例的基于问题意图理解的限定问答系统中的所述备选答案集返回模块的框图示意图。

图3为根据本申请实施例的基于问题意图理解的限定问答方法的流程图。

图4为根据本申请实施例的基于问题意图理解的限定问答方法的系统架构的示意图。

图5为根据本申请实施例的基于问题意图理解的限定问答系统的应用场景图。

图6为根据本申请另一实施例的基于问题意图理解的限定域问答系统的流程示意图。

图7为根据本申请另一实施例的基于语义相似度分析的问题等价示例筛选方法的流程示意图。

图8为根据本申请另一实施例的基于大语言模型Prompt Tuning的问题语义匹配方法的流程示意图。

图9为根据本申请另一实施例的针对问答结果置信度的指标综合评分方法的流程示意图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

针对上述技术问题，本申请的技术构思为通过获取用户输入问题，并对所述用户输入问题进行关键词提取，以及从业务专家构造的问题等价示例中筛选与所述用户输入问题语义相关的问题等价示例，进而在后端引入数据文本语义理解和分析算法来进行问题等价示例和备选答案的语义关联匹配，以此来返回用户问题的相关答案。通过这样的方式，能够充分理解用户提问意图，并在已知领域问答知识中将输入问题定位到合适的高质量问题与答案，从而解决用户在知识探索中受限于知识面和认知能力产生的障碍。

图1为根据本申请实施例的基于问题意图理解的限定问答系统的框图示意图。如图1所示，根据本申请实施例的基于问题意图理解的限定问答系统100，包括：问题输入模块110，用于获取用户输入问题；关键词提取模块120，用于对所述用户输入问题进行关键词提取以得到多个问题关键词，所述多个问题关键词包括命名实体、业务专有名词和事务处理操作；问题等价示例筛选模块130，用于使用问题等价示例筛选器通过语义相似度分析，从业务专家构造的问题等价示例中筛选与所述用户输入问题语义相关的问题等价示例；问题等价示例语义理解模块140，用于对所述问题等价示例进行语义编码以得到用户问题语义编码特征向量；备选答案提取模块150，用于从后台数据库提取第一至第N备选答案；备选答案语义理解模块160，用于分别对所述第一至第N备选答案进行语义编码以得到第一至第N备选答案语义编码特征向量；问题-答案语义关联匹配模块170，用于对所述用户问题语义编码特征向量和所述第一至第N备选答案语义编码特征向量进行语义交互关联匹配以得到第一至第N备选答案-用户问题语义交互特征；以及，备选答案集返回模块180，用于基于所述第一至第N备选答案-用户问题语义交互特征，确定多个概率值，并返回备选答案集。

具体地，在本申请的技术方案中，首先，获取用户输入问题。接着，对所述用户输入问题进行关键词提取以得到多个问题关键词，所述多个问题关键词包括命名实体、业务专有名词和事务处理操作。应可以理解，通过提取问题中的关键词，可以帮助系统更准确地定位问题的领域和主题，并为后续的处理步骤提供有用的信息。具体来说，关键词提取可以包括命名实体、业务专有名词和事务处理操作等多个方面。所述命名实体是指具有特定名称的实体，如人名、地名、组织机构等，提取这些实体可以帮助系统理解问题中涉及的具体对象或人物。所述业务专有名词是指特定领域中的专有名词或术语，提取这些名词可以帮助系统确定问题所属的领域和相关的专业知识。所述事务处理操作是指问题中涉及的具体操作或行为，提取这些操作可以帮助系统理解用户期望进行的具体任务或操作。

应可以理解，由于在面对一个陌生的领域时，用户可能难以提出一个专业性的好问题，导致回答的结果并不是用户想要的。因此，为了能够进一步提高系统对用户问题的理解和匹配能力，在本申请的技术方案中，进一步使用问题等价示例筛选器通过语义相似度分析，从业务专家构造的问题等价示例中筛选与所述用户输入问题语义相关的问题等价示例。具体来说，所述问题等价示例是指与用户输入问题在语义上具有相似意义的其他问题，这些问题等价示例通常由领域专家或知识工程师事先构造和标注，涵盖了特定领域的各种问题类型和语义变体。通过筛选与用户输入问题语义相关的问题等价示例，系统可以找到与用户问题意图最匹配的问题模式或语义表达方式。这样做的好处是，系统可以利用已有的专业性问题等价示例中的答案或知识，来回答用户的问题或提供相关信息，而不仅仅局限于用户原始输入的表述方式。

继而，再对所述问题等价示例进行语义编码以得到用户问题语义编码特征向量。相应地，在本申请的一个具体示例中，可以对所述问题等价示例进行分词处理后通过包含词嵌入层的问题语义编码器中进行语义编码，以提取出所述问题等价示例中各个词基于全局的上下文语义关联特征信息，从而得到所述用户问题语义编码特征向量。

在对答案进行语义理解以便于后续进行问题和答案的语义特征匹配时，需要从后台数据库提取第一至第N备选答案，并分别对所述第一至第N备选答案进行语义编码以得到第一至第N备选答案语义编码特征向量。具体来说，在本申请的一个具体示例中，可以将所述第一至第N备选答案进行分词处理后通过包含词嵌入层的备选答案语义编码器中进行语义编码处理，以分别提取出所述第一至第N备选答案中的各个词基于全局的上下文语义关联特征信息。

然后，使用特征间注意力层来分别进行所述第一至第N备选答案语义编码特征向量与所述用户问题语义编码特征向量之间特征级语义交互以得到第一至第N备选答案-用户问题语义交互特征向量，以此来捕捉所述用户问题语义编码特征分别和所述第一至第N备选答案语义特征之间的关联和相互影响。应可以理解，由于传统的注意力机制的目标是学习一个注意力权重矩阵，将较大的权重赋予重要的特征，较小的权重赋予次要的特征，从而选择出对当前任务目标更关键的信息。这种方式更侧重于对各个特征的重要性进行加权，而忽略了特征之间的依赖关系。而所述特征间注意力层能够通过基于注意力机制的特征交互，可以捕捉到所述用户问题语义编码特征分别和所述第一至第N备选答案语义特征之间的相关性和相互影响，以学习到不同备选答案的语义特征和用户提问的问题语义特征之间的依赖关系，并根据这些依赖关系对特征进行交互和整合，从而得到所述第一至第N备选答案-用户问题语义交互特征向量。

相应地，所述问题等价示例语义理解模块140，用于：对所述问题等价示例进行分词处理后通过包含词嵌入层的问题语义编码器中进行语义编码以得到所述用户问题语义编码特征向量。相应地，所述备选答案语义理解模块160，用于：分别对所述第一至第N备选答案进行分词处理后通过包含词嵌入层的备选答案语义编码器中进行语义编码以得到所述第一至第N备选答案语义编码特征向量。值得一提的是，词嵌入层是自然语言处理中的一种技术，用于将文本中的单词映射到连续向量空间中。它是深度学习模型中的一部分，用于将离散的词语表示转换为连续的向量表示，从而能够更好地捕捉词语之间的语义关系。在上述描述中，词嵌入层用于将问题和备选答案中的词语进行编码，将它们转换为语义编码特征向量。这样做的好处是，通过词嵌入层，可以将词语的语义信息编码为连续的向量表示，而不是简单的离散符号。这种连续的向量表示可以更好地捕捉词语之间的相似性和关联性，有助于提高后续的语义理解和模型性能。常见的词嵌入方法包括Word2Vec、GloVe和BERT等。这些方法能够将词语映射到一个高维向量空间中，使得语义上相似的词在向量空间中距离较近。通过在训练语料上学习词嵌入模型，可以得到每个词语的固定维度的向量表示，这些向量可以作为输入传递给其他模块，如问题语义编码器和备选答案语义编码器，用于进一步的语义处理和理解。

相应地，所述问题-答案语义关联匹配模块170，用于：使用特征间注意力层来分别进行所述第一至第N备选答案语义编码特征向量与所述用户问题语义编码特征向量之间特征级语义交互以得到第一至第N备选答案-用户问题语义交互特征向量作为所述第一至第N备选答案-用户问题语义交互特征。值得一提的是，特征间注意力层（Feature-LevelAttention Layer）是一种深度学习模型中的关键组件，用于在多个特征之间建立动态的注意力权重，以便更好地捕捉特征之间的相关性和重要性。在问题-答案语义关联匹配模块中，特征间注意力层用于计算第一至第N备选答案语义编码特征向量与用户问题语义编码特征向量之间的特征级语义交互。具体来说，它通过计算注意力权重来决定不同特征之间的关注程度，从而将用户问题的语义信息与备选答案的语义信息进行交互。特征间注意力层的计算过程通常包括以下几个步骤：1.输入：用户问题语义编码特征向量和第一至第N备选答案语义编码特征向量。2.计算注意力权重：通过计算用户问题特征向量与每个备选答案特征向量之间的相似度，得到注意力权重向量。这个相似度可以使用不同的方法来计算，如点积、加性注意力等。3.特征交互：将注意力权重与备选答案特征向量进行加权求和，得到第一至第N备选答案-用户问题语义交互特征向量，表示备选答案与用户问题之间的特征级交互。4.输出：得到第一至第N备选答案-用户问题语义交互特征，用于后续的答案排序或其他任务。特征间注意力层的作用是允许模型自动学习不同特征之间的重要性，并根据问题和备选答案的语义信息进行动态的特征交互。这有助于提高模型的表达能力和语义匹配性能，使得模型能够更好地理解问题和答案之间的关系，从而提供更准确的答案匹配结果。

进一步地，再将所述第一至第N备选答案-用户问题语义交互特征向量通过分类器以得到多个概率值。也就是说，利用所述用户问题语义编码特征分别和所述第一至第N备选答案语义特征之间的语义交互关联特征信息来进行分类处理，以此来对于用户问题和每个备选答案之间的语义匹配度进行评估，从而得到多个概率值。进而，基于所述多个概率值与预定阈值之间的比较，返回备选答案集，通过这样的方式，能够充分理解用户提问意图，并在已知领域问答知识中将输入问题定位到合适的高质量问题与答案，从而解决用户在知识探索中受限于知识面和认知能力产生的障碍。

相应地，如图2所示，所述备选答案集返回模块180，包括：问题-答案语义匹配概率计算单元181，用于将所述第一至第N备选答案-用户问题语义交互特征向量通过分类器以得到多个概率值；以及，备选答案集返回单元182，用于基于所述多个概率值与预定阈值之间的比较，返回备选答案集。

应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。

进一步地，在本申请的技术方案中，所述的基于问题意图理解的限定问答系统，其特征在于，还包括用于对所述包含词嵌入层的问题语义编码器、所述包含词嵌入层的备选答案语义编码器、所述特征间注意力层和所述分类器进行训练的训练模块。

具体地，所述训练模块，包括：训练数据获取单元，用于获取训练数据，所述训练数据包括训练用户输入问题，从所述后台数据库提取训练第一至第N备选答案，以及，所述多个概率值的真实值；训练关键词提取单元，用于对所述训练用户输入问题进行关键词提取以得到多个训练问题关键词，所述多个训练问题关键词包括训练命名实体、训练业务专有名词和训练事务处理操作；训练问题等价示例筛选单元，用于使用问题等价示例筛选器通过语义相似度分析，从业务专家构造的问题等价示例中筛选与所述训练用户输入问题语义相关的训练问题等价示例；训练问题语义编码单元，用于对所述训练问题等价示例进行分词处理后通过所述包含词嵌入层的问题语义编码器中进行语义编码以得到训练用户问题语义编码特征向量；训练备选答案语义编码单元，用于分别对所述训练第一至第N备选答案进行分词处理后通过所述包含词嵌入层的备选答案语义编码器中进行语义编码以得到训练第一至第N备选答案语义编码特征向量；训练问题-备选答案语义交互关联单元，用于使用所述特征间注意力层来分别进行所述训练第一至第N备选答案语义编码特征向量与所述训练用户问题语义编码特征向量之间特征级语义交互以得到训练第一至第N备选答案-用户问题语义交互特征向量；分类损失单元，用于将所述训练第一至第N备选答案-用户问题语义交互特征向量通过所述分类器以得到第一至第N分类损失函数值；以及，模型训练单元，用于以所述第一至第N分类损失函数值的加权和为损失函数值，并通过梯度下降的方向传播来对所述包含词嵌入层的问题语义编码器、所述包含词嵌入层的备选答案语义编码器、所述特征间注意力层和所述分类器进行训练，其中，在所述训练的每次权重矩阵迭代时，对所述训练第一至第N备选答案-用户问题语义交互特征向量中的各个训练备选答案-用户问题语义交互特征向量进行基于类度矩阵正则化的权重空间探索约束优化。

其中，所述分类损失单元，用于：使用所述分类器以如下训练分类公式对所述训练第一至第N备选答案-用户问题语义交互特征向量进行处理以获得训练分类结果，其中，所述训练分类公式为：，其中，/>到/>为权重矩阵，/>到为偏置向量，/>为所述训练第一至第N备选答案-用户问题语义交互特征向量；以及，计算所述训练分类结果与所述真实值之间的交叉熵值作为所述第一至第N分类损失函数值。

特别地，在本申请的技术方案中，所述训练第一至第N备选答案语义编码特征向量表示各个训练备选答案的上下文语义关联特征表达，所述训练用户问题语义编码特征向量表示与训练用户输入问题对应的问题等价示例的上下文语义关联特征表达，由此在使用特征间注意力层分别对所述训练第一至第N备选答案语义编码特征向量和所述训练用户问题语义编码特征向量进行基于注意力机制的特征交互后，所述训练第一至第N备选答案-用户问题语义交互特征向量除了包含所述训练用户问题语义信息和训练备选答案语义信息以外，还包括训练用户问题和训练备选答案之间的语义依赖关系特征，这样，在提升了所述训练第一至第N备选答案-用户问题语义交互特征向量在交叉维度下的语义关联特征表示的同时，也会导致所述训练第一至第N备选答案-用户问题语义交互特征向量在通过分类器进行分类回归时，其在分类结果的概率分布域内的与交叉关联维度的特征分布多样化对应的标签分布富化，从而影响在分类过程中所述分类器的权重矩阵的收敛效果。

基于此，本申请的申请人在将所述训练第一至第N备选答案-用户问题语义交互特征向量通过分类器进行分类时，在每次权重矩阵的迭代时，对所述训练第一至第N备选答案-用户问题语义交互特征向量中的各个训练备选答案-用户问题语义交互特征向量进行基于类度矩阵正则化的权重空间探索约束。

相应地，在一个具体示例中，在所述训练的每次权重矩阵迭代时，以如下优化公式对所述训练第一至第N备选答案-用户问题语义交互特征向量中的各个训练备选答案-用户问题语义交互特征向量进行基于类度矩阵正则化的权重空间探索约束优化以得到多个优化训练备选答案-用户问题语义交互特征向量；其中，所述优化公式为：

其中,是所述训练第一至第N备选答案-用户问题语义交互特征向量中的各个训练备选答案-用户问题语义交互特征向量，/>是所述多个优化训练备选答案-用户问题语义交互特征向量中的各个优化训练备选答案-用户问题语义交互特征向量，且/>为列向量，/>是行向量，/>为可学习的域转移矩阵，例如初始可以设置为上一次迭代的权重矩阵的对角线元素构成的对角矩阵，/>表示上一次迭代的权重矩阵，/>表示迭代后的权重矩阵，/>表示矩阵乘法，/>表示转置操作。

这里，考虑到权重矩阵的权重空间域与所述训练第一至第N备选答案-用户问题语义交互特征向量中的各个训练备选答案-用户问题语义交互特征向量的分类结果的概率分布域之间的域差异（domain gap），通过权重矩阵/>相对于所述训练第一至第N备选答案-用户问题语义交互特征向量中的各个备选答案-用户问题语义交互特征向量/>的类度矩阵正则化表示来作为域间迁移代理（inter-domain transferring agent），来将有价值的标签约束的概率分布转移到权重空间内，从而避免在基于权重空间的分类过程中，富标签化的（rich labeled）概率分布域对于权重空间内的权重分布进行过度探索（over-exploit），提升了权重矩阵的收敛效果，也就提升了所述训练第一至第N备选答案-用户问题语义交互特征向量在通过分类器进行分类回归时的训练效果。这样，能够对于用户输入问题的问题等价示例和各个备选答案的语义关联进行匹配，以此来返回用户问题的相关答案，通过这样的方式，能够充分理解用户提问意图，并在已知领域问答知识中将输入问题定位到合适的高质量问题与答案，从而解决用户在知识探索中受限于知识面和认知能力产生的障碍。

综上，基于本申请实施例的基于问题意图理解的限定问答系统100被阐明，其可以解决用户在知识探索中受限于知识面和认知能力产生的障碍。

如上所述，根据本申请实施例的基于本申请实施例的基于问题意图理解的限定问答系统100可以实现在各种终端设备中，例如具有基于本申请实施例的基于问题意图理解的限定问答算法的服务器等。在一个示例中，基于本申请实施例的基于问题意图理解的限定问答系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的基于问题意图理解的限定问答系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的基于问题意图理解的限定问答系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于本申请实施例的基于问题意图理解的限定问答系统100与该终端设备也可以是分立的设备，并且该基于问题意图理解的限定问答系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图3为根据本申请实施例的基于问题意图理解的限定问答方法的流程图。图4为根据本申请实施例的基于问题意图理解的限定问答方法的系统架构的示意图。如图3和图4所示，根据本申请实施例的基于问题意图理解的限定问答方法，其包括：S110，获取用户输入问题；S120，对所述用户输入问题进行关键词提取以得到多个问题关键词，所述多个问题关键词包括命名实体、业务专有名词和事务处理操作；S130，使用问题等价示例筛选器通过语义相似度分析，从业务专家构造的问题等价示例中筛选与所述用户输入问题语义相关的问题等价示例；S140，对所述问题等价示例进行语义编码以得到用户问题语义编码特征向量；S150，从后台数据库提取第一至第N备选答案；S160，分别对所述第一至第N备选答案进行语义编码以得到第一至第N备选答案语义编码特征向量；S170，对所述用户问题语义编码特征向量和所述第一至第N备选答案语义编码特征向量进行语义交互关联匹配以得到第一至第N备选答案-用户问题语义交互特征；以及，S180，基于所述第一至第N备选答案-用户问题语义交互特征，确定多个概率值，并返回备选答案集。

这里，本领域技术人员可以理解，上述基于问题意图理解的限定问答方法中的各个步骤的具体操作已经在上面参考图1到图2的基于问题意图理解的限定问答系统100的描述中得到了详细介绍，并因此，将省略其重复描述。

图5为根据本申请实施例的基于问题意图理解的限定问答系统的应用场景图。如图5所示，在该应用场景中，首先，获取用户输入问题（例如，图5中所示意的D1），以及，从后台数据库提取第一至第N备选答案（例如，图5中所示意的D2），然后，将所述用户输入问题和所述第一至第N备选答案输入至部署有基于问题意图理解的限定问答算法的服务器中（例如，图5中所示意的S），其中，所述服务器能够使用所述基于问题意图理解的限定问答算法对所述用户输入问题和所述第一至第N备选答案进行处理以得到多个概率值，然后，基于所述多个概率值与预定阈值之间的比较，返回备选答案集。

进一步地，在本申请的另一个实施例中，还提供了一种基于问题意图理解的限定域问答系统，所述系统包括问题预处理模块、问题等价示例筛选器、问题语义匹配模块、关键字检索模块、问答-答案归并模块、问答-答案指标评估模块和问答结果输出处理模块。所述问题预处理模块在收到用户的提问请求后，抽取输入问题中的命名实体、业务专有名词和事务处理操作等关键字；所述关键字检索模块在收到系统的关键字检索请求后，通过全文检索工具在高质量问答数据集中检索与输入问题关键字匹配的问答对；所述问题等价示例筛选器在收到系统的问题语义匹配请求后，通过语义相似度分析，从业务专家构造的问题等价示例中筛选与输入问题相关的示例；

可选的，根据领域问题的实际情况，通过最大边际相关性分析筛选问题等价示例中与输入问题语义相关的示例；最大边际相关性分析不保证筛选到的问题等价示例与输入问题在语义上的余弦相似度距离绝对相近，而是相对相近，执行过程的截断条件是达到规定的示例筛选数量。

可选的，根据领域问题的实际情况，通过NGram重叠评分方法筛选问题等价示例中与输入问题语义重叠得分相对高的示例；NGram重叠评分方法不保证筛选到的问题等价示例与输入问题在语义上的NGram重叠得分据对较高，而是在整个示例数据集中相对较高。

所述问题语义匹配模块在收到用户的提问请求后，根据筛选后的问题等价示例，让大语言模型执行从限定域的高质量问答数据集中获取与输入问题语义等价的问答对的指令任务；所述问答-答案归并模块在收到系统的处理结果合并请求后，将语义匹配与关键字匹配获得的问答对合并，让大语言模型基于每个高质量问答对的答案回复输入问题，形成输入问题的候选答案集合；所述问答-答案指标评估模块在收到系统的处理结果评估请求后，按照预设的权值计算问题答案联合分布置信度、语义流畅度指标和语义一致性这三个评估指标的综合评估结果；所述问答结果输出处理模块在收到系统的处理结果呈现请求后，根据按照实际情况预设的置信度阈值，对指标评估结果进行可信判定：低于阈值的问题-答案标记为不可信，高于阈值的标记为可信。可信的问题答案按照指标评估分数由高到低的排序进行输出。

本申请与现有技术相对比 ，具有以下优点 ：(1)本系统能够充分理解用户提问的意图，一方面通过传统自然语言处理的分词、命名实体识别、关键字全文搜索等方法实现问题搜索，另一方面通过大语言模型的阅读理解、语义关系推理、问答知识推理等方法实现问题定位；(2)本系统能够将输入问题定位到合适的高质量问题与答案，并让大语言模型基于每个高质量问答对生成可靠的回答；(3)本系统能够对基于过往领域知识生成的答案进行综合指标评估，保证用户获得的最终回答具备较高的可靠性与相关性。

为了进一步说明本发明，下面给出所述限定域问答系统中涉及的名词解释：(1)大语言模型是指由大量文本数据进行训练的神经网络模型，用于处理和生成自然语言文本。这些模型通常采用深度学习的方法，如循环神经网络（RNN）或变换器（Transformer）来建模语言的统计规律和语义关系。(2)Prompt Tuning是指在对话系统中对用户输入的问题或指令的理解和处理进行调整和优化的过程。(3)Prompt Tuning 对大语言模型的微调是指对已经训练好的大型语言模型进行进一步优化以适应特定任务或应用过程。在PromptTuning中，通常会选择一组适当的提示（prompts）或样本作为输入数据，并通过在该数据上进行训练来微调模型。这些提示可以是任务相关的问题、指令或示例，用于引导模型在特定任务上的推理和生成。

参考图6所示流程，所述限定域问答系统的具体执行流程如下：

步骤10：问题预处理模块执行，获取输入问题中的命名实体、业务专有名词和事务处理操作等关键字。在此步骤中，具体的，问题预处理模块使用中文分词工具对输入问题进行分词处理，将问题拆分为中文词的序列，并使用词性标注工具为每个词标注词性，以便后续的关键字识别。

进一步的，问题预处理模块通过使用已有的医疗领域词典或医疗知识图谱，提取出医疗领域的命名实体和业务专有名词。例如，可以使用医学术语词典、药品名词典、疾病词典等辅助进行匹配和抽取。

可选的，针对医疗领域特定的事务处理操作（如就诊预约、药物咨询等），可以使用规则匹配或基于机器学习的方法来识别关键字。例如，可以构建一些规则来识别与就诊预约相关的关键词，或者使用训练好的分类器来判断问题是否与特定事务处理操作相关。

步骤20：关键字检索模块执行，通过全文检索工具在高质量问答数据集中检索与输入问题关键字匹配的问答对。

步骤30：问题等价示例筛选器执行，通过语义相似度分析，从业务专家构造的问题等价示例中筛选与输入问题相关的示例。

参考图7，所述的问题等价示例筛选器的功能通过以下步骤实现：

步骤31：根据问题等价示例数据集的规模和限定域问题的实际情况，用户设定适用的语义相似度分析方法进行问题等价示例筛选。

可选的，步骤32：通过最大边际相关性评估方法筛选与输入问题最相似的示例组合。

具体的，步骤32所述的最大边际相关性评估方法具体包括：步骤321：使用预训练语言模型将输入问题与每个示例都转换为嵌入向量；步骤322：计算输入问题与每个示例向量之间的余弦相似度，找出最大余弦相似度的示例，并将其从候选示例列表转移到已选示例列表；步骤323：对于剩余的候选示例，计算它们与已选示例之间的余弦相似度，并根据与已选示例的接近程度进行惩罚，接近程度越高，惩罚越大。选择与输入相似度最大且惩罚最小的示例，并将其添加到已选示例列表中；步骤324：重复步骤323，直到筛选出所需数量的示例组合。最大边际相关性分析不保证筛选到的问题等价示例与输入问题在语义上的余弦相似度距离绝对相近，而是相对相近，执行过程的截断条件是达到规定的示例筛选数量。

可选的，步骤33：通过NGram重叠评分方法筛选与输入问题最相似的示例组合。具体的，步骤33所述的NGram重叠评分方法具体包括：步骤331：计算每个示例与输入问题之间的NGram重叠分数，衡量示例和输入问题之间共享的NGram数量；步骤332：排除重叠分数小于或等于阈值的示例，并根据重叠分数从大到小对示例进行排序。NGram重叠评分方法不保证筛选到的问题等价示例与输入问题在语义上的NGram重叠得分据对较高，而是在整个示例数据集中相对较高。

步骤40：问题语义匹配模块执行，根据筛选后的问题等价示例，让大语言模型执行从限定域的高质量问答数据集中获取与输入问题语义等价的问答对的指令任务。

参考图8，所述问题语义匹配模块的处理过程包括：系统将输入问题和领域高质量问答数据集作为输入传递给大语言模型。模型将输入问题和领域高质量问答数据集分别编码为嵌入向量，以便能够对它们进行语义匹配。

在Prompt中，示例是与输入问题相关的问题等价示例，用于指导模型生成满足预期的回答。模型也会将问题等价示例一起编码为嵌入向量。

在Prompt中，指令起到了指导模型执行任务的作用。指令指示模型从限定域的高质量问答数据集中获取与输入问题语义等价的问答对的任务。模型使用指令对编码后的输入问题和示例向量进行注意力操作，以引导模型关注与任务相关的信息。

最后，模型从限定域问答对数据选择与输入问题语义等价的问答对，并将该问答对作为任务执行的结果输出返回给用户。

步骤50：问答-答案归并模块执行，将语义匹配与关键字匹配获得的问答对合并，让大语言模型基于每个高质量问答对的答案回复输入问题，形成输入问题的候选答案集合。

步骤60：问答-答案指标评估模块执行，利用大语言模型给出输入问题与候选答案的联合概率分布的置信度、流畅度指标和语义一致性指标的评估结果。按照预设的权值计算三个评估指标的综合评估结果。

参考图9，所述问答-答案指标评估模块的处理过程包括：步骤61：根据限定域问题的实际情况，用户为反映语义相关性、语义流畅性和语义一致性的三个评估指标设定合适的权值；步骤62：获得输入问题在大语言模型的生成概率P(A)，合并后的句子在大语言模型中的生成概率P(AB)，那么给定输入问题的情况下，候选答案的置信度为：P(B|A)=P(AB)/P(A)；步骤63：给出一般性的语义流畅度与语义一致性的评估项与评估标准，具体包括评估项，评分原则，分数区间，得分示例；步骤64：将输入问题与候选答案作为输入，由大语言模型按照评估标准进行语义流畅度与语义一致性的指标打分；步骤65：根据限定域问题的实际情况，用户为反映语义相关性、语义流畅性和语义一致性的三个评估指标设定合适的权重；步骤66：归一化每一组输入问题与候选答案的组合三项指标的评估结果，并计算在加权后的指标评估分数。

问答-答案指标评估模块的处理结果作为问答结果输出处理模块的输入。

步骤70：问答结果输出处理模块执行，根据实际需求设定的置信度阈值，对指标评估结果进行可信判定：低于阈值的问题-答案标记为不可信，高于阈值的标记为可信。可信的问题答案按照指标评估分数由高到低的排序进行输出。

本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (6)

1.一种基于问题意图理解的限定问答系统，其特征在于，包括：

问题输入模块，用于获取用户输入问题；

关键词提取模块，用于对所述用户输入问题进行关键词提取以得到多个问题关键词，所述多个问题关键词包括命名实体、业务专有名词和事务处理操作；

问题等价示例筛选模块，用于使用问题等价示例筛选器通过语义相似度分析，从业务专家构造的问题等价示例中筛选与用户输入问题语义相关的问题等价示例；

问题等价示例语义理解模块，用于对所述问题等价示例进行语义编码以得到用户问题语义编码特征向量；

备选答案提取模块，用于从后台数据库提取第一至第N备选答案；

备选答案语义理解模块，用于分别对所述第一至第N备选答案进行语义编码以得到第一至第N备选答案语义编码特征向量；

问题-答案语义关联匹配模块，用于对所述用户问题语义编码特征向量和所述第一至第N备选答案语义编码特征向量进行语义交互关联匹配以得到第一至第N备选答案-用户问题语义交互特征；

以及备选答案集返回模块，用于基于所述第一至第N备选答案-用户问题语义交互特征，确定多个概率值，并返回备选答案集；

所述系统还包括用于对包含词嵌入层的问题语义编码器、包含词嵌入层的备选答案语义编码器、特征间注意力层和分类器进行训练的训练模块；

所述训练模块，包括：

训练数据获取单元，用于获取训练数据，所述训练数据包括训练用户输入问题，从所述后台数据库提取训练第一至第N备选答案，以及，所述多个概率值的真实值；

训练关键词提取单元，用于对所述训练用户输入问题进行关键词提取以得到多个训练问题关键词，所述多个训练问题关键词包括训练命名实体、训练业务专有名词和训练事务处理操作；

训练问题等价示例筛选单元，用于使用问题等价示例筛选器通过语义相似度分析，从业务专家构造的问题等价示例中筛选与所述训练用户输入问题语义相关的训练问题等价示例；

训练问题语义编码单元，用于对所述训练问题等价示例进行分词处理后通过所述包含词嵌入层的问题语义编码器中进行语义编码以得到训练用户问题语义编码特征向量；

训练备选答案语义编码单元，用于分别对所述训练第一至第N备选答案进行分词处理后通过所述包含词嵌入层的备选答案语义编码器中进行语义编码以得到训练第一至第N备选答案语义编码特征向量；

训练问题-备选答案语义交互关联单元，用于使用所述特征间注意力层来分别进行所述训练第一至第N备选答案语义编码特征向量与所述训练用户问题语义编码特征向量之间特征级语义交互以得到训练第一至第N备选答案-用户问题语义交互特征向量；

分类损失单元，用于将所述训练第一至第N备选答案-用户问题语义交互特征向量通过所述分类器以得到第一至第N分类损失函数值；

以及模型训练单元，用于以所述第一至第N分类损失函数值的加权和为损失函数值，并通过梯度下降的方向传播来对所述包含词嵌入层的问题语义编码器、所述包含词嵌入层的备选答案语义编码器、所述特征间注意力层和所述分类器进行训练，其中，在所述训练的每次权重矩阵迭代时，对所述训练第一至第N备选答案-用户问题语义交互特征向量中的各个训练备选答案-用户问题语义交互特征向量进行基于类度矩阵正则化的权重空间探索约束优化；

在所述训练的每次权重矩阵迭代时，以如下优化公式对所述训练第一至第N备选答案-用户问题语义交互特征向量中的各个训练备选答案-用户问题语义交互特征向量进行基于类度矩阵正则化的权重空间探索约束优化以得到多个优化训练备选答案-用户问题语义交互特征向量；

其中，所述优化公式为：

；

；

其中,是所述训练第一至第N备选答案-用户问题语义交互特征向量中的各个训练备选答案-用户问题语义交互特征向量，/>是所述多个优化训练备选答案-用户问题语义交互特征向量中的各个优化训练备选答案-用户问题语义交互特征向量，且/>为列向量，/>是行向量，/>为可学习的域转移矩阵，/>表示上一次迭代的权重矩阵，/>表示迭代后的权重矩阵，/>表示矩阵乘法，/>表示转置操作。

2.根据权利要求1所述的基于问题意图理解的限定问答系统，其特征在于，所述问题等价示例语义理解模块，用于：

对所述问题等价示例进行分词处理后通过包含词嵌入层的问题语义编码器中进行语义编码以得到所述用户问题语义编码特征向量。

3.根据权利要求2所述的基于问题意图理解的限定问答系统，其特征在于，所述备选答案语义理解模块，用于：

分别对所述第一至第N备选答案进行分词处理后通过包含词嵌入层的备选答案语义编码器中进行语义编码以得到所述第一至第N备选答案语义编码特征向量。

4.根据权利要求3所述的基于问题意图理解的限定问答系统，其特征在于，所述问题-答案语义关联匹配模块，用于：

使用特征间注意力层来分别进行所述第一至第N备选答案语义编码特征向量与所述用户问题语义编码特征向量之间特征级语义交互以得到第一至第N备选答案-用户问题语义交互特征向量作为所述第一至第N备选答案-用户问题语义交互特征。

5.根据权利要求4所述的基于问题意图理解的限定问答系统，其特征在于，所述备选答案集返回模块，包括：

问题-答案语义匹配概率计算单元，用于将所述第一至第N备选答案-用户问题语义交互特征向量通过分类器以得到多个概率值；

以及备选答案集返回单元，用于基于所述多个概率值与预定阈值之间的比较，返回备选答案集。

6.根据权利要求5所述的基于问题意图理解的限定问答系统，其特征在于，所述分类损失单元，用于：

使用所述分类器以如下训练分类公式对所述训练第一至第N备选答案-用户问题语义交互特征向量进行处理以获得训练分类结果，其中，所述训练分类公式为：，其中，/>到/>为权重矩阵，/>到/>为偏置向量，/>为所述训练第一至第N备选答案-用户问题语义交互特征向量；以及，计算所述训练分类结果与所述真实值之间的交叉熵值作为所述第一至第N分类损失函数值。