CN111753054B - 一种基于图神经网络的机器阅读推断方法 - Google Patents

Abstract

本发明提出了一种基于图神经网络的机器阅读推断方法，总体流程为，首先通过神经网络的二次训练获得命题判定、实体识别和实体链指模块，然后分别结合信息抽取模块和极性判别模块，获取阅读材料中的事实逻辑关系图和待推断命题中的实体、极性信息，之后将事实逻辑关系图，联合环境知识图谱一同输入到经过二次训练的图神经网络中得到最终的实体逻辑关系图，最后使用贝叶斯网络获得推理结论和推理路线图。本发明首次将图神经网络应用于机器阅读推断，在关系推理的基础上，进一步赋予了机器逻辑推理的能力，实现了自动化的案件推理过程，在刑事侦破、机器问答等领域有重要使用价值。

Description

一种基于图神经网络的机器阅读推断方法

技术领域

本发明涉及人工智能领域，尤其涉及人工智能机器推理领域。

背景技术

目前已经出现了一些应用人工智能技术辅助刑事侦破的研究，但主要集中在犯罪嫌疑人辨识等边缘工作方面，对于刑事侦破的核心——案件推理则鲜有涉及。除此以外，在智能问答机器人领域，当前的文档问答机器人只能回答一些在原文中能够直接找到答案的问题，对于需要运用推理过程的问题也缺少处理能力。

专利《基于机器阅读理解的智能问答系统》(公开号CN110334184A)提出了一种基于注意力的端到端的阅读理解算法，可以从原文中查找问题的答案，但不能处理推理性的问题。专利《一种基于语义解析和SMT求解的阅读理解题求解方法》(公开号CN108829666A)提出了一种通过语义解析和一阶逻辑推理的两步法求解阅读理解问题的模型，模型的答案必须存在于原文中。专利《一种基于动态知识表示学习的案件推理方法》(公开号CN110956254A)使用基于循环神经网络的关系推理模型在构建的知识图谱上查找嫌疑人，具备关系推理能力，但无法进行逻辑推理。专利《一种临床诊断辅助决策系统和医学知识图谱积累方式》(公开号CN109686443A)使用逻辑学公式在医学知识图谱上进行逻辑推理实现临床诊断，无法处理同时包含命题逻辑和实体关系的复杂推理问题。为了缓解当前刑侦工作中存在的压力，本发明实现自动化的案件推理和具有复杂问题推理能力的阅读推理问答系统，

发明内容

本发明提供了一种基于图神经网络的机器阅读推断方法，可以缓解当前刑侦工作中存在的压力，实现自动化的案件推理和具有复杂问题推理能力的阅读推理问答系统。

本发明为实现上述目的，通过以下技术方案实现：

一种基于图神经网络的机器阅读推断方法，包括以下步骤：

1)构建由逻辑命题和普通语句组成的数据集，手动对该数据集进行标注为“正命题”、“负命题”或“非命题”；

2)使用在语料库上预训练的神经网络在该数据集上进行文本分类的二次训练，参数微调之后得到命题判定模块，将该模块固化到内存中用于推断文本片段中每句话的命题属性；

3)构建刑侦实体识别数据集和实体链指数据集，并进行序列标注和文本分类的二次训练，得到实体识别模块和实体链指模块；

4)使用基于CRF序列标注模型的信息抽取模块对阅读材料中的语料进行事实单元的抽取，同时使用命题判定模块对事实单元之间的逻辑关系进行命题判定；

5)通过实体识别模块和实体链指模块识别待推断命题中的实体，将实体和待推断命题作为两段短文本输入到极性判别模块中，得到该实体在命题中对应的极性，正类表示与阅读材料中的实体属性相同，负类表示与阅读材料中的实体属性相反；

6)由信息抽取模块抽取出的事实单元及其关系构成了事实单元总体关联图，涵盖了阅读材料中的全部事实及关系，并存储于图形数据库neo4j中；

7)使用Cypher查询语言从待推断命题中的实体词开始，按照图连接关系递归地从图形数据库neo4j中检索与事实单元A相关联的事实单元B，逐一地将其取出，得到与待推断命题有相关关系的事实单元关联子图sub-Facts Graph；

8)sub-Facts Graph的各个节点由事实单元构成，节点间的连接线包含逻辑关系，通过预训练的字嵌入矩阵将事实单元中的每个字符嵌入到Rⁿ中，图中的每个节点可以表示成一个特征矩阵X_m，n，m表示序列长度；建立一个现场环境知识图谱，由勘察现场中发现的实体和实体关系构成；

9)利用基于注意力的循环双图卷积网络，同时使用事实单元关联子图sub-FactsGraph和实体关系图进行命题推断；所述基于注意力的循环双图卷积网络包括特征编码阶段和特征解码阶段；

9-1)特征编码阶段将每一节点的特征进行变换、聚合和激活，使用注意力矩阵为聚合过程加权，特征变换公式如下：

其中，A为sub-Facts Graph中节点的邻接矩阵，其元素取值为0或1，表征各个节点间的连接关系，B为与A形状相同的矩阵，称为“逻辑矩阵”，其元素取值为-1或1，表征各个节点间的逻辑关系，环境知识图谱的特征用G_know表示，图神经网络推理的目的是获得一个特征集合S和实体逻辑图G，该特征集合S包含了从已有信息中可以得出的全部嫌疑人侧写特征，

表示第i个节点、第k步、第t层的隐藏特征，f为激活函数，使用gelu函数进行激活，α(X，Y)为注意力函数，用于计算两特征矩阵之间的相关程度，

为二元连接符，表示将两个特征矩阵按列拼接成一个特征矩阵，W为参数矩阵，经过多层Transformer编码网络的非线性变换，可以得到融合了事实逻辑信息和实体关系信息的特征张量；

9-2)特征解码阶段是将编码阶段生成的特征张量T，在侧写特征F的监督下，转化为生成字符串的概率分布值，最终生成目标特征的推测值；

其生成过程可以由如下公式表示：

Y_F＝g(α(T，F)WT+b)i＝1，2，...

这里Y_F即为模型对特征F的预测值，g为解码函数；

10)实体逻辑图由环境知识图谱和事实单元关联子图sub-Facts Graph融合而成，使用预训练的嵌入矩阵将节点向量化，对特征张量做交互注意力得到两张图之间的相关度张量，使用sigmoid二值分类器决定是否保留节点，将实体、实体关系、实体相关事实、事实命题绘制到一张实体逻辑图G上；

11)根据实体逻辑图G建立一个贝叶斯网络推理器P，给定随机变量的取值，根据贝叶斯公式可以计算产生此结果的后验概率：

将侧写特征F的取值Y_F作为参数输入到贝叶斯网络中，遍历网络中的各个可行路径，使P(Y_F)的取值最大，得到完整的推理路线。

所述步骤9)中基于注意力的循环双图卷积网络包括特征编码阶段和特征解码阶段；

1)特征编码阶段将每一节点的特征进行变换、聚合和激活，使用注意力矩阵为聚合过程加权，特征变换公式如下：

其中，A为sub-Facts Graph中节点的邻接矩阵，其元素取值为0或1，表征各个节点间的连接关系，B为与A形状相同的矩阵，称为“逻辑矩阵”，其元素取值为-1或1，表征各个节点间的逻辑关系，环境知识图谱的特征用G_know表示，图神经网络推理的目的是获得一个特征集合S和实体逻辑图G，该集合包含了从已有信息中可以得出的全部嫌疑人侧写特征，

表示第i个节点、第k步、第t层的隐藏特征，f为激活函数，使用gelu函数进行激活，α(X，Y)为注意力函数，用于计算两特征矩阵之间的相关程度，

为二元连接符，表示将两个特征矩阵按列拼接成一个特征矩阵，W为参数矩阵，经过多层Transformer编码网络的非线性变换，可以得到融合了事实逻辑信息和实体关系信息的特征张量；

2)特征解码阶段是将编码阶段生成的特征张量T，在侧写特征F的监督下，转化为生成字符串的概率分布值，最终生成目标特征的推测值；

其生成过程可以由如下公式表示：

Y_F＝g(α(T，F)WT+b)i＝1，2，...

这里Y_F即为模型对特征F的预测值，g为解码函数。

优选的，所述步骤1)中每条数据集加标签类型的字符长度不超过256字符。

优选的，所述步骤2)中语料库采用BERT模型。

本发明的优点在于：本专利提出的方法具备复杂逻辑推理和外部答案生成能力，与抽取式阅读理解问答方案不同，本发明提出了基于双图的生成式问答方案，因此可以回答不能直接从阅读材料中找到答案的问题。基于实体逻辑知识图和模型预测的嫌疑人侧写特征，本发明可以实现刑事案件中犯罪过程的推理再现。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1是根据本发明中提出的机器阅读推断模型进行事实推断的总流程。

图2是事实单元逻辑关联子图的案例图示。

图3是现场环境知识图谱的案例图示。

图4是实体逻辑关系图的案例图示。

具体实施方式

为了更加清晰地解释本发明的方案构成，这里结合附图对本发明中所提出的方法进行详细阐述和实例化说明。

1)参照图1，示出了本发明中阅读推断模型的总体架构。本发明主要通过三个功能的实现来完成机器代替人的刑事破案工作：a)使机器具备从刑事侦查案件的历史卷宗中学习侦探推理理论的能力；b)基于机器学习到的理论知识和现场的环境勘察结果，让机器自动推断犯罪嫌疑人的体貌等相关身份特征；c)让机器基于理论知识、现场信息和嫌疑人体貌特征重现整个犯罪过程。每个功能的实现依赖于若干技术模块，下面分步说明。

2)为了让机器能够从历史卷宗中学习理论知识，首先需要人为标注一部分数据，然后使用监督学习的方法，训练机器自动对文本进行命题判定。逻辑命题数据集的内容来源于案件推理记录，如“吵架会造成感情不和(正命题)”等等。

3)使用BERT等大规模语料库预训练的网络参数对命题判定模块的网络参数进行初始化，然后使用人工标注的少量数据训练微调即可获得比较好的效果。完成训练之后，机器就会自动地对语料库中的文本进行分析，判定命题的逻辑属性。

4)阅读材料主要是一些断案的经验记载，使用CRF序列标注模型作为信息抽取模块的主要模型，对阅读材料中的语料进行事实单元的抽取。同时使用训练好的命题判定模块对事实单元之间的逻辑关系进行命题判定。这样机器就自动地从阅读材料中抽取出了全部的事实命题三元组，这些三元组就是机器进行逻辑推理的基础理论知识。

5)将这些事实单元逻辑三元组绘制成有向图就得到了事实单元逻辑关联总图，这张图中包含了全部的推理知识，除了与我们关心的案件相关的，还有大量的冗余知识。为了减轻数据处理的压力，需要利用待推断命题中的信息，对该图进行相关片段的截取。

6)基于BERT等预训练模型，在实体识别和实体链指数据集上进行二次训练微调可以得到实体识别和实体链指模块。图1中的待推断的命题指的是当前的案件描述，极性判别模块为基于BERT的文本对二分类模型。通过实体识别和实体链指模块提取出待推断命题中的实体后，将实体以及命题中包含实体的语句作为两段短文本输入到极性判别模块中，就可以得到该实体在命题中对应的极性。

7)从命题中包含的实体开始，按照事实单元逻辑关联总图中的连接关系，递归地将其中与命题有关联的事实单元和逻辑关系截取出来，构成包含命题实体的事实单元子图。图2就是这种子图的一个示例，其中包含了与给定的案件相关的全部逻辑命题。例如关系(“事实单元A：西餐刀”，“事实关系：否”，“事实单元B：放置在卫生间”)，说明正常情况下，西餐刀是不会放置在卫生间的，卫生间里的西餐刀就很有可能是行凶的凶器。

8)参照图3，示出了案件现场环境勘察的知识图谱。知识图谱中包含了案件描述中涉及的全部实体和实体关系，如“开关盒；下方；血迹”、“水池；有；西餐刀”，这些对现场调查之后的结构化的记录是机器进行自动案情推断的基础。

9)将事实单元子图和环境知识图中的节点字符串进行向量化，事实单元的字符串长度L_事固定为32，环境知识图中实体的字符串长度L_野固定为8，长度不足的使用<PAD>字段填充，超过的部分进行截断。假设字符向量的维度为n，每个事实单元和环境节点可以分别被表示成特征矩阵

和

10)使用公式(1)对事实单元子图和环境知识图进行初步编码，其中G_know就是这里的

初步编码后使用Transformer结构进一步编码，使得每个节点充分保留周边节点的上下文信息。与现场实体有关的事实单元子图和环境知识库被编码后成为具有形状[C，K_事，L_事+L_野，n]的高阶张量T,这里的K_事表示事实单元子图的节点总数，C表示频道数，类似于卷积网络中的卷积核数目。

11)使用公式(2)对张量T进行解码，设定需要推断的特征名称F，解码函数会逐字预测该特征的具体内容，生成一串文字或数字描述。以图2和图3中的数据为例，将图中的数据使用图神经网络编码之后，设定需要推断的特征为“嫌疑人健康状况”，将该名称F与编码之后的特征张量T一起输入到解码公式(2)中，模型会输出类似“嫌疑人右手掌心与手腕相交处有外伤，伤口较大”的预测结果。

12)以图2和图3中的数据为例，参照图4，示出了由事实单元逻辑子图和环境知识图谱融合而成的实体逻辑图。融合主要基于两张图的节点两两之间进行矩阵相乘得到的注意力矩阵，将注意力矩阵展平成一维向量，然后使用全连接网络对其进行二分类，根据分类结果决定是否保留该节点。在保留的事实单元和与之有直接关联的环境实体之间建立双向连接，最终形成实体逻辑图G。

13)对于G中的每一条连通路径r，使用公式(3)计算特征取值Y_F的后验概率，这个概率可以表示为P(Y_F，r)，其中Y_F是已知量，r是待估参数。取

其中R表示r的取值范围，也就是所有可能的推理路径。r^*就是我们所要求解的犯罪嫌疑人的犯罪过程。以图4中的数据为例，根据犯罪嫌疑人的健康特征“嫌疑人右手掌心与手腕相交处有外伤，伤口较大”，可以得出这样的犯罪路线：“案犯”→“207室”→“西餐刀行刺”→“掌心与手腕交接处被划伤”→“放置在卫生间”→“按开关”→“低落的血迹”。根据重现的犯罪过程和嫌疑人体貌特征就可以实施抓捕。

本发明的应用场景包括但不限于刑事侦破、文档问答、刑侦推理、流程自动化等人工智能产品。本发明的具体实施步骤中详细说明了在相关产品中如何应用本方法实现机器自动逻辑推理。实施步骤中的流程图和数据实例，只用于阐述本发明的原理、结构和过程，相关领域技术人员在参考本发明时，应考虑到与本发明具有类似原理、结构和过程的其他方案。本发明中所展示的案例仅为方便相关技术人员的理解，并不用以限制本发明，凡是与本发明具有类似结构的实现方案，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于图神经网络的机器阅读推断方法，其特征在于，包括以下步骤：

1）构建由逻辑命题和普通语句组成的数据集，手动对该数据集进行标注为“正命题”、“负命题”或“非命题”；

2）使用在语料库上预训练的神经网络在该数据集上进行文本分类的二次训练，参数微调之后得到命题判定模块，将该模块固化到内存中用于推断文本片段中每句话的命题属性；

3）构建刑侦实体识别数据集和实体链指数据集，并进行序列标注和文本分类的二次训练，得到实体识别模块和实体链指模块；

4）使用基于CRF序列标注模型的信息抽取模块对阅读材料中的语料进行事实单元的抽取，同时使用命题判定模块对事实单元之间的逻辑关系进行命题判定；

5）通过实体识别模块和实体链指模块识别待推断命题中的实体，将实体和待推断命题作为两段短文本输入到极性判别模块中，得到该实体在命题中对应的极性，正类表示与阅读材料中的实体属性相同，负类表示与阅读材料中的实体属性相反；

6）由信息抽取模块抽取出的事实单元及其关系构成了事实单元总体关联图，涵盖了阅读材料中的全部事实及关系，并存储于图形数据库neo4j中；

7）使用Cypher查询语言从待推断命题中的实体词开始，按照图连接关系递归地从图形数据库neo4j中检索与事实单元A相关联的事实单元B，逐一地将其取出，得到与待推断命题有相关关系的事实单元关联子图sub-Facts Graph；

8）sub-Facts Graph的各个节点由事实单元构成，节点间的连接线包含逻辑关系，通过预训练的字嵌入矩阵将事实单元中的每个字符嵌入到

中，图中的每个节点表示成一个特征矩阵

，

表示序列长度；建立一个现场环境知识图谱，由勘察现场中发现的实体和实体关系构成；

9）利用基于注意力的循环双图卷积网络，同时使用事实单元关联子图sub-FactsGraph和现场环境知识图谱进行命题推断；所述基于注意力的循环双图卷积网络包括特征编码阶段和特征解码阶段；

9-1）特征编码阶段将每一节点的特征进行变换、聚合和激活，使用注意力矩阵为聚合过程加权，特征变换公式如下：

其中，

为sub-Facts Graph中节点的邻接矩阵，其元素取值为0或1，表征各个节点间的连接关系，

为与

形状相同的矩阵，称为“逻辑矩阵”，其元素取值为-1或1，表征各个节点间的逻辑关系，环境知识图谱的特征用

表示，图神经网络推理的目的是获得一个特征集合

和实体逻辑图G，该特征集合S包含了从已有信息中得出的全部嫌疑人侧写特征，

表示第

个节点、第

步、第

层的隐藏特征，

为激活函数，使用gelu函数进行激活，

为注意力函数，用于计算两特征矩阵之间的相关程度，

为二元连接符，表示将两个特征矩阵按列拼接成一个特征矩阵，

为参数矩阵，经过多层Transformer编码网络的非线性变换，得到融合了事实逻辑信息和实体关系信息的特征张量；

9-2）特征解码阶段是将编码阶段生成的特征张量T，在侧写特征F的监督下，转化为生成字符串的概率分布值，最终生成目标特征的推测值；

其生成过程由如下公式表示：

这里

即为模型对特征F的预测值，

为解码函数；

10）实体逻辑图由环境知识图谱和事实单元关联子图sub-Facts Graph融合而成，使用预训练的嵌入矩阵将节点向量化，对特征张量做交互注意力得到两张图之间的相关度张量，使用sigmoid二值分类器决定是否保留节点，将实体、实体关系、实体相关事实、事实命题绘制到一张实体逻辑图G上；

11）根据实体逻辑图G建立一个贝叶斯网络推理器P，给定随机变量的取值，根据贝叶斯公式计算产生此结果的后验概率：

将侧写特征F的取值

作为参数输入到贝叶斯网络中，遍历网络中的各个可行路径，使

的取值最大，得到完整的推理路线。

2.根据权利要求1所述的基于图神经网络的机器阅读推断方法，其特征在于，所述步骤1）中每条数据集加标签类型的字符长度不超过256字符。

3.根据权利要求1所述的基于图神经网络的机器阅读推断方法，其特征在于，所述步骤2）中语料库采用BERT模型。

Images