CN111858940A - 一种基于多头注意力的法律案例相似度计算方法及系统 - Google Patents

Abstract

一种基于多头注意力的法律案例相似度计算方法，该方法包括：1)将待计算相似度的两个案例的案情描述输入案例法律关系识别模型，分别抽取两个案例中的法律关系形成的三元组，所述三元组中包含头实体、关系和尾实体，并依据所述三元组构建案情知识图谱；2)通过多头注意力机制将所述案情知识图谱转化为向量化表示；3)将所述案情的向量化表示输入深度案情感知模型，获取两个案例的相似度。本申请的技术方案，能够通过计算相似度，提升法律中类案检索和类案推荐等应用场景的准确度。

Description

一种基于多头注意力的法律案例相似度计算方法及系统

技术领域

本发明涉及一种基于多头注意力的法律案例相似度计算方法，具体涉及一种基于多头注意力的法律案例相似度计算方法，属于文本识别技术领域；本发明还涉及一种基于多头注意力的法律案例相似度计算系统。

背景技术

作为成文法国家，法院裁判依照法律条文而非先例，但民众朴素的法治情感要求“类案同判”，尤其是同一法院在较短时间内出现“类案不同判”对司法公信力影响极大，因此研究案例相似度计算以精准匹配相似案例对实现司法公正具有重要意义。在实际应用中，司法工作者通常使用全文检索、关键词匹配和关键词限制检索来筛选案例，之后仍依赖人工判断筛选出的案例与目标案例是否相似，因此耗时长且效率低。

在科研领域计算案例相似度的方法主要可以分为三类：第一类、基于词向量法，比如使用法律文本中的名词构成向量空间，通过TF-IDF计算法律文本相似度；或者使用法律专业词汇构成向量空间，通过余弦相似度公式计算法律文本的相似度。第二类、基于词嵌入模型,利用层级注意力机制来改进孪生网络结构中的文档表示，并压缩文档内容避免了长文档的数据稀疏问题。或者使用非对称孪生网络的新闻与案件相关性计算方法，解决了文本不平衡和新闻文本冗余的问题。第三类、基于事件模板，按照预定义的事件模板从医疗纠纷案例中抽取出医疗事件，通过事件元组的相似度来计算案例的相似度。

词向量法和词嵌入模型不涉及法律领域知识，不考虑法律文本特点，因此基于这两种方法计算出的相似度不够准确。基于事件模板考虑了法律领域知识，但在实际中相同案由的案件中事件极其相似，以民间借贷为例，其中的事件都为何时何地借款，何时何地追债等。因此按照预定义的事件模式抽取事件，只能粗粒度的表示案件，没有包含影响案件相似度计算的关键信息，匹配准确度不高。

因此，如何提供一种基于多头注意力的法律案例相似度计算方法，其能够可以通过计算相似度，提升法律中类案检索和类案推荐等应用场景的准确度，是本领域技术人员亟待解决的技术问题。

发明内容

针对上述现有技术的不足，本发明通过抽取案情描述中的法律关系形成案情知识图谱，使用多头注意力机制获取案情知识图谱的向量化表示，最后使用深度案情感知网络计算出两案例相似度。辅以结构化法律关系的训练的深度案情感知网络可以大大提升案例相似度计算的准确度。本发明提供一种基于多头注意力的法律案例相似度计算方法，该方法包括：1) 将待计算相似度的两个案例的案情描述输入案例法律关系识别模型，分别抽取两个案例中的法律关系形成的三元组，所述三元组中包含头实体、关系和尾实体，并依据所述三元组构建案情知识图谱；2)通过多头注意力机制将所述案情知识图谱转化为向量化表示；3)将所述案情的向量化表示输入深度案情感知模型，获取两个案例的相似度。

根据本发明的第一个实施方案，提供一种基于多头注意力的法律案例相似度计算方法：

一种基于多头注意力的法律案例相似度计算方法，该方法包括：

1)将待计算相似度的两个案例的案情描述输入案例法律关系识别模型，分别抽取两个案例中的法律关系形成的三元组，所述三元组中包含头实体、关系和尾实体，并依据所述三元组构建案情知识图谱；

2)通过多头注意力机制将所述案情知识图谱转化为向量化表示；

3)将所述案情的向量化表示输入深度案情感知模型，获取两个案例的相似度。

作为优选，步骤1)中所述案例法律关系识别模型包括：用于识别所述案情描述中实体的实体识别模块；

用于识别所述案情描述中所述实体之间关系的关系抽取模块。

作为优选，在对结构化文本和类结构化文本的所述案情描述进行识别时，所述实体识别模块采用基于规则的实体识别方式识别出实体。

作为优选，步骤1)中所述案件法律关系识别模型的构建方法包括以下步骤：

1a)确定对计算案例相似度具有影响或影响较大的实体和关系，构建案例法律关系识别模型训练数据集；

1b)构建所述实体识别模块，所述实体识别模块采用基于BiLSTM-CRF的实体识别网络构建；

1c)构建所述关系抽取模块，所述关系抽取模块采用基于BERT的关系抽取网络构建。

作为优选，所述步骤2)具体包括以下步骤：

2a)初始化所述三元组的头实体、关系和尾实体的向量化表示；

2b)将所述三元组的实体和关系的向量化表示联结起来，使用投影矩阵计算所述三元组的特征向量；

2c)使用leakyReLU计算所述三元组的注意力值；

2d)使用softmax函数计算出具有相同头实体的三元组的相对注意力值；

2e)通过所述三元组的相对注意力值和所述特征向量计算所述实体新的向量化表示；

2f)使用多头注意力机制封装复杂的法律关系并再次更新所述实体的向量化表示。

作为优选，所述步骤3)中所述深度案情感知模型为已训练好的模型，所述深度案情感知模型构建方法具体为：

3a)获取一定量的基于某案由案例的相似案例对，所述相似案例对为正例，随机替换部分相似案例对中的一个案例形成负例，构建相似案例数据集；

3b)分别将所述相似案例数据集中的案例对输入所述案例法律关系识别模型，分别构建案情知识图谱，并使用所述多头注意力机制分别获得所述每个案例的案情知识图谱的向量化表示；

3c)分别将所述相似案例对的实体和关系的向量化表示联结起来，构建深度案情感知网络，使用所述案例的向量化表示训练所述网络得到所述深度案情感知模型。

作为优选，所述案情描述，包括存在于起诉书、上诉书、判决文书等法律文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。

根据本发明的第二个实施方案，提供一种基于多头注意力的法律案例相似度计算系统：

一种基于多头注意力的法律案例相似度计算系统，该系统包括：

案情知识图谱构建模块，所述案情知识图谱构建模块用于将待计算相似度的两个案例的案情描述输入所述案例法律关系识别模型，进而分别抽取两个案例中的法律关系形成的三元组，并依据所述三元组构建案情知识图谱，所述三元组中包含头实体、关系和尾实体；

与所述案情知识图谱构建模块信号连接的案情知识图谱表征模块，所述案情知识图谱表征模块用于通过多头注意力机制将所述案情知识图谱转化为向量化表示；

与所述案情知识图谱表征模块信号连接的深度案情感知网络模块，所述深度案情感知网络模块用于将所述向量化表示输入所述深度案情感知模型，得到两个案例的相似度。

作为优选，所述案例法律关系识别模型包括：用于识别所述案情描述中实体的实体识别模块；与所述实体识别模块信号连接，用于识别所述实体之间关系的关系抽取模块；所述关系抽取模块通过找到包含两个所述实体的句子，从所述句子中抽取出两个所述实体之间的关系，两个所述实体包括头实体、尾实体。

作为优选，当所述案情描述为结构化文本和类结构化文本时，所述实体识别模块采用基于规则的实体识别方法。

作为优选，所述案情描述，包括存在于起诉书、上诉书、判决文书等法律文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。

在本申请的第一个实施方案中，首先通过案例法律关系识别模型从待计算相似度的两个案例抽取出法律关系形成的三元组，即头实体、关系和尾实体，然后利用三元组构建出案情知识图谱；利用多头注意力机制将案情知识图谱转化为向量化表示，以方便后期计算。最后通过深入情感感知模型来计算得到两个案例的相似度。本申请的技术方案，通过技术手段筛选出三元组信息后，利用向量化表示的方法，提高了案件与案件之间的相似度的计算的准确度，相较于现有技术而言计算结果更为准确可靠。

在本申请的第一个实施方案中，案例法律关系识别模型通过实体识别模块抽取案件中的实体，包括头实体和尾实体。案例法律关系识别模型通过关系抽取模块抽取同一个句子的两个实体之间的关系。

需要说明的是，实体识别模块识别实体，统称为命名实体识别，而命名实体识别(Named Entities Recognition,NER)研究的命名实体一般分为3大类(实体类、时间类和数字类)和7小类(人名、地名、组织机构名、时间、日期、货币和百分比)，研究的目的是将语料中的这些命名实体识别出来。主要有三种方式：1)基于规则的命名实体识别、 2)基于统计的命名实体识别、3)混合方法。当对结构化文本和类结构化文本的所述案情描述进行识别时，所述实体识别模块采用基于规则的实体识别方式识别出实体。

在本申请的第一个实施方案中，所述案件法律关系识别模型的构建方法中，先确定对计算案例相似度具有影响或影响较大的实体和关系，构建案例法律关系识别模型训练数据集，然后向构建好的所述实体识别模块和所述关系抽取模块中导入案例法律关系识别模型训练数据集，从而对所述案件法律关系识别模型进行训练，以构建训练好的所述案件法律关系识别模型。

在本申请的第一个实施方案中，在步骤2)中，初始化所述三元组的头实体、关系和尾实体的向量化表示，构成向量参数。在将所述三元组的实体和关系的向量化表示联结起来，使用投影矩阵计算所述三元组的特征向量，以方便之后的套用计算。接着使用leakyReLU和 softmax函数计算出具有相同头实体的三元组的相对注意力值，通过所述三元组的相对注意力值和所述特征向量计算所述实体新的向量化表示，该步骤能够在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性。最后使用多头注意力机制封装复杂的法律关系并再次更新所述实体的向量化表示，即得到优化后的实体的向量化表示。

在本申请的第一个实施方案中，需要先对深度案情感知模型进行训练，通过获取一定量的基于某案由案例的相似案例对，所述相似案例对为正例，随机替换部分相似案例对中的一个案例形成负例，构建相似案例数据集；再将相似案例数据集导入案例法律关系识别模型，识别出相似案例数据集中的所述实体并抽取出所述实体之间的所述关系。最后分别将所述相似案例数据集中案例的实体和关系的向量化表示联结起来，得到相似案例数据集中案例的向量化表示，使用所述相似案例数据集中案例的向量化表示训练所述网络得到所述深度案情感知模型。以此来提高深度案情感知模型的准确性。

在本申请的第二个实施方案中，基于多头注意力的法律案例相似度计算系统，该系统运行包含了第一个实施方案所记载方法的软件程序，该系统包括：案情知识图谱构建模块、与所述案情知识图谱构建模块信号连接的案情知识图谱表征模块、与所述案情知识图谱表征模块信号连接的深度案情感知网络模块。通过案情知识图谱构建模块、案情知识图谱表征模块和深度案情感知网络模块的配合应用，实现对法律案例的相似度的计算。相较于现有技术，提升法律中类案检索和类案推荐等应用场景的准确度。

在本申请的第二个实施方案中，所述案例法律关系识别模型通过实体识别模块识别所述案情描述中实体，通过关系抽取模块识别所述实体之间的关系；具体地，所述关系抽取模块通过找到包含两个所述实体的句子，从所述句子中抽取出两个所述实体之间的关系，两个所述实体包括头实体、尾实体。

与现有技术相比，本发明具有以下有益效果：

1、通过抽取案情描述中的法律关系形成案情知识图谱，使用多头注意力机制获取案情知识图谱的向量化表示，最后使用深度案情感知网络计算出两案例相似度。辅以结构化法律关系的训练的深度案情感知网络可以大大提升案例相似度计算的准确度。

附图说明

图1为本发明实施例提供的基于多头注意力的法律案例相似度计算方法的流程示意图；

图2为本发明实施例提供的案情知识图谱示意图；

图3为本发明实施例提供的基于多头注意力的法律案例相似度计算系统的结构示意图。

具体实施方式

根据本发明的第一个实施方案，提供一种基于多头注意力的法律案例相似度计算方法：

一种基于多头注意力的法律案例相似度计算方法，该方法包括：

1)将待计算相似度的两个案例的案情描述输入案例法律关系识别模型，分别抽取两个案例中的法律关系形成的三元组，所述三元组中包含头实体、关系和尾实体，并依据所述三元组构建案情知识图谱；

2)通过多头注意力机制将所述案情知识图谱转化为向量化表示；

3)将所述案情的向量化表示输入深度案情感知模型，获取两个案例的相似度。

作为优选，步骤1)中所述案例法律关系识别模型包括：用于识别所述案情描述中实体的实体识别模块；

用于识别所述案情描述中所述实体之间关系的关系抽取模块。

作为优选，在对结构化文本和类结构化文本的所述案情描述进行识别时，所述实体识别模块采用基于规则的实体识别方式识别出实体。

作为优选，步骤1)中所述案件法律关系识别模型的构建方法包括以下步骤：

1a)确定对计算案例相似度具有影响或影响较大的实体和关系，构建案例法律关系识别模型训练数据集；

1b)构建所述实体识别模块，所述实体识别模块采用基于BiLSTM-CRF的实体识别网络构建；

1c)构建所述关系抽取模块，所述关系抽取模块采用基于BERT的关系抽取网络构建。

作为优选，所述步骤2)具体包括以下步骤：

2a)初始化所述三元组的头实体、关系和尾实体的向量化表示；

2b)将所述三元组的实体和关系的向量化表示联结起来，使用投影矩阵计算所述三元组的特征向量；

2c)使用leakyReLU计算所述三元组的注意力值；

2d)使用softmax函数计算出具有相同头实体的三元组的相对注意力值；

2e)通过所述三元组的相对注意力值和所述特征向量计算所述实体新的向量化表示；

2f)使用多头注意力机制封装复杂的法律关系并再次更新所述实体的向量化表示。

作为优选，所述步骤3)中所述深度案情感知模型为已训练好的模型，所述深度案情感知模型构建方法具体为：

3a)获取一定量的基于某案由案例的相似案例对，所述相似案例对为正例，随机替换部分相似案例对中的一个案例形成负例，构建相似案例数据集；

3b)分别将所述相似案例数据集中的案例对输入所述案例法律关系识别模型，分别构建案情知识图谱，并使用所述多头注意力机制分别获得所述每个案例的案情知识图谱的向量化表示；

3c)分别将所述相似案例对的实体和关系的向量化表示联结起来，构建深度案情感知网络，使用所述案例的向量化表示训练所述网络得到所述深度案情感知模型。

作为优选，所述案情描述，包括存在于起诉书、上诉书、判决文书等法律文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。

根据本发明的第二个实施方案，提供一种基于多头注意力的法律案例相似度计算系统：

一种基于多头注意力的法律案例相似度计算系统，该系统包括：

案情知识图谱构建模块，所述案情知识图谱构建模块用于将待计算相似度的两个案例的案情描述输入所述案例法律关系识别模型，进而分别抽取两个案例中的法律关系形成的三元组，并依据所述三元组构建案情知识图谱，所述三元组中包含头实体、关系和尾实体；

与所述案情知识图谱构建模块信号连接的案情知识图谱表征模块，所述案情知识图谱表征模块用于通过多头注意力机制将所述案情知识图谱转化为向量化表示；

与所述案情知识图谱表征模块信号连接的深度案情感知网络模块，所述深度案情感知网络模块用于将所述向量化表示输入所述深度案情感知模型，并得到两个案例的相似度。

作为优选，所述案例法律关系识别模型包括：用于识别所述案情描述中实体的实体识别模块；与所述实体识别模块信号连接，用于识别所述实体之间关系的关系抽取模块；所述关系抽取模块通过找到包含两个所述实体的句子，从所述句子中抽取出两个所述实体之间的关系，两个所述实体包括头实体、尾实体。

作为优选，当所述案情描述为结构化文本和类结构化文本时，所述实体识别模块采用基于规则的实体识别方法。

作为优选，所述案情描述，包括存在于起诉书、上诉书、判决文书等法律文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。

实施例1

一种基于多头注意力的法律案例相似度计算方法，该方法包括：

1)将待计算相似度的两个案例的案情描述输入案例法律关系识别模型，分别抽取两个案例中的法律关系形成的三元组，所述三元组中包含头实体、关系和尾实体，并依据所述三元组构建案情知识图谱；

2)通过多头注意力机制将所述案情知识图谱转化为向量化表示；

3)将所述案情的向量化表示输入深度案情感知模型，获取两个案例的相似度。

实施例2

重复实施例1，只是步骤1)中所述案例法律关系识别模型包括：用于识别所述案情描述中实体的实体识别模块；用于识别所述案情描述中所述实体之间关系的关系抽取模块。在对结构化文本和类结构化文本的所述案情描述进行识别时，所述实体识别模块采用基于规则的实体识别方式识别出实体。

步骤1)中所述案件法律关系识别模型的构建方法包括以下步骤：

1a)确定对计算案例相似度具有影响或影响较大的实体和关系，构建案例法律关系识别模型训练数据集；

本实施例随机选择了600份所述判决文书进行标注，采用BIO标注法标注出所述案情描述中包含的所述实体和关系。

需要说明的是，本实施例获取了以民间借贷为案由的判决文书，所述判决文书为类结构化文本，通过正则表达式从所述判决文书中分离出了案件主体描述部分和经审理查明部分作为案情描述。确定在该案由下对案例相似度影响较大的实体和关系，所述实体包括：原告、被告、自然人主体、非自然人主体等，所述关系包括：角色、夫妻、夫妻关系非续存、担保人等。

1b)构建所述实体识别模块，所述实体识别模块采用基于BiLSTM-CRF的实体识别网络构建；

本实施例首先使用预训练语言模型BERT将所述案情描述中的句子x＝(x₁,x₂,,x_n)的每个字映射为低维稠密的字向量，其中n是所述句子中包含字的个数；然后使用双向长短期记忆网络提取句子特征,得到隐藏状态序列H＝(h_[CLS],h₁,h₂,…,h_n)∈R^n×m,所述双向长短期记忆网络的最后一层将状态向量从m维映射到k维，得到P＝(p₁,p₂,…,p_n)∈R^n×k，其中k为实体的种类；最终使用条件随机场进行句子级的序列标注，对于所述句子x,对应的标签序列为y＝(y₁,y₂,…,y_n)，定义打分函数为：

其中，A为输出标签之间的转移得分矩阵，A_ij表示的是从第i个标签到第j个标签的转移得分。

进而使用softmax函数预测标签序列y的概率：

同时为了使得预测得分最大化，取预测输出标签序列的对数：

在预测过程中，使用Viterbi算法求出最优的预测标签序列：

1c)构建所述关系抽取模块，所述关系抽取模块采用基于BERT的关系抽取网络构建。

本实施例中的基于BERT的关系抽取网络和基于BiLSTM-CRF的实体识别网络的嵌入层和特征提取层一致，获得包含两个实体e₁和e₂的句子的隐藏状态序列H＝(h_[CLS],h₁,h₂,…,h_n)和两个实体的向量表示v₁和v₂,仅使用h_[CLS]作为该句子的特征。融入实体后该句子的表征为：

所述句子中包含的关系计算公式为:

P(y|h)＝softmax(h·w₂)

其中，w₁、w₂、b₁为神经网络参数。

本实施例中所述步骤1得到的案情知识图谱如图2所示。

实施例3

重复实施例2，只是所述步骤2)具体包括以下步骤：

2a)初始化所述三元组的头实体、关系和尾实体的向量化表示；

本实施例中，所述三元组可以表示为t_ijk＝(e_i,r_k,e_j)，使用随机初始化的方式将所述实体和关系初始化为d维向量，向量化的三元组可表示为

其中e_i和e_j分别表示头实体和尾实体，r_k表示关系，h_i、h_j和l_k分别为其对应的向量化表示。

2b)将所述三元组的实体和关系的向量化表示联结起来，使用投影矩阵计算所述三元组的特征向量；

本实施例中，所述三元组的特征向量的计算公式为：

其中，W₁为线性变换矩阵，

2c)使用leakyReLU计算所述三元组的注意力值；

本实施例中，所述三元组的注意力值的计算公式为：

其中，W₂为权重矩阵；leakyReLU是一种激活函数，其计算公式为：

其中，α为一固定参数。

2d)使用softmax函数计算出具有相同头实体的三元组的相对注意力值；

本实施例中，所述三元组的相对注意力值的计算公式为：

其中N_i为实体e_i的邻居实体集合，R_ij为以实体e_i为头实体的关系集合；b_inr为R_ij中的一个关系。

2e)通过所述三元组的相对注意力值和所述特征向量计算所述实体新的向量化表示；

本实施例中，所述三元组的新的向量化表示的计算公式为：

其中，M为注意力头数。

2f)使用多头注意力机制封装复杂的法律关系并再次更新所述实体的向量化表示。

本实施例中，所述多头注意力机制的计算公式为：

本实施例中，训练所述多头注意力机制的目标函数为：

其中S为所述三元组的集合，S′是随机替换S中头实体或者尾实体得到的集合，γ为超参数；

为评分函数。

实施例4

重复实施例3，只是所述步骤3)中所述深度案情感知模型为已训练好的模型，所述深度案情感知模型构建方法具体为：

3a)获取一定量的基于某案由案例的相似案例对，所述相似案例对为正例，随机替换部分相似案例对中的一个案例形成负例，构建相似案例数据集；

本实施例中，获取以民间借贷为案由的判决文书，通过人工标注构建相似案例数据集。

3b)分别将所述相似案例数据集中的案例对输入所述案例法律关系识别模型，分别构建案情知识图谱，并使用所述多头注意力机制分别获得所述每个案例的案情知识图谱的向量化表示；

本实施例中，首先获取案件c的案情知识图谱g_c，再通过多头注意力机制获得案情知识图谱中三元组的向量化表示h_c∈R^n×m，其中n为所述案件c三元组个数，m为所述案件三元组的向量维度。

3c)分别将所述相似案例对的实体和关系的向量化表示联结起来，构建深度案情感知网络，使用所述案例的向量化表示训练所述网络得到所述深度案情感知模型。

本实施例中，假设输入深度案情感知网络的案件为c_a和c_b，由于从不同案件中抽取出的法律关系数量不同，为了使得两案例的向量化表示维度相同，对三元组个数较少的案例实施 padding操作，最终形成维度为2×n×m的张量。本实施例使用了34层的残差网络构建深度案情网络，每个残差块可表示为：

y＝W_sx+F(x,W_i)

其中，W_s和W_i为线性变换矩阵，x和y分别表示残差块的输入和输出向量，F(x,W_i)为残差映射。

实施例5

重复实施例4，只是所述案情描述，包括存在于起诉书、上诉书、判决文书等法律文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。

实施例6

一种基于多头注意力的法律案例相似度计算系统，该系统包括：

案情知识图谱构建模块，所述案情知识图谱构建模块用于将待计算相似度的两个案例的案情描述输入所述案例法律关系识别模型，进而分别抽取两个案例中的法律关系形成的三元组，并依据所述三元组构建案情知识图谱，所述三元组中包含头实体、关系和尾实体；

与所述案情知识图谱构建模块信号连接的案情知识图谱表征模块，所述案情知识图谱表征模块用于通过多头注意力机制将所述案情知识图谱转化为向量化表示；

与所述案情知识图谱表征模块信号连接的深度案情感知网络模块，所述深度案情感知网络模块用于将所述向量化表示输入所述深度案情感知模型，并得到两个案例的相似度。

需要说明的是，本说明书未详细阐述的部分均属于现有技术。

需要说明的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均是本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

应当理解的是，本发明公开的一种基于多头注意力的法律案例相似度计算方法及系统可以应用于类案推荐、类案检索等实际场景。对于类案推荐，将用户浏览的历史案例分别使用本发明公开的步骤1和步骤2得到案例的向量化表示，将所有案例的向量化表示联结起来，使用卷积神经网络进行降维，得到维度为1×n×m的张量，再与数据库中的案例使用本发明公开的步骤3计算相似度，并将相似度高的案例推荐给用户。对于类案检索，将用户输入的案情描述使用本发明公开的步骤1和步骤2得到案例的向量化表示，分别于数据库中的案例使用本发明公开的步骤3计算相似度，按照相似度高低排序，向用户展示案例。上述应用场景中并未对本发明公开的方法进行实质性修改或改进，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多头注意力的法律案例相似度计算方法，其特征在于，该方法包括：

1)将待计算相似度的两个案例的案情描述输入案例法律关系识别模型，分别抽取两个案例中的法律关系形成的三元组，所述三元组中包含头实体、关系和尾实体，并依据所述三元组构建案情知识图谱；

2)通过多头注意力机制将所述案情知识图谱转化为向量化表示；

3)将所述案情的向量化表示输入深度案情感知模型，获取两个案例的相似度。

2.根据权利要求1所述的基于多头注意力的法律案例相似度计算方法，其特征在于，步骤1)中所述案例法律关系识别模型包括：

用于识别所述案情描述中实体的实体识别模块；

用于识别所述案情描述中所述实体之间关系的关系抽取模块；

作为优选，在对结构化文本和类结构化文本的所述案情描述进行识别时，所述实体识别模块采用基于规则的实体识别方式识别出实体。

3.根据权利要求2所述的基于多头注意力的法律案例相似度计算方法，其特征在于，步骤1)中所述案件法律关系识别模型的构建方法包括以下步骤：

1a)确定对计算案例相似度具有影响或影响较大的实体和关系，构建案例法律关系识别模型训练数据集；

1b)构建所述实体识别模块，所述实体识别模块采用基于BiLSTM-CRF的实体识别网络构建；

1c)构建所述关系抽取模块，所述关系抽取模块采用基于BERT的关系抽取网络构建。

4.根据权利要求3所述的基于多头注意力的法律案例相似度计算方法，其特征在于，所述步骤2)具体包括以下步骤：

2a)初始化所述三元组的头实体、关系和尾实体的向量化表示；

2b)将所述三元组的实体和关系的向量化表示联结起来，使用投影矩阵计算所述三元组的特征向量；

2c)使用leakyReLU计算所述三元组的注意力值；

2d)使用softmax函数计算出具有相同头实体的三元组的相对注意力值；

2e)通过所述三元组的相对注意力值和所述特征向量计算所述实体新的向量化表示；

2f)使用多头注意力机制封装复杂的法律关系并再次更新所述实体的向量化表示。

5.根据权利要求4所述的基于多头注意力的法律案例相似度计算方法，其特征在于，所述步骤3)中所述深度案情感知模型为已训练好的模型，所述深度案情感知模型构建方法具体为：

3a)获取一定量的基于某案由案例的相似案例对，所述相似案例对为正例，随机替换部分相似案例对中的一个案例形成负例，构建相似案例数据集；

3b)分别将所述相似案例数据集中的案例对输入所述案例法律关系识别模型，分别构建案情知识图谱，并使用所述多头注意力机制分别获得所述每个案例的案情知识图谱的向量化表示；

3c)分别将所述相似案例对的实体和关系的向量化表示联结起来，构建深度案情感知网络，使用所述案例的向量化表示训练所述网络得到所述深度案情感知模型。

6.根据权利要求1-5任一项所述的基于多头注意力的法律案例相似度计算方法，其特征在于，所述案情描述，包括存在于起诉书、上诉书、判决文书等法律文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。

7.一种应用权利要求1-6中任一项所述基于多头注意力的法律案例相似度计算方法的基于多头注意力的法律案例相似度计算系统，其特征在于，该系统包括：

案情知识图谱构建模块，所述案情知识图谱构建模块用于将待计算相似度的两个案例的案情描述输入所述案例法律关系识别模型，进而分别抽取两个案例中的法律关系形成的三元组，并依据所述三元组构建案情知识图谱，所述三元组中包含头实体、关系和尾实体；

与所述案情知识图谱构建模块信号连接的案情知识图谱表征模块，所述案情知识图谱表征模块用于通过多头注意力机制将所述案情知识图谱转化为向量化表示；

与所述案情知识图谱表征模块信号连接的深度案情感知网络模块，所述深度案情感知网络模块用于将所述向量化表示输入所述深度案情感知模型，得到两个案例的相似度。

8.根据权利要求7所述的基于多头注意力的法律案例相似度计算系统，其特征在于，所述案例法律关系识别模型包括：

用于识别所述案情描述中实体的实体识别模块；

与所述实体识别模块信号连接，用于识别所述实体之间关系的关系抽取模块；

所述关系抽取模块通过找到包含两个所述实体的句子，从所述句子中抽取出两个所述实体之间的关系，两个所述实体包括头实体、尾实体。

9.根据权利要求8所述的基于多头注意力的法律案例相似度计算系统，其特征在于，当所述案情描述为结构化文本和类结构化文本时，所述实体识别模块采用基于规则的实体识别方法。

10.根据权利要求7-9任一项所述的基于多头注意力的法律案例相似度计算系统，其特征在于，所述案情描述，包括存在于起诉书、上诉书、判决文书等法律文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。

Images