Nothing Special   »   [go: up one dir, main page]

CN118194949A - 一种关键句提取模型的训练方法、装置及存储介质 - Google Patents

一种关键句提取模型的训练方法、装置及存储介质 Download PDF

Info

Publication number
CN118194949A
CN118194949A CN202410384081.3A CN202410384081A CN118194949A CN 118194949 A CN118194949 A CN 118194949A CN 202410384081 A CN202410384081 A CN 202410384081A CN 118194949 A CN118194949 A CN 118194949A
Authority
CN
China
Prior art keywords
sentence
labeling
matrix
determining
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410384081.3A
Other languages
English (en)
Inventor
马志远
都金涛
孟昌华
嵇佳颖
周欣欣
李肖潞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202410384081.3A priority Critical patent/CN118194949A/zh
Publication of CN118194949A publication Critical patent/CN118194949A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书公开了一种关键句提取模型的训练方法、装置及存储介质，待训练的提取模型包含编码层、池化层和分类层，获取目标文本，确定组成目标文本的各子句，针对每个子句，将该子句输入编码层，得到由该子句包含的各分词对应的词向量确定的词特征，将词特征输入池化层，得到句特征，将各子句的句特征输入分类层，确定该目标文本的关键句中的首句和尾句，将首句与尾句之间的各子句，作为预测关键句，根据目标文本的标注关键句与预测关键句的差异，训练提取模型。通过池化层将词语级别的词特征转化为句子级别的句特征，并通过句子级别的标注关键句对提取模型进行训练，可以得到连续的子句组成的各预测关键句，从而提取到更加准确的关键句。

Description

一种关键句提取模型的训练方法、装置及存储介质
技术领域
本说明书涉及计算机技术领域，尤其涉及一种关键句提取模型的训练方法、装置及存储介质。
背景技术
关键句提取指利用机器学习的方法在一段文本中提取出包含特定信息，或具有总结摘要性质的句子。关键句提取是自然语言处理领域的重要内容，可以为业务风控、自动问答、舆情监控等任务提供支持。如，在业务风控任务中，可以根据提取处的关键句判断当前任务中是否存在个人信息泄露风险，以便对该业务进行风控。
在关键句提取中，通常以逗号或句号作为分割符将一段文本划分为多个子句，对每个子句进行关键句的识别，最终提取出关键句。目前，可以用基于关键词识别的方法进行关键句提取，先在文本中识别出关键词，再将包含关键词的子句，确定为关键句。但是，在这种方法中，训练数据的标签是针对关键词的词语级别的标签，导致对于关键句的识别过于细化。由于在一个文本中，并非所有子句都包含关键词，在提取结果中只会得到含关键词的子句组成的关键句，关键句中的信息不连贯，以致提取的关键句不准确。
所以，本说明书提供一种关键句提取模型的训练方法。
发明内容
本说明书提供一种关键句提取模型的训练方法、装置、存储介质及电子设备，以至少部分地解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种关键句提取模型的训练方法，待训练的提取模型包含编码层、池化层和分类层，所述方法包括：
获取目标文本，确定组成所述目标文本的各子句；
针对每个子句，将该子句输入所述编码层，得到该子句包含的各分词的词向量，根据各词向量，确定该子句的词特征；
将所述词特征输入所述池化层，得到该子句的句特征；
将各子句的句特征输入所述分类层，确定所述目标文本的关键句中的首句以及所述关键句中的尾句，将从所述首句到所述尾句的各子句，作为预测关键句；
确定所述目标文本对应的标注关键句，根据所述标注关键句与所述预测关键句的差异，训练所述提取模型，所述提取模型用于响应于携带待处理文本的风险任务识别请求，将所述待处理文本输入所述提取模型，提取所述待处理文本中的预测关键句，并根据提取出的预测关键句识别任务是否存在风险。
可选地，所述分类层包含第一分类子层和第二分类子层，所述第一分类子层由首句分类网络和尾句分类网络组成；
将各子句的句特征输入所述分类层，确定所述目标文本的关键句中的首句以及所述关键句中的尾句，具体包括：
根据各子句的句特征，确定所述目标文本的句矩阵；
将所述句矩阵输入所述首句分类网络，确定所述句矩阵中各句特征对应的子句为关键句中的首句的第一概率，根据各第一概率，确定第一概率矩阵；
将所述句矩阵输入所述尾句分类网络，确定所述句矩阵中各句特征对应的子句为关键句中的尾句的第二概率，根据各第二概率，确定第二概率矩阵；
将所述第一概率矩阵和所述第二概率矩阵，输入所述第二分类子层，得到结果矩阵；
根据所述结果矩阵，确定所述目标文本的关键句中的首句以及所述关键句中的尾句。
可选地，所述第二分类子层包含两个参数矩阵；
将所述第一概率矩阵和所述第二概率矩阵，输入所述第二分类子层，得到结果矩阵，具体包括：
将所述第一概率矩阵和所述第二概率矩阵，进行拼接，确定拼接概率矩阵；
确定所述第二分类子层的第一参数矩阵和第二参数矩阵，将所述第一概率矩阵的转置矩阵、所述第一参数矩阵和所述第二概率矩阵，进行矩阵相乘，确定第一关联矩阵；
将所述拼接概率矩阵和所述第二参数矩阵，进行矩阵相乘，确定第二关联矩阵；
将所述第一关联矩阵和所述第二关联矩阵，进行矩阵相加，确定结果矩阵。
可选地，根据所述结果矩阵，确定所述目标文本的关键句中的首句以及所述关键句中的尾句，具体包括：
确定所述结果矩阵所包含的各元素值中最大的元素值，作为目标元素值；
根据所述目标元素值在所述结果矩阵中的行序，确定所述目标文本的关键句中的首句，根据所述目标元素值在所述结果矩阵中的列序，确定所述目标文本的关键句中的尾句。
可选地，确定所述目标文本对应的标注关键句，根据所述标注关键句与所述预测关键句的差异，训练所述提取模型，具体包括：
获取所述目标文本对应的标注文本，确定所述标注文本中的标注关键句，以及确定所述标注关键句包含的各子句中的标注首句和标注尾句；
根据所述标注首句和所述标注尾句在所述标注文本中的次序，确定标注矩阵；
根据所述标注矩阵与所述结果矩阵的差异，训练所述提取模型。
可选地，根据所述标注首句和所述标注尾句在所述标注文本中的次序，确定标注矩阵，具体包括：
根据所述标注首句在所述标注文本中的次序，确定标注行序，根据所述标注尾句在所述目标文本中的次序，确定标注列序；
根据所述目标文本包含的各子句数量，确定标注矩阵的维度，根据所述标注行序和所述标注列序，确定所述标注矩阵的标注位置；
通过第一预设值对所述标注矩阵中的所述标注位置赋值，通过第二预设值对所述标注矩阵中非标注位置赋值，确定所述标注矩阵。
可选地，根据所述标注首句和所述标注尾句在所述标注文本中的次序，确定标注矩阵，具体包括：
根据所述标注首句在所述目标文本中的次序，确定标注行序，根据所述标注尾句在所述标注文本中的次序，确定标注列序；
根据所述目标文本包含的各子句数量，确定标注矩阵的维度，根据所述标注行序和所述标注列序，确定所述标注矩阵的标注位置；
确定所述标注位置的邻居位置和邻居数量，通过预设的噪声值，对所述标注位置的各邻居位置赋值，确定所述标注位置的各邻居位置的元素值；
根据所述邻居数量和所述噪声值，确定总噪声值；
根据第一预设值和所述总噪声值之差，确定所述标注位置的元素值；
确定所述标注矩阵中既不是所述标注位置也不是所述标注位置的邻居位置的无关位置，通过第二预设值对各无关位置赋值，确定所述各无关位置的元素值；
根据所述标注位置的元素值、所述标注位置的各邻居位置的元素值和所述各无关位置的元素值，确定标注矩阵。
本说明书提供了一种关键句提取模型的训练装置，待训练的提取模型包含编码层、池化层和分类层，所述装置包括：
获取模块，获取目标文本，确定组成所述目标文本的各子句；
编码模块，针对每个子句，将该子句输入所述编码层，得到该子句包含的各分词的词向量，根据各词向量，确定该子句的词特征；
池化模块，将所述词特征输入所述池化层，得到该子句的句特征；
预测模块，将各子句的句特征输入所述分类层，确定所述目标文本的关键句中的首句以及所述关键句中的尾句，将所述首句与所述尾句之间的各子句，作为预测关键句；
训练模块，确定所述目标文本对应的标注关键句，根据所述标注关键句与所述预测关键句的差异，训练所述提取模型，所述提取模型用于响应于携带待处理文本的风险任务识别请求，将所述待处理文本输入所述提取模型，提取所述待处理文本中的预测关键句，并根据提取出的预测关键句识别任务是否存在风险。本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述关键句提取模型的训练方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述关键句提取模型的训练方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的关键句提取模型的训练方法中，待训练的提取模型包含编码层、池化层和分类层，获取目标文本，确定组成目标文本的各子句，针对每个子句，将该子句输入编码层，得到由该子句包含的各分词对应的词向量确定的词特征，将词特征输入池化层，得到句特征，将各子句的句特征输入分类层，确定该目标文本的关键句中的首句和尾句，将首句与尾句之间的各子句，作为预测关键句，根据目标文本的标注关键句与预测关键句的差异，训练提取模型。通过池化层将词语级别的词特征转化为句子级别的句特征，并通过句子级别的标注关键句对提取模型进行训练，可以得到连续的子句组成的各预测关键句，从而提取到更加准确的关键句。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中一种关键句提取模型的训练方法的流程示意图；
图2为本说明书提供的提取模型的结构示意图；
图3为本说明书提供的一种分类层的结构示意图；
图4为本说明书提供的一种对应于图3分类层结构的关键句提取计算流程示意图；
图5为本说明书提供的一种用于带噪训练的标注矩阵示例图；
图6为本说明书提供的一种关键句提取模型的训练装置的示意图；
图7为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中一种关键句提取模型的训练方法的流程示意图，具体包括以下步骤：
S100：获取目标文本，确定组成所述目标文本的各子句。
在本说明书中，用于进行关键句提取模型的训练的设备可以是服务器，也可以是诸如台式电脑、笔记本电脑等电子设备。为了便于描述，下面仅以服务器为执行主体，对本说明书提供的关键句提取模型的训练方法进行说明。
在本说明书提供的关键句提取方法中，将一段文本中能够表达独立语义的句子片段，称为子句，一个子句可以由主语和谓语组成，也可以仅包含一个主谓短语，通常是以逗号或句号作为分隔符确定的。本方法中提取的关键句为连续的子句组成的文本。
服务器获取目标文本，在进行对目标文本的关键句提取之前，需要先确定组成目标文本的各子句，以便服务器针对各子句进行编码，并对各子句是否属于关键句进行识别。
S102：针对每个子句，将该子句输入所述编码层，得到该子句包含的各分词的词向量，根据各词向量，确定该子句的词特征。
图2为本说明书提供的提取模型的结构示意图，如图2所示，待训练的提取模型包含编码层、池化层和分类层，服务器将目标文本输入该提取模型，依次通过该提取模型的编码层、池化层和分类层，得到预测关键句。
服务器针对每个子句，将该子句输入编码层，得到该子句包含的各分词的词向量，根据各词向量，确定该子句的词特征。通过编码层，先针对该子句包含的每个分词确定该分词对应的词向量，再根据各分词对应的词向量，通过该编码层，得到各词向量组成的表征该子句词语级别语义的矩阵，作为该子句的词特征。
其中，编码层可以选用任一种训练完成的词向量编码模型，如，基于全局词频统计的词表征模型(Global Vectors for Word Representation，GloVe)、来自变压器的双向编码表征模型(Bidirectional Encoder Representations from Transformers，BERT)、生成式预训练变压器(Generative Pre-Trained Transformer，GPT)等等，本说明书对编码层的具体结构不做限制。
额外地，为了在编码层得到更加准确的词特征，编码层可以包含预处理操作，先对目标文本中进行预处理操作，再确定各子句对应的分词，然后对各分词进行编码，确定各分词对应的词向量。其中，预处理操作可以为过滤无效字符、去除重复词等，可根据需要选用一种或多种预处理操作。
S104：将所述词特征输入所述池化层，得到该子句的句特征。
由于每个子句的内容差异，各子句包含的分词的数量也存在差异，则各子句的词特征包含的词向量的数量不同，导致各子句的词特征的维度存在差异。所以，在进行关键句的预测之前，需要先统一各词特征的维度。
于是，针对每个子句，服务器将该子句的词特征输入池化层，得到该子句的句特征。经过池化层，将该子句的词特征转化为句特征，该子句的句特征是综合了该子句词特征包含的各词向量的语义得到的一个编码向量，是该子句句子级别的语义。并且各子句的句特征的维度相同，可用于后续的关键句预测。
上述池化层所采用的池化操作，可以为最大池化操作或平均池化操作，可根据需求选用具体的池化操作，本申请对此不做限制。
S106：将各子句的句特征输入所述分类层，确定所述目标文本的关键句中的首句以及所述关键句中的尾句，将所述首句与所述尾句之间的各子句，作为预测关键句。
图3为本说明书提供的一种分类层的结构示意图，如图3所示，分类层包含第一分类子层和第二分类子层，第一分类子层由两个并行的网络组成，分别为首句分类网络和尾句分类网络。
图3所示的网络结构，只是分类层的一种实施方式，分类层也可采用其他的网络结构，后续将提供其他的实施例，本说明书对分类层的具体网络结构不做限制，下面仅以图3所示的网络结构为例对本说明书提供的关键句提取方法进行说明。
在本说明书提供的关键句提取方法中，所提取的关键句为目标文本中连续的子句组成的文本，所以只需确定目标文本的关键句中的首句以及关键句中的尾句，即可确定要提取的关键句，其中，关键句中的首句为要提取的第一句关键句，关键句中的尾句为要提取的最后一句关键句。相较于不连续的子句确定的各关键句，通过本说明书提供的关键句提取方法得到的关键句，保留了目标文本中连续子句之间的原始语义，避免了因子句不连贯而引起的理解歧义，保证了关键句提取结果的准确性。
服务器将各子句的句特征输入分类层，确定目标文本的关键句中的首句以及关键句中的尾句，将首句与尾句之间的各子句，作为预测关键句。
首先，服务器根据各子句的句特征，确定目标文本的句矩阵。将该句矩阵输入首句分类网络，确定该句矩阵各句特征对应的子句为关键句中的首句的第一概率，根据各第一概率，确定第一概率矩阵。将该句矩阵输入尾句分类网络，确定该句矩阵各句特征对应的子句为关键句中的尾句的第二概率，根据各第二概率，确定第二概率矩阵。
其中，首句分类网络与尾句分类网络的网络结构可以相同，也可以不同，但需保证首句分类网络与尾句分类网络的网络参数不同。如，当首句分类网络与尾句分类网络可以为两个相同的多层感知机(Multi-Layer Perceptron，MLP)，但是两个网络应分别调参，因为首句分类网络要学习子句为首句关键句的特征，尾句分类网络要学习子句为尾句关键句的特征，两个网络的作用不同。
然后，服务器将第一概率矩阵和第二概率矩阵，输入第二分类子层，得到结果矩阵。本说明书对第二分类子层的具体网络结构不做限制，下面以第二分类子层为双仿射分类器结构为例进行说明，此时，第二分类子层包含两个参数矩阵。
该结果矩阵的维度由目标文本所包含的子句的数量决定，例如，目标文本包含的子句数量为N，则结果矩阵为N维方阵。
具体的，服务器将第一概率矩阵和第二概率矩阵，进行拼接，确定拼接概率矩阵，确定第二分类子层的第一参数矩阵和第二参数矩阵，将第一概率矩阵的转置矩阵、第一参数矩阵和第二概率矩阵，进行矩阵相乘，确定第一关联矩阵，将该拼接概率矩阵和该第二参数矩阵，进行矩阵相乘，确定第二关联矩阵，将该第一关联矩阵和该第二关联矩阵，进行矩阵相加，确定结果矩阵。
其中，结果矩阵可根据如下公式确定：
rsi＝Φs(xi)
rej＝Φe(xj)
在上述公式中，xi表示目标文本包含的第i个子句，xj表示目标文本包含的第j个子句，Φs表示首句分类网络，Φe表示尾句分类网络，rsi表示第i个子句为关键句中的首句的第一概率，表示第j个子句为关键句中的尾句的第二概率。Rs表示各第一概率组成的第一概率矩阵，Re表示各第二概率组成的第二概率矩阵，U1为第一参数矩阵，U2为第二参数矩阵，/>表示拼接，Rse表示结果矩阵。
最后，服务器根据结果矩阵，确定目标文本的关键句中的首句以及关键句中的尾句。
具体的，服务器确定结果矩阵所包含的各元素值中最大的元素值，作为目标元素值，根据目标元素值在结果矩阵中的行序和列序，确定目标文本的关键句中的首句以及关键句中的尾句，将首句到尾句之间的连续的各子句，作为预测关键句。
本说明书对结果矩阵的行和列的具体含义，不做限制。即，在结果矩阵中，可按照行序表示关键句中的首句的位置，按照列序表示关键句中的尾句的位置，亦可按照行序表示关键句中的尾句的位置，按照列序表示关键句中的首句的位置。
图4为本说明书提供的一种对应于图3分类层结构的关键句提取计算流程示意图，如图4所示，句矩阵维度为6×5，代表目标文本包含5个子句，每个子句的句特征维度为6×1，通过第一分类子层，得到第一概率矩阵和第二概率矩阵，最后通过第二分类子层，得到结果矩阵，结果矩阵维度为5×5。在本例中，按照行序表示关键句中的首句的位置，按照列序表示关键句中的尾句的位置，因为关键句中的首句的位置不能小于尾句的位置，所以结果矩阵为上三角矩阵。在图4中，目标元素值在结果矩阵中的位置为第2行第3列，表示目标文本的第2个子句为关键句中的首句，第3个子句为关键句中的尾句，目标文本的第2个子句到第3个子句之间的各子句，为预测关键句，在本例中，所要提取的关键句即为被确定为预测关键句的两个子句。
特别地，当目标元素值的行序和列序相同时，代表关键句中的首句与关键句中的尾句为同一个子句，即所要提取的关键句仅为一个子句。
结果矩阵的每个元素所在的行序和列序，可以确定该目标文本中一种关键句的首句和尾句的位置组合，该元素的元素值即为该位置组合所确定的各子句为所要提取的关键句的概率。结果矩阵中的元素值最大代表着该元素所在的行序和列序对应的位置组合所确定的各子句，是最有可能的关键句组合。因为输入分类层的是各子句的句特征组成的句矩阵，所以分类层是在句子级别对所要提取的关键句进行预测，分类层的结果矩阵所确定的预测关键句，是连续的子句的组合，为连续的一段文本，能够保留更加准确的语义，是更加准确的关键句提取结果。
S108：确定所述目标文本对应的标注关键句，根据所述标注关键句与所述预测关键句的差异，训练所述提取模型，所述提取模型用于响应于携带待处理文本的风险任务识别请求，将所述待处理文本输入所述提取模型，提取所述待处理文本中的预测关键句，并根据提取出的预测关键句识别任务是否存在风险。
首先，服务器获取目标文本对应的标注文本，确定标注文本中的标注关键句，以及确定标注关键句包含的各子句中的标注首句和标注尾句。标注关键句是目标文本中的一段连续子句组成的文本，标注首句为标注关键句中的第一个子句，标注尾句为标注关键句中的最后一个子句。
然后，根据标注首句和标注尾句在标注文本中的次序，确定标注矩阵，根据标注矩阵与结果矩阵的差异，训练提取模型。
具体的，服务器根据标注首句在标注文本中的次序，确定标注行序，根据标注尾句在目标文本中的次序，确定标注列序，根据目标文本包含的各子句数量，确定标注矩阵的维度，根据标注行序和标注列序，确定该标注矩阵的标注位置。通过第一预设值对标注矩阵中的标注位置赋值，通过第二预设值对标注矩阵中非标注位置赋值，确定标注矩阵。通常，第一预设值为1，第二预设值为0，这样得到的标注矩阵中只有标注位置的元素值为1，其他所有非标注位置的元素值为0。
标注矩阵中的行和列所表示的含义应当与结果矩阵相同。即，若结果矩阵以行序表示关键句中的首句的位置，以列序表示关键句中的尾句的位置，则标注矩阵也应当遵从这种表示方式，以行序表示标注关键句中的标注首句的位置，以列序表示标注关键句中的标注尾句的位置。这样才能根据标注矩阵与结果矩阵的差异，训练该提取模型。
如图4所示，标注矩阵中深色阴影部分代表标注位置，服务器以标注矩阵与结果矩阵的差异最小为目标训练该提取模型。
该提取模型训练完成后，响应于携带待处理文本的风险任务识别请求，将待处理文本输入所述提取模型，得到待处理文本的预测关键句并对该预测关键句进行提取。
在风控任务中，可根据提取到的预测关键句识别当前任务是否存在风险，如，根据提取的关键句判断当前任务中是否存在个人信息泄露风险、是否存在异常交易行为等等。
预测关键句是基于句子级别的句特征进行的预测，句特征反映了待处理文本中的每个子句的句子级别的语义。比直接基于各子句对应的词向量进行关键句的预测，确定的关键句更加准确。另外，本方法中提取到的关键句，为待处理文本中的一段连续子句组成的文本，保留了原始的待处理文本中的连续信息，提取到的关键句的语义更加完整。
在本说明书提供的关键句提取模型的训练方法中，待训练的提取模型包含编码层、池化层和分类层，获取目标文本，确定组成目标文本的各子句，针对每个子句，将该子句输入编码层，得到由该子句包含的各分词对应的词向量确定的词特征，将词特征输入池化层，得到句特征，将各子句的句特征输入分类层，确定该目标文本的关键句中的首句和尾句，将首句与尾句之间的各子句，作为预测关键句，根据目标文本的标注关键句与预测关键句的差异，训练提取模型。通过池化层将词语级别的词特征转化为句子级别的句特征，并通过句子级别的标注关键句对提取模型进行训练，可以得到连续的子句组成的预测关键句，从而提取到更加准确的关键句。
在上述步骤S106中，以图3所示的第二分类子层为双仿射分类器结构进行说明，S106中的结果矩阵的确定公式也是第二分类子层为双仿射分类器结构的情况下的计算公式。实际上，第二分类子层也可以为其他的网络结构，如单仿射分类器结构，则第二分类子层仅包含第一参数矩阵，结果矩阵可以按如下计算公式确定：
Rse＝Rs TU1Re+b
其中，b表示偏置，可根据需要设定。
得到结果矩阵后，可根据结果矩阵确定目标文本的关键句中的首句和尾句，具体确定方式与S106中所述的方式相同，在此不做赘述。
在上述步骤S106中，除图3所示的分类层结构，在分类层，也可采用其他的网络结构进行关键句的预测。
在本说明书的一个或多个实施例中，分类层仅包含第一分类子层，即分类层仅由首句分类网络和尾句分类网络组成。
服务器将目标文本的句矩阵，输入首句分类网络，确定句矩阵中各句特征对应的子句为关键句中的首句的第一概率。然后，将该句矩阵，输入尾句分类网络，确定句矩阵中各句特征对应的子句为关键句中的尾句的第二概率。最后，服务器将各第一概率中的最大概率对应的子句，作为关键句中的首句，将各第二概率中的最大概率对应的子句，作为关键句中的尾句，将首句与尾句之间的各子句，作为预测关键句。
相应的，当分类层仅包含第一分类子层时，标注矩阵也应当由首句标注矩阵和尾句标注矩阵组成。则在上述步骤S108中，服务器可根据标注关键句中的标注首句在标注文本中的次序，确定首句标注矩阵，根据标注关键句中的标注尾句在标注文本中的次序，确定尾句标注矩阵。
首句标注矩阵和尾句标注矩阵的维度均由目标文本所包含的子句的数量确定，在首句标注矩阵中标注首句的次序所对应位置的元素值为1，其他位置的元素值均为0。在尾句标注矩阵中，标注尾句的次序所对应位置的元素值为1，其他位置的元素值均为0。
服务器根据各第一概率确定第一概率矩阵，根据各第二概率确定第二概率矩阵，根据第一概率矩阵与首句标注矩阵的差异，训练首句分类网络，根据第二概率矩阵与尾句标注矩阵的差异，训练尾句分类网络。
在上述步骤S108中，由于文字语言本身的语义丰富性，在关键句提取任务中，所要提取的关键句若不是和标注关键句一模一样，如预测关键句中的首句比标注首句的次序提前一个，或预测关键句中的尾句比标注尾句的次序延后一个，所得到的预测关键句与标注关键句在语义上来说，并不会产生很大区别。
所以，在关键句提取任务中，标注关键句在一定程度上会减弱提取模型的泛化性，在训练过程中，若是提取模型过于向标注文本所给的标注关键句拟合，会导致该提取模型在训练集中得到很好的预测结果，在测试集中结果反而不好。
基于此，本说明书提供一种带噪训练的方法，对训练集中的标注数据进行平滑处理，以增强提取模型的泛化性，使提取模型在测试集同样保持良好性能。
具体的，服务器根据标注首句和标注尾句在目标文本中的次序，确定标注行序和标注列序。根据目标文本包含的各子句数量，确定标注矩阵的维度，根据标注行序和所述标注列序，确定所述标注矩阵的标注位置
具体确定标注行序和标注列序的规则，与标注矩阵中行和列的含义有关，应当与结果矩阵中行和列所表示的含义对应。如，在结果矩阵中，以行序表示关键句中的首句的位置，以列序表示关键句中的尾句的位置，则服务器根据标注首句在目标文本中的次序，确定标注行序，根据标注尾句在目标文本中的次序，确定标注列序。
然后，服务器确定标注位置的邻居位置和邻居数量，通过预设的噪声值，对标注位置的各邻居位置赋值，确定标注位置的各邻居位置的元素值，根据邻居数量和噪声值，确定总噪声值，根据第一预设值和总噪声值之差，确定标注位置的元素值。确定标注矩阵中既不是标注位置也不是标注位置的邻居位置的无关位置，通过第二预设值对各无关位置赋值，确定各无关位置的元素值，根据标注位置的元素值、标注位置的各邻居位置的元素值和各无关位置的元素值，确定标注矩阵。
通常，第一预设值为1，第二预设值为0，噪声值可根据需要设置。
标注矩阵中标注位置和标注位置的邻居位置的元素值，可根据如下公式确定：
其中，ωij表示标注矩阵第i行第j列的元素值，ε表示噪声值，K表示标注位置的邻居位置的邻居数量。
例如，目标文本包含5个子句，该目标文本中第2～3个子句为标注关键句，预设的噪声值为0.05，标注矩阵中以行序表示标注首句的次序，以列序表示标注尾句的次序，则标注位置为标注矩阵中第2行第3列的位置，标注位置的元素值为ω23，标注矩阵可表示如下：
在上面标注矩阵的示例中，标注位置的邻居位置的数量为4，噪声值为0.05，所以标注位置总噪声值为0.2，标注位置的元素值ω23＝0.80。邻居位置指标注位置上下左右直接相邻的位置，标注位置的元素值的大小与邻居位置的数量有关。若目标文本的第1～2个子句为标注关键句，则标注位置为标注矩阵中第1行第2列的位置，标注位置的邻居位置的数量为3，总噪声值为0.15，相应的标注位置的元素值ω12＝0.85。
图5为本说明书提供的一种用于带噪训练的标注矩阵示例图，图5中的深色阴影部分为标注位置，点状阴影部分为标注位置的邻居位置。在关键句提取模型的带噪训练的计算流程与图4所示的计算流程类似，只需把图4中的标注矩阵替换为图5所示的标注矩阵即可。
以上是本说明书提供的关键句提取模型的训练方法，基于同样的思路，本说明书还提供了相应的关键句提取模型的训练装置，如图6所示。
图6为本说明书提供的一种关键句提取模型的训练装置示意图，具体包括：
获取模块200，用于获取目标文本，确定组成所述目标文本的各子句；
编码模块202，用于针对每个子句，将该子句输入所述编码层，得到该子句包含的各分词的词向量，根据各词向量，确定该子句的词特征；
池化模块204，用于将所述词特征输入所述池化层，得到该子句的句特征；
预测模块206，用于将各子句的句特征输入所述分类层，确定所述目标文本的关键句中的首句以及所述关键句中的尾句，将所述首句与所述尾句之间的各子句，作为各预测关键句；
训练模块208，用于确定所述目标文本对应的标注关键句，根据所述标注关键句与所述预测关键句的差异，训练所述提取模型，所述提取模型用于响应于携带待处理文本的风险任务识别请求，将所述待处理文本输入所述提取模型，提取所述待处理文本中的预测关键句，并根据提取出的预测关键句识别任务是否存在风险。
可选地，所述预测模块206，所述分类层包含第一分类子层和第二分类子层，所述第一分类子层由首句分类网络和尾句分类网络组成，具体用于根据各子句的句特征，确定所述目标文本的句矩阵，将所述句矩阵输入所述首句分类网络，确定所述句矩阵中各句特征对应的子句为关键句中的首句的第一概率，根据各第一概率，确定第一概率矩阵，将所述句矩阵输入所述尾句分类网络，确定所述句矩阵中各句特征对应的子句为关键句中的尾句的第二概率，根据各第二概率，确定第二概率矩阵，将所述第一概率矩阵和所述第二概率矩阵，输入所述第二分类子层，得到结果矩阵，根据所述结果矩阵，确定所述目标文本的关键句中的首句以及所述关键句中的尾句。
可选地，所述预测模块206，所述第二分类子层包含两个参数矩阵，具体用于将所述第一概率矩阵和所述第二概率矩阵，进行拼接，确定拼接概率矩阵，确定所述第二分类子层的第一参数矩阵和第二参数矩阵，将所述第一概率矩阵的转置矩阵、所述第一参数矩阵和所述第二概率矩阵，进行矩阵相乘，确定第一关联矩阵，将所述拼接概率矩阵和所述第二参数矩阵，进行矩阵相乘，确定第二关联矩阵，将所述第一关联矩阵和所述第二关联矩阵，进行矩阵相加，确定结果矩阵。
可选地，所述预测模块206，具体用于确定所述结果矩阵所包含的各元素值中最大的元素值，作为目标元素值，根据所述目标元素值在所述结果矩阵中的行序，确定所述目标文本的关键句中的首句，根据所述目标元素值在所述结果矩阵中的列序，确定所述目标文本的关键句中的尾句。
可选地，所述训练模块208，具体用于获取所述目标文本对应的标注文本，确定所述标注文本中的标注关键句，以及确定所述标注关键句包含的各子句中的标注首句和标注尾句，根据所述标注首句和所述标注尾句在所述标注文本中的次序，确定标注矩阵，根据所述标注矩阵与所述结果矩阵的差异，训练所述提取模型。
可选地，所述训练模块208，具体用于根据所述标注首句在所述标注文本中的次序，确定标注行序，根据所述标注尾句在所述目标文本中的次序，确定标注列序，根据所述目标文本包含的各子句数量，确定标注矩阵的维度，根据所述标注行序和所述标注列序，确定所述标注矩阵的标注位置，通过第一预设值对所述标注矩阵中的所述标注位置赋值，通过第二预设值对所述标注矩阵中非标注位置赋值，确定所述标注矩阵。
可选地，所述训练模块208，具体用于根据所述标注首句在所述目标文本中的次序，确定标注行序，根据所述标注尾句在所述标注文本中的次序，确定标注列序；
根据所述目标文本包含的各子句数量，确定标注矩阵的维度，根据所述标注行序和所述标注列序，确定所述标注矩阵的标注位置，确定所述标注位置的邻居位置和邻居数量，通过预设的噪声值，对所述标注位置的各邻居位置赋值，确定所述标注位置的各邻居位置的元素值，根据所述邻居数量和所述噪声值，确定总噪声值，根据第一预设值和所述总噪声值之差，确定所述标注位置的元素值，确定所述标注矩阵中既不是所述标注位置也不是所述标注位置的邻居位置的无关位置，通过第二预设值对各无关位置赋值，确定所述各无关位置的元素值，根据所述标注位置的元素值、所述标注位置的各邻居位置的元素值和所述各无关位置的元素值，确定标注矩阵。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的关键句提取模型的训练方法。
本说明书还提供了图7所示的电子设备的示意结构图。如图7所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的关键句提取模型的训练方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(ProgrammableLogic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate Array，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logiccompiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware DescriptionLanguage，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced BooleanExpression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java HardwareDescription Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware DescriptionLanguage)等，目前最普遍使用的是VHDL(Very-High-Speed Integrated CircuitHardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种关键句提取模型的训练方法，待训练的提取模型包含编码层、池化层和分类层，所述方法包括：
获取目标文本，确定组成所述目标文本的各子句；
针对每个子句，将该子句输入所述编码层，得到该子句包含的各分词的词向量，根据各词向量，确定该子句的词特征；
将所述词特征输入所述池化层，得到该子句的句特征；
将各子句的句特征输入所述分类层，确定所述目标文本的关键句中的首句以及所述关键句中的尾句，将从所述首句到所述尾句的各子句，作为预测关键句；
确定所述目标文本对应的标注关键句，根据所述标注关键句与所述预测关键句的差异，训练所述提取模型，所述提取模型用于响应于携带待处理文本的风险任务识别请求，将所述待处理文本输入所述提取模型，提取所述待处理文本中的预测关键句，并根据提取出的预测关键句识别任务是否存在风险。
2.如权利要求1所述的方法，所述分类层包含第一分类子层和第二分类子层，所述第一分类子层由首句分类网络和尾句分类网络组成；
将各子句的句特征输入所述分类层，确定所述目标文本的关键句中的首句以及所述关键句中的尾句，具体包括：
根据各子句的句特征，确定所述目标文本的句矩阵；
将所述句矩阵输入所述首句分类网络，确定所述句矩阵中各句特征对应的子句为关键句中的首句的第一概率，根据各第一概率，确定第一概率矩阵；
将所述句矩阵输入所述尾句分类网络，确定所述句矩阵中各句特征对应的子句为关键句中的尾句的第二概率，根据各第二概率，确定第二概率矩阵；
将所述第一概率矩阵和所述第二概率矩阵，输入所述第二分类子层，得到结果矩阵；
根据所述结果矩阵，确定所述目标文本的关键句中的首句以及所述关键句中的尾句。
3.如权利要求2所述的方法，所述第二分类子层包含两个参数矩阵；
将所述第一概率矩阵和所述第二概率矩阵，输入所述第二分类子层，得到结果矩阵，具体包括：
将所述第一概率矩阵和所述第二概率矩阵，进行拼接，确定拼接概率矩阵；
确定所述第二分类子层的第一参数矩阵和第二参数矩阵，将所述第一概率矩阵的转置矩阵、所述第一参数矩阵和所述第二概率矩阵，进行矩阵相乘，确定第一关联矩阵；
将所述拼接概率矩阵和所述第二参数矩阵，进行矩阵相乘，确定第二关联矩阵；
将所述第一关联矩阵和所述第二关联矩阵，进行矩阵相加，确定结果矩阵。
4.如权利要求2所述的方法，根据所述结果矩阵，确定所述目标文本的关键句中的首句以及所述关键句中的尾句，具体包括：
确定所述结果矩阵所包含的各元素值中最大的元素值，作为目标元素值；
根据所述目标元素值在所述结果矩阵中的行序，确定所述目标文本的关键句中的首句，根据所述目标元素值在所述结果矩阵中的列序，确定所述目标文本的关键句中的尾句。
5.如权利要求2所述的方法，确定所述目标文本对应的标注关键句，根据所述标注关键句与所述预测关键句的差异，训练所述提取模型，具体包括：
获取所述目标文本对应的标注文本，确定所述标注文本中的标注关键句，以及确定所述标注关键句包含的各子句中的标注首句和标注尾句；
根据所述标注首句和所述标注尾句在所述标注文本中的次序，确定标注矩阵；
根据所述标注矩阵与所述结果矩阵的差异，训练所述提取模型。
6.如权利要求5所述的方法，根据所述标注首句和所述标注尾句在所述标注文本中的次序，确定标注矩阵，具体包括：
根据所述标注首句在所述标注文本中的次序，确定标注行序，根据所述标注尾句在所述目标文本中的次序，确定标注列序；
根据所述目标文本包含的各子句数量，确定标注矩阵的维度，根据所述标注行序和所述标注列序，确定所述标注矩阵的标注位置；
通过第一预设值对所述标注矩阵中的所述标注位置赋值，通过第二预设值对所述标注矩阵中非标注位置赋值，确定所述标注矩阵。
7.如权利要求5所述的方法，根据所述标注首句和所述标注尾句在所述标注文本中的次序，确定标注矩阵，具体包括：
根据所述标注首句在所述目标文本中的次序，确定标注行序，根据所述标注尾句在所述标注文本中的次序，确定标注列序；
根据所述目标文本包含的各子句数量，确定标注矩阵的维度，根据所述标注行序和所述标注列序，确定所述标注矩阵的标注位置；
确定所述标注位置的邻居位置和邻居数量，通过预设的噪声值，对所述标注位置的各邻居位置赋值，确定所述标注位置的各邻居位置的元素值；
根据所述邻居数量和所述噪声值，确定总噪声值；
根据第一预设值和所述总噪声值之差，确定所述标注位置的元素值；
确定所述标注矩阵中既不是所述标注位置也不是所述标注位置的邻居位置的无关位置，通过第二预设值对各无关位置赋值，确定所述各无关位置的元素值；
根据所述标注位置的元素值、所述标注位置的各邻居位置的元素值和所述各无关位置的元素值，确定标注矩阵。
8.一种关键句提取模型的训练装置，待训练的提取模型包含编码层、池化层和分类层，所述装置包括：
获取模块，获取目标文本，确定组成所述目标文本的各子句；
编码模块，针对每个子句，将该子句输入所述编码层，得到该子句包含的各分词的词向量，根据各词向量，确定该子句的词特征；
池化模块，将所述词特征输入所述池化层，得到该子句的句特征；
预测模块，将各子句的句特征输入所述分类层，确定所述目标文本的关键句中的首句以及所述关键句中的尾句，将所述首句与所述尾句之间的各子句，作为预测关键句；
训练模块，确定所述目标文本对应的标注关键句，根据所述标注关键句与所述预测关键句的差异，训练所述提取模型，所述提取模型用于响应于携带待处理文本的风险任务识别请求，将所述待处理文本输入所述提取模型，提取所述待处理文本中的预测关键句，并根据提取出的预测关键句识别任务是否存在风险。
9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1～7任一项所述的方法。
CN202410384081.3A 2024-03-29 2024-03-29 一种关键句提取模型的训练方法、装置及存储介质 Pending CN118194949A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410384081.3A CN118194949A (zh) 2024-03-29 2024-03-29 一种关键句提取模型的训练方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410384081.3A CN118194949A (zh) 2024-03-29 2024-03-29 一种关键句提取模型的训练方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN118194949A true CN118194949A (zh) 2024-06-14

Family

ID=91408759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410384081.3A Pending CN118194949A (zh) 2024-03-29 2024-03-29 一种关键句提取模型的训练方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN118194949A (zh)

Similar Documents

Publication Publication Date Title
CN116227474B (zh) 一种对抗文本的生成方法、装置、存储介质及电子设备
CN113221555B (zh) 一种基于多任务模型的关键词识别方法、装置及设备
CN117591661B (zh) 一种基于大语言模型的问答数据构建方法及装置
CN111401062B (zh) 文本的风险识别方法、装置及设备
CN111144093B (zh) 一种智能文本处理方法、装置、电子设备及存储介质
CN113887227B (zh) 一种模型训练与实体识别方法及装置
CN112417093B (zh) 一种模型训练的方法及装置
CN116312480A (zh) 一种语音识别方法、装置、设备及可读存储介质
CN114860905B (zh) 意图识别方法、装置及设备
CN113887206B (zh) 一种模型训练及关键词提取方法及装置
CN117034942B (zh) 一种命名实体识别方法、装置、设备及可读存储介质
CN116151355B (zh) 一种模型训练和业务执行的方法、装置、介质及设备
CN114077650A (zh) 口语理解模型的训练方法和装置
CN117591622A (zh) 一种模型训练和业务执行方法、装置、存储介质及设备
CN118194949A (zh) 一种关键句提取模型的训练方法、装置及存储介质
CN115238080A (zh) 实体链接方法及相关设备
CN117079646B (zh) 一种语音识别模型的训练方法、装置、设备及存储介质
CN116070916B (zh) 数据处理方法、装置及设备
CN118098266B (zh) 一种基于多模型选择的语音数据处理方法及装置
CN117573849B (zh) 一种知识图谱多跳问答方法、装置、设备及存储介质
CN114611517B (zh) 基于深度学习的命名实体识别方法、装置、设备和介质
CN116451808B (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN117171346A (zh) 一种实体链接方法、装置、存储介质及电子设备
CN116541509A (zh) 数据处理方法、装置及设备
CN116089577A (zh) 一种关键词的标注方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination