CN110210037B - 面向循证医学领域的类别检测方法 - Google Patents
面向循证医学领域的类别检测方法 Download PDFInfo
- Publication number
- CN110210037B CN110210037B CN201910508791.1A CN201910508791A CN110210037B CN 110210037 B CN110210037 B CN 110210037B CN 201910508791 A CN201910508791 A CN 201910508791A CN 110210037 B CN110210037 B CN 110210037B
- Authority
- CN
- China
- Prior art keywords
- sentence
- vector
- layer
- sentences
- lstm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 208000011580 syndromic disease Diseases 0.000 title description 2
- 239000013598 vector Substances 0.000 claims abstract description 71
- 239000013604 expression vector Substances 0.000 claims abstract description 9
- 239000010410 layer Substances 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 239000002356 single layer Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 11
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000012549 training Methods 0.000 description 12
- 239000003814 drug Substances 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种面向循证医学领域的类别检测方法，包括以下步骤：将摘要中的每个句子分别进行ELMo与Bi‑LSTM两种处理，得到句向量；将所述句向量进行编码，得到包含有句子之间语义关系的文本表示向量；将所述文本表示向量输入CRF模型进行句子序列分类，将待分类句子和句子类别标签分别作为CRF模型的观察序列和状态序列，通过下层网络提取的句子关联特征获得每个句子的标签概率。本发明实现循证医学文本摘要类别检测，利用多连接Bi‑LSTM网络捕获句子间依赖关系与上下文信息，结合多层自注意力机制，提高了句子编码的整体质量，并且在公开的医学摘要数据集上取得了不错的效果。
Description
技术领域
本发明涉及英文医学文本摘要的信息化处理技术领域，具体的说是一种面向循证医学领域的类别检测方法。
背景技术
循证医学(Evidence-Based Medicine，EBM)是一种临床实践方法，通过分析PubMeb等大型医学文献数据库以及检索相关临床主题文本来获取证据。EBM以论文为开端，经过人工判断进一步提炼特定问题所依赖的证据基础。EBM领域临床实践问题的定义往往遵从PICO原则，即：Population(P)；Intervention(I)；Comparison(C)；Outcome(O)。
为完成从文章到医疗证据的转换，需要对文章摘要进行深度梳理。摘要是对医学文章内容不加注释和评论的简短陈述，要求简单扼要地说明研究工作的目的、研究方法和最终结论等。如表1所示，生物医学文章摘要中一般以无结构化展现论文研究的临床实践主题、人群、研究方法和实验结果等，由于缺乏有效的自动识别技术导致医生检索医学证据时效率低下。当摘要内容以结构化的形式出现，阅读摘要将更加简便高效。
表1标注前后对比
医学文本摘要的类别检测可以转化为摘要句子序列的分类任务。摘要的句子包含上下文信息，并且句子间存在复杂的语义和语法关联性，使得其分类问题有别于独立句子的分类问题。
在过去的研究中，临床医生对PICO标准或者其他类似模式的使用已经得到验证，而研究者也寻求更好的句子分类模型来实现类似PICO类标的自动检测。
机器学习分类方法通过事先已有的文本训练集有监督地建立分类器，节省大量的人力，且不限于特定的领域。传统机器学习方法用于临床医学序列句子分类的主要有朴素贝叶斯、支持向量机以及条件随机场等。但这些方法往往需要大量的手工构建特征，如语法特征、语义特征和结构特征等。
近几年，对于使用神经网络解决序列句子分类问题的研究层出不穷，神经网络的优点在于自动构建特征。深度学习解决文本分类问题主要通过卷积神经网络(Convolutional Neural Network，CNN)进行特征提取，再通过循环神经网络(RecurrentNeural Network，RNN)进行建模。自注意力机制不依赖于其他特征和词之间的距离，直接计算词语依赖关系，学习句子的内部结构。Yang等人提出的层级注意力机制与神经网络相结合的模型在文本分类任务上取得了不错的效果。Transformer放弃CNN和RNN，使用注意力机制和全连接层构成端到端模型，广泛应用于文本分类等多个任务。Komninos等人引入基于上下文的词向量改善句子分类性能。以ELMo(Embeddings from Language Models)、BERT(Bidirectional Encoder Representations from Transformers)为主的预训练语言模型，将生成的词向量经过微调处理，在多项自然语言处理任务上都取得了最佳效果，Howard等人构建用于文本分类的预训练语言模型。然而，以上模型都没有直接应用于医学领域。Jin等人第一次将深度学习用于循证医学类标检测任务，代表深度学习模型可以大大提升序列句子分类任务的效果，但该模型在生成句向量时忽略了摘要内句子间的关系。
现有工作用于临床医学类标检测时，往往将句子单独分类，在文本表达层面没有考虑到词语之间、句子之间依赖关系，这将会导致分类效果不佳。Song等人将句子的前后文整体编码与待分类句子向量进行拼接用于药物分类，缺少句子内部依赖。Lee和Dernoncourt等人在对多轮对话进行分类时，将前文语句用于当前句分类，融入上下文信息。后使用双向人工神经网络(Bidirectional Artificial Neural Network，Bi-ANN)结合字符信息进行生物医学摘要句子分类，CRF优化分类结果。
发明内容
针对现有技术中存在的上述不足之处，本发明要解决的技术问题是提供一种面向循证医学领域的类别检测方法，用于英文摘要文本信息表示以及句子特征处理，目标是构建医学摘要文本的自动标注方法。
本发明为实现上述目的所采用的技术方案是：一种面向循证医学领域的类别检测方法，包括以下步骤：
将摘要中的每个句子分别进行ELMo与Bi-LSTM两种处理，得到句向量；
将所述句向量进行编码，得到包含有句子之间语义关系的文本表示向量；
将所述文本表示向量输入CRF模型进行句子序列分类，将待分类句子和句子类别标签分别作为CRF模型的观察序列和状态序列，通过下层网络提取的句子关联特征获得每个句子的标签概率。
所述将摘要中的每个句子进行ELMo处理，具体为：
将即单词序列Sentence＝{w1，w2，...，wt}作为输入，其中t为句子长度，wi为句子中的单词，然后经过ELMo和平均池化层处理，得到句向量
所述将摘要中的每个句子进行Bi-LSTM处理，包括以下步骤：
通过公式(1)计算句子中每个单词的自注意力值：
将多个自注意力值进行拼接，得到句向量
其中，
表示句子隐层向量矩阵的转置，
表示权重
的维度是1*da，其中超参数da，W∈Rda×2×u，u为隐层单元数，即LSTM的隐藏层维度，softmax()表示归一化函数，concat()表示向量拼接。
所述句向量由经过ELMo处理的句向量
与经过Bi-LSTM处理的句向量
连接而成，即：
其中，concat()表示向量拼接。
所述将摘要内容进行编码，得到包含有句子之间语义关系的文本表示向量，包括以下步骤：
给摘要中n个独立句子进行编码，得到编码后的向量序列
将向量序列
作为多连接Bi-LSTM的输入，将L层多连接LSTM的第一层的结果与句向量拼接作为第二层的输入，其后所有层的输入都是前一层输出的拼接，输出一系列包含上下文信息的文本表示向量；
对L层的多连接Bi-LSTM的输出取平均；
将得到的包含上下文信息的新的句子编码向量输入到单层前馈神经网络中，输出的每个句向量
表示句子属于每个标签的概率，其中d是标签个数。
所述句子的标签序列概率为：
其中，y1：n为标签序列，yi表示分配给第i个句子的预测标签，
为正确的标签序列，
表示
的得分定义为标签的预测概率与转移概率之和，score(y1：n)为y1：n的得分，定义为标签的预测概率与转移概率之和：
其中，yi表示分配给第i个句子的预测标签，T[i：j]定义为带有标签i的句子之后是带有标签j的句子的概率，n表示一个摘要中的句子数，i表示摘要中的第i个句子，
表示第i个预测标签在上一层得到的预测概率。
本发明具有以下优点及有益效果：
1、本发明构建了一种层级多连接网络模型，实现循证医学文本摘要类别检测，该模型利用多连接Bi-LSTM(Bidirectional Long Short-Term Memory)网络捕获句子间依赖关系与上下文信息，结合多层自注意力机制，提高了句子编码的整体质量，并且在公开的医学摘要数据集上取得了不错的效果。
2、在未来的工作中，本发明的HMcN(Hierarchical Multi-connected Network)模型将应用于解决与循证医学相关的具体问题，例如医学文本挖掘以及文档检索等，达到辅助医疗的目的。
附图说明
图1为本发明的HMcN模型结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明的面向循证医学领域的类别检测方法提出了基于层级多连接网络(Hierarchical Multi-connected Network，HMcN)的类别检测算法，HMcN模型由三部分组成：单句编码、文本信息嵌入和标签优化，如图1所示，摘要中的每个句子经过单句编码层的ELMo和Bi-LSTM处理，获取句子内部语义信息，得到的句向量以摘要为单位输入到文本信息嵌入层，通过多连接Bi-LSTM网络抽取句向量间的依赖关系，最后标签优化层的条件随机场(Conditional random field，CRF)模型对类别进行标注。
本发明的实施例中，使用小写字母表示标量，如x1；带箭头的小写字母表示向量，如
粗体大写字母表示矩阵，如
标量的序列如{x1，x1，...，xj}和向量序列如
分别用x1：j和
表示。实施例用到的符号及其含义如表2所示：
表2文中符号及其含义
单句编码：每个句子分别经由ELMo与Bi-LSTM两种不同的处理，得到句向量输入上层网络。这两种处理方法可以描述为：
1)为了解决一词多义问题，序列输入预训练语言模型ELMo中，单词经过字符级别处理，有效解决分词结果在词表中不存在的问题，即未登录词问题。ELMo模型可以学习到复杂的词汇用法，如：语法和语义，相同的词在不同的上下文中有不同的表示等。将句向量即单词序列Sentence＝{w1，w2，...，wt}作为输入，其中t为句子长度，然后经过ELMo和平均池化层(ELMo可参考《Deep contextualized word representations》，平均池化层可参考《Going deeper with convolutions》)，得到最终的句向量
2)采用维基百科、PubMeb和PMC文本联合训练得到的预训练词向量矩阵，其中包含医学实体信息并经过Bi-LSTM网络编码。利用句向量计算自注意力值可以发现句子内部依赖关系及关键词，而多次计算自注意力值允许模型在不同的子空间学习相关知识。将多个结果进行拼接可以得到句向量
公式(1)表示计算一次自注意力权重，其中
表示句子隐层向量矩阵的转置，
其中超参数da(超参数是人为设置的参数，参数表里有详细介绍)，W∈Rda×2×u，u为隐层单元数。得到的权重分别与隐层表示矩阵相乘再进行拼接，latt为多层自注意力层数。最终每个句向量
由
与
连接而成。
文本信息嵌入层将摘要内容进行编码，得到包含有句子之间语义关系的文本表示向量。
给定摘要中n个独立句子通过单句编码层得到编码后的向量序列
并将其作为多连接Bi-LSTM的输入。HMcN中多连接Bi-LSTM模块在DC-Bi-LSTM架构基础上进行了改进，输入由Glove词向量变为底层获取的句向量。具体来说，该架构由L层Bi-LSTM网络组合而得，在第一个Bi-LSTM网络中输入句向量序列，得到双向的隐层表示，将这一层的结果与句向量拼接作为第二层的输入，其后所有层的输入都是前一层输出的拼接，构成多连接Bi-LSTM网络。其输出一系列新的句子编码向量，这些向量包含上下文信息。通过平均池化层，对L层Bi-LSTM的输出取平均(深层的LSTM可以捕获语义特征，浅层的可以捕获语法特征，取平均可以获取多种特征，充分利用多层LSTM的编码效果)。以上处理方式可以由公式(4)-(8)表示：
其中，公式(6)-(8)中
表示第i个句子在第l层Bi-LSTM的向量表示，是由公式(4)中正向隐层向量
和公式(5)中反向隐层向量
拼接而得。
与
分别表示前一时间步与后一时间步的隐层表示，
表示0到l-1层LSTM隐层表示拼接，公式(8)为对L层Bi-LSTM的输出取平均。将这些向量输入到单层前馈神经网络中，输出的每个句向量
表示句子属于每个标签的概率，其中d是标签个数。
与传统的RNN或深层RNN相比，多连接Bi-LSTM网络可以采用更少的参数、更少的层数获得更好的效果。对于每个RNN层，它都可以直接读取原始输入序列，即本发明方法中经ELMo和Bi-LSTM编码的句向量，而不需通过网络传递所有有用信息。本发明采用极少的网络神经元数，避免模型复杂度过高。
标签优化：条件随机场模型可以提高句子序列分类的性能，其中待分类句子和句子类别标签分别作为CRF模型的观察序列和状态序列。通过下层网络提取的句子关联特征获得给定句子的标签概率。
已知上一层文本编码层输出的句子向量序列
该层输出一个标签序列y1：n，其中yi表示分配给第i个句子的预测标签。将T[i：j]定义为带有标签i的句子之后是带有标签j的句子的概率。y1：n的得分定义为标签的预测概率与转移概率之和：
通过softmax函数可以获得正确的标签序列概率：
其中，Yn表示所有可能的标签序列的集合。在训练阶段，目标是最大限度地提高正确标签序列的概率。在测试阶段，对给定的句子表示序列，通过Viterbi算法选择得分最大的标签序列作为预测结果。
为了定量分析HMcN模型对医学摘要中句子类别的检测性能，在两个标准医学摘要数据集上进行了分类实验。数据集分别介绍如下：
NICTA-PIBOSO数据集(简称NP数据集)：这个数据集共享在ALTA 2012 SharedTask上，主要目的是将生物医学摘要句子分类任务应用于循证医学，并包含类标“Population”、“Intervention”、“Outcome”、“Study Design”、“Background”、和“Other”。
PubMeb 20k RCT数据集(简称PubMeb数据集)：这个数据集由Demoncourt、等人在2017年创建，数据来自生物医学文章最大的数据库PubMeb，类标包括“Objectives”、“Background”、“Methods”、“Results”和“Conclusions”。
数据集具体信息如表3所示：
表3实验数据
其中，|C|和|V|分别表示类标总数与词汇表大小，对于训练集、验证集和测试集，括号外的数字表示摘要数量，括号内的数字表示句子数量。每个摘要的句子都只有唯一标签。
HMcN模型在Tensorflow框架以及Python语言下设计实现，运行平台为Windows7。使用开源预训练模型ELMo得到句向量，句向量隐层维度为1024。采用随机梯度下降算法和Adam算法更新包括Bi-LSTM网络和多层自注意力等模块的参数。在每一层使用Dropout方法解决过拟合问题，采用正则化进一步缩小训练集结果与验证集结果之间的差距。参数设置如表4所示。
表4参数设置
采用准确率(Precision)、召回率(Recall)和F1值度量实验效果，实验结果如表5所示：
表5对比实验结果
LR：逻辑回归分类器，它使用从当前句子中提取的n-gram特征，不使用来自周围句子的任何信息。
CRF：条件随机场分类器，待分类句向量作为输入，每个输出变量对应一个句子的标签，CRF考虑的句子序列是整个摘要。因此，CRF基线在对当前句子进行分类时同时使用前面和后面的句子。
Best Published：Lui于2012年提出的一种方法，基于多种特征集，引入特征堆叠，在NP数据集上表现最佳。
Bi-ANN：Dernoncourt等人于2017年提出的标注模型，该模型通过CRF与字符向量优化分类结果。
如表5所示，HMcN模型的F1值比其他模型分别提高F1分数0.4％-8.3％。LR方法在PubMed数据集上的表现优于在NP数据集上的表现，这表明在NP数据集中标签间的依赖关系更紧密。HMcN模型的指标均优于CRF模型，表明本模型对CRF的输入进行了优化，加入了句子级别的特征，并且不依赖于人工构建特征。HMcN模型的指标在NICTA-PIBOSO数据集上优于Best Published方法，表明HMcN模型可以获取更深层特征信息。HMcN模型的指标优于Bi-ANN模型，表明HMcN为文本表达融入了词、句、段多粒度信息，句子编码时关注到句子内部依赖，进而优化了类别检测结果。
表6和表7分别展示了PubMeb数据集上单标签预测时的混淆矩阵与预测效果。表6中的列表示真实标签，行表示预测标签。例如476个标签为“Background”的句子被预测为“Objectives”。可以看出区分“Background”与“Objectives”标签是分类器遇到的最大困难，主要原因在于“Background”与“Objectives”本身存在混淆性，且“Objectives”标签的句子与摘要中其他类别的句子相比，语义性与特征性不明显。
表6单标签预测的混淆矩阵
表7单标签预测的预测效果
表8展示了在PubMed数据集上对模型进行训练后的转移矩阵，转移矩阵由CRF生成，其有效地反映了标签之间的转换关系。其中行表示前一句子类别，列表示当前句子类别。例如，从表中可以看出类别为“Objectives”的句子之后最有可能的是类别为“Methods”的句子(0.39)，最不可能的是类别为“Conclusions”(-0.97)的句子。
表8转移矩阵
为了验证模型中每个步骤的效果，分别移除特定模块构建下列消融模型：HMcN-multiLSTM、HMcN-attention、HMcN-ELMo和HMcN-CRF分别表示去除多连接Bi-LSTM架构，去除多层自注意力、去除ELMo得到的句向量编码、去除CRF层的消融模型。从表9可以看出，模型的每个模块都有助于类别检测的效果，而以句向量作为输入的多连接Bi-LSTM架构是HMcN模型最重要的部分。
表9模型消融
Claims (5)
1.一种面向循证医学领域的类别检测方法，其特征在于，包括以下步骤：
将摘要中的每个句子分别进行ELMo与Bi-LSTM两种处理，得到句向量；
将所述句向量进行编码，得到包含有句子之间语义关系的文本表示向量；
将所述文本表示向量输入CRF模型进行句子序列分类，将待分类句子和句子类别标签分别作为CRF模型的观察序列和状态序列，通过下层网络提取的句子关联特征获得每个句子的标签概率；
所述将句向量进行编码，得到包含有句子之间语义关系的文本表示向量，包括以下步骤：
给摘要中n个独立句子进行编码，得到编码后的向量序列
将向量序列
作为多连接Bi-LSTM的输入，将L层多连接LSTM的第一层的结果与句向量拼接作为第二层的输入，其后所有层的输入都是前一层输出的拼接，输出一系列包含上下文信息的文本表示向量；
对L层的多连接Bi-LSTM的输出取平均；
将得到的包含上下文信息的新的句子编码向量输入到单层前馈神经网络中，输出的每个句向量
表示句子属于每个标签的概率，其中d是标签个数。
2.根据权利要求1所述的面向循证医学领域的类别检测方法，其特征在于，所述将摘要中的每个句子进行ELMo处理，具体为：
将即单词序列Sentence＝{w1，w2，...，wt}作为输入，其中t为句子长度，wi为句子中的单词，然后经过ELMo和平均池化层处理，得到句向量
3.根据权利要求1所述的面向循证医学领域的类别检测方法，其特征在于，所述将摘要中的每个句子进行Bi-LSTM处理，包括以下步骤：
通过公式(1)计算句子中每个单词的自注意力值：
将多个自注意力值进行拼接，得到句向量
其中，
表示句子隐层向量矩阵的转置，
表示权重
的维度是1*da，其中超参数da，W∈Rda×2×u，u为隐层单元数，即LSTM的隐藏层维度，softmax()表示归一化函数，concat()表示向量拼接。
4.根据权利要求1所述的面向循证医学领域的类别检测方法，其特征在于，所述句向量由经过ELMo处理的句向量
与经过Bi-LSTM处理的句向量
连接而成，即：
其中，concat()表示向量拼接。
5.根据权利要求1所述的面向循证医学领域的类别检测方法，其特征在于，所述句子的标签概率为：
其中，y1：n为标签序列，yi表示分配给第i个句子的预测标签，
为正确的标签序列，
表示
的得分定义为标签的预测概率与转移概率之和，score(y1：n)为y1：n的得分，定义为标签的预测概率与转移概率之和：
其中，yi表示分配给第i个句子的预测标签，T[i：j]定义为带有标签i的句子之后是带有标签j的句子的概率，n表示一个摘要中的句子数，i表示摘要中的第i个句子，
表示第i个预测标签在上一层得到的预测概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910508791.1A CN110210037B (zh) | 2019-06-12 | 2019-06-12 | 面向循证医学领域的类别检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910508791.1A CN110210037B (zh) | 2019-06-12 | 2019-06-12 | 面向循证医学领域的类别检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110210037A CN110210037A (zh) | 2019-09-06 |
| CN110210037B true CN110210037B (zh) | 2020-04-07 |
Family
ID=67792374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910508791.1A Active CN110210037B (zh) | 2019-06-12 | 2019-06-12 | 面向循证医学领域的类别检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110210037B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688487A (zh) * | 2019-09-29 | 2020-01-14 | 中国建设银行股份有限公司 | 一种文本分类的方法和装置 |
| CN110704715B (zh) * | 2019-10-18 | 2022-05-17 | 南京航空航天大学 | 一种网络霸凌的检测方法及系统 |
| CN111046672B (zh) * | 2019-12-11 | 2020-07-14 | 山东众阳健康科技集团有限公司 | 多场景文本摘要生成方法 |
| CN113035310B (zh) * | 2019-12-25 | 2024-01-09 | 医渡云（北京）技术有限公司 | 一种基于深度学习的医疗rct报告分析方法及装置 |
| CN111368528B (zh) * | 2020-03-09 | 2022-07-08 | 西南交通大学 | 一种面向医学文本的实体关系联合抽取方法 |
| CN111522964A (zh) * | 2020-04-17 | 2020-08-11 | 电子科技大学 | 一种藏医药文献核心概念挖掘方法 |
| CN111507089B (zh) * | 2020-06-09 | 2022-09-09 | 平安科技（深圳）有限公司 | 基于深度学习模型的文献分类方法、装置和计算机设备 |
| CN111813924B (zh) * | 2020-07-09 | 2021-04-09 | 四川大学 | 基于可扩展动态选择与注意力机制的类别检测算法及系统 |
| CN111858933B (zh) * | 2020-07-10 | 2024-08-06 | 暨南大学 | 基于字符的层次化文本情感分析方法及系统 |
| CN113342970B (zh) * | 2020-11-24 | 2023-01-03 | 中电万维信息技术有限责任公司 | 一种多标签复杂文本分类方法 |
| CN112883732A (zh) * | 2020-11-26 | 2021-06-01 | 中国电子科技网络信息安全有限公司 | 基于关联记忆网络的中文细粒度命名实体识别方法及装置 |
| CN112860889A (zh) * | 2021-01-29 | 2021-05-28 | 太原理工大学 | 一种基于bert的多标签分类方法 |
| CN112861757B (zh) * | 2021-02-23 | 2022-11-22 | 天津汇智星源信息技术有限公司 | 基于文本语义理解的笔录智能审核方法及电子设备 |
| CN112836772A (zh) * | 2021-04-02 | 2021-05-25 | 四川大学华西医院 | 基于LightGBM集成多个BERT模型的随机对照试验识别方法 |
| CN113849600A (zh) * | 2021-09-08 | 2021-12-28 | 南京烽火星空通信发展有限公司 | 一种基于神经网络的文本定位技术 |
| CN114298044B (zh) * | 2021-12-27 | 2024-10-15 | 山东师范大学 | 一种中文命名实体识别方法及系统 |
| CN114782739B (zh) * | 2022-03-31 | 2023-07-14 | 电子科技大学 | 基于双向长短期记忆层和全连接层的多模态分类方法 |
| CN114861630B (zh) * | 2022-05-10 | 2024-07-19 | 马上消费金融股份有限公司 | 信息获取及相关模型的训练方法、装置、电子设备和介质 |
| CN115132314B (zh) * | 2022-09-01 | 2022-12-20 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 检查印象生成模型训练方法、装置及生成方法 |
| CN116542252B (zh) * | 2023-07-07 | 2023-09-29 | 北京营加品牌管理有限公司 | 一种金融文本核查方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108363978A (zh) * | 2018-02-12 | 2018-08-03 | 华南理工大学 | 采用深度学习和ukf的基于肢体语言的情感感知方法 |
| CN108829662A (zh) * | 2018-05-10 | 2018-11-16 | 浙江大学 | 一种基于条件随机场结构化注意力网络的对话行为识别方法及系统 |
| CN109165384A (zh) * | 2018-08-23 | 2019-01-08 | 成都四方伟业软件股份有限公司 | 一种命名实体识别方法及装置 |
| CN109871451A (zh) * | 2019-01-25 | 2019-06-11 | 中译语通科技股份有限公司 | 一种融入动态词向量的关系抽取方法和系统 |
| CN110147777A (zh) * | 2019-05-24 | 2019-08-20 | 合肥工业大学 | 一种基于深度迁移学习的绝缘子类别检测方法 |
| US10395118B2 (en) * | 2015-10-29 | 2019-08-27 | Baidu Usa Llc | Systems and methods for video paragraph captioning using hierarchical recurrent neural networks |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6946715B2 (en) * | 2003-02-19 | 2005-09-20 | Micron Technology, Inc. | CMOS image sensor and method of fabrication |
-
2019
- 2019-06-12 CN CN201910508791.1A patent/CN110210037B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10395118B2 (en) * | 2015-10-29 | 2019-08-27 | Baidu Usa Llc | Systems and methods for video paragraph captioning using hierarchical recurrent neural networks |
| CN108363978A (zh) * | 2018-02-12 | 2018-08-03 | 华南理工大学 | 采用深度学习和ukf的基于肢体语言的情感感知方法 |
| CN108829662A (zh) * | 2018-05-10 | 2018-11-16 | 浙江大学 | 一种基于条件随机场结构化注意力网络的对话行为识别方法及系统 |
| CN109165384A (zh) * | 2018-08-23 | 2019-01-08 | 成都四方伟业软件股份有限公司 | 一种命名实体识别方法及装置 |
| CN109871451A (zh) * | 2019-01-25 | 2019-06-11 | 中译语通科技股份有限公司 | 一种融入动态词向量的关系抽取方法和系统 |
| CN110147777A (zh) * | 2019-05-24 | 2019-08-20 | 合肥工业大学 | 一种基于深度迁移学习的绝缘子类别检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110210037A (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110210037B (zh) | 面向循证医学领域的类别检测方法 | |
| CN109446338B (zh) | 基于神经网络的药物疾病关系分类方法 | |
| CN110209822B (zh) | 基于深度学习的学术领域数据相关性预测方法、计算机 | |
| CN112347268A (zh) | 一种文本增强的知识图谱联合表示学习方法及装置 | |
| US7672987B2 (en) | System and method for integration of medical information | |
| CN109271506A (zh) | 一种基于深度学习的电力通信领域知识图谱问答系统的构建方法 | |
| CN110287323B (zh) | 一种面向目标的情感分类方法 | |
| JP2019533259A (ja) | 逐次正則化を用いた同時多タスクニューラルネットワークモデルのトレーニング | |
| CN111274790B (zh) | 基于句法依存图的篇章级事件嵌入方法及装置 | |
| Hossain et al. | Bengali text document categorization based on very deep convolution neural network | |
| CN117151220B (zh) | 一种基于实体链接与关系抽取的行业知识库系统及方法 | |
| Gao et al. | Named entity recognition method of Chinese EMR based on BERT-BiLSTM-CRF | |
| CN111914556B (zh) | 基于情感语义转移图谱的情感引导方法及系统 | |
| CN113705238B (zh) | 基于bert和方面特征定位模型的方面级情感分析方法及系统 | |
| CN111950283B (zh) | 面向大规模医疗文本挖掘的中文分词和命名实体识别系统 | |
| CN111177383A (zh) | 一种融合文本语法结构和语义信息的文本实体关系自动分类方法 | |
| CN112420191A (zh) | 一种中医辅助决策系统及方法 | |
| CN110765755A (zh) | 一种基于双重选择门的语义相似度特征提取方法 | |
| CN115879546A (zh) | 一种复合神经网络心理医学知识图谱构建方法及系统 | |
| Ren et al. | Detecting the scope of negation and speculation in biomedical texts by using recursive neural network | |
| CN115510230A (zh) | 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法 | |
| CN114330328A (zh) | 基于Transformer-CRF的藏文分词方法 | |
| AU2019101147A4 (en) | A sentimental analysis system for film review based on deep learning | |
| CN116757195B (zh) | 一种基于提示学习的隐性情感识别方法 | |
| CN117954081A (zh) | 一种基于图Transformer的智能医疗问诊方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |