Nothing Special   »   [go: up one dir, main page]

CN110210037B - 面向循证医学领域的类别检测方法 - Google Patents

面向循证医学领域的类别检测方法 Download PDF

Info

Publication number
CN110210037B
CN110210037B CN201910508791.1A CN201910508791A CN110210037B CN 110210037 B CN110210037 B CN 110210037B CN 201910508791 A CN201910508791 A CN 201910508791A CN 110210037 B CN110210037 B CN 110210037B
Authority
CN
China
Prior art keywords
sentence
vector
layer
sentences
lstm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910508791.1A
Other languages
English (en)
Other versions
CN110210037A (zh
Inventor
琚生根
王婧妍
熊熙
李元媛
孙界平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910508791.1A priority Critical patent/CN110210037B/zh
Publication of CN110210037A publication Critical patent/CN110210037A/zh
Application granted granted Critical
Publication of CN110210037B publication Critical patent/CN110210037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种面向循证医学领域的类别检测方法,包括以下步骤:将摘要中的每个句子分别进行ELMo与Bi‑LSTM两种处理,得到句向量;将所述句向量进行编码,得到包含有句子之间语义关系的文本表示向量;将所述文本表示向量输入CRF模型进行句子序列分类,将待分类句子和句子类别标签分别作为CRF模型的观察序列和状态序列,通过下层网络提取的句子关联特征获得每个句子的标签概率。本发明实现循证医学文本摘要类别检测,利用多连接Bi‑LSTM网络捕获句子间依赖关系与上下文信息,结合多层自注意力机制,提高了句子编码的整体质量,并且在公开的医学摘要数据集上取得了不错的效果。

Description

面向循证医学领域的类别检测方法
技术领域
本发明涉及英文医学文本摘要的信息化处理技术领域,具体的说是一种面向循证医学领域的类别检测方法。
背景技术
循证医学(Evidence-Based Medicine,EBM)是一种临床实践方法,通过分析PubMeb等大型医学文献数据库以及检索相关临床主题文本来获取证据。EBM以论文为开端,经过人工判断进一步提炼特定问题所依赖的证据基础。EBM领域临床实践问题的定义往往遵从PICO原则,即:Population(P);Intervention(I);Comparison(C);Outcome(O)。
为完成从文章到医疗证据的转换,需要对文章摘要进行深度梳理。摘要是对医学文章内容不加注释和评论的简短陈述,要求简单扼要地说明研究工作的目的、研究方法和最终结论等。如表1所示,生物医学文章摘要中一般以无结构化展现论文研究的临床实践主题、人群、研究方法和实验结果等,由于缺乏有效的自动识别技术导致医生检索医学证据时效率低下。当摘要内容以结构化的形式出现,阅读摘要将更加简便高效。
表1标注前后对比
Figure GDA0002319907560000011
医学文本摘要的类别检测可以转化为摘要句子序列的分类任务。摘要的句子包含上下文信息,并且句子间存在复杂的语义和语法关联性,使得其分类问题有别于独立句子的分类问题。
在过去的研究中,临床医生对PICO标准或者其他类似模式的使用已经得到验证,而研究者也寻求更好的句子分类模型来实现类似PICO类标的自动检测。
机器学习分类方法通过事先已有的文本训练集有监督地建立分类器,节省大量的人力,且不限于特定的领域。传统机器学习方法用于临床医学序列句子分类的主要有朴素贝叶斯、支持向量机以及条件随机场等。但这些方法往往需要大量的手工构建特征,如语法特征、语义特征和结构特征等。
近几年,对于使用神经网络解决序列句子分类问题的研究层出不穷,神经网络的优点在于自动构建特征。深度学习解决文本分类问题主要通过卷积神经网络(Convolutional Neural Network,CNN)进行特征提取,再通过循环神经网络(RecurrentNeural Network,RNN)进行建模。自注意力机制不依赖于其他特征和词之间的距离,直接计算词语依赖关系,学习句子的内部结构。Yang等人提出的层级注意力机制与神经网络相结合的模型在文本分类任务上取得了不错的效果。Transformer放弃CNN和RNN,使用注意力机制和全连接层构成端到端模型,广泛应用于文本分类等多个任务。Komninos等人引入基于上下文的词向量改善句子分类性能。以ELMo(Embeddings from Language Models)、BERT(Bidirectional Encoder Representations from Transformers)为主的预训练语言模型,将生成的词向量经过微调处理,在多项自然语言处理任务上都取得了最佳效果,Howard等人构建用于文本分类的预训练语言模型。然而,以上模型都没有直接应用于医学领域。Jin等人第一次将深度学习用于循证医学类标检测任务,代表深度学习模型可以大大提升序列句子分类任务的效果,但该模型在生成句向量时忽略了摘要内句子间的关系。
现有工作用于临床医学类标检测时,往往将句子单独分类,在文本表达层面没有考虑到词语之间、句子之间依赖关系,这将会导致分类效果不佳。Song等人将句子的前后文整体编码与待分类句子向量进行拼接用于药物分类,缺少句子内部依赖。Lee和Dernoncourt等人在对多轮对话进行分类时,将前文语句用于当前句分类,融入上下文信息。后使用双向人工神经网络(Bidirectional Artificial Neural Network,Bi-ANN)结合字符信息进行生物医学摘要句子分类,CRF优化分类结果。
发明内容
针对现有技术中存在的上述不足之处,本发明要解决的技术问题是提供一种面向循证医学领域的类别检测方法,用于英文摘要文本信息表示以及句子特征处理,目标是构建医学摘要文本的自动标注方法。
本发明为实现上述目的所采用的技术方案是:一种面向循证医学领域的类别检测方法,包括以下步骤:
将摘要中的每个句子分别进行ELMo与Bi-LSTM两种处理,得到句向量;
将所述句向量进行编码,得到包含有句子之间语义关系的文本表示向量;
将所述文本表示向量输入CRF模型进行句子序列分类,将待分类句子和句子类别标签分别作为CRF模型的观察序列和状态序列,通过下层网络提取的句子关联特征获得每个句子的标签概率。
所述将摘要中的每个句子进行ELMo处理,具体为:
将即单词序列Sentence={w1,w2,...,wt}作为输入,其中t为句子长度,wi为句子中的单词,然后经过ELMo和平均池化层处理,得到句向量
Figure GDA0002319907560000031
所述将摘要中的每个句子进行Bi-LSTM处理,包括以下步骤:
通过公式(1)计算句子中每个单词的自注意力值:
Figure GDA0002319907560000032
将多个自注意力值进行拼接,得到句向量
Figure GDA0002319907560000033
Figure GDA0002319907560000034
其中,
Figure GDA0002319907560000035
表示句子隐层向量矩阵的转置,
Figure GDA0002319907560000036
表示权重
Figure GDA0002319907560000037
的维度是1*da,其中超参数da,W∈Rda×2×u,u为隐层单元数,即LSTM的隐藏层维度,softmax()表示归一化函数,concat()表示向量拼接。
所述句向量由经过ELMo处理的句向量
Figure GDA0002319907560000041
与经过Bi-LSTM处理的句向量
Figure GDA0002319907560000042
连接而成,即:
Figure GDA0002319907560000043
其中,concat()表示向量拼接。
所述将摘要内容进行编码,得到包含有句子之间语义关系的文本表示向量,包括以下步骤:
给摘要中n个独立句子进行编码,得到编码后的向量序列
Figure GDA0002319907560000044
将向量序列
Figure GDA0002319907560000045
作为多连接Bi-LSTM的输入,将L层多连接LSTM的第一层的结果与句向量拼接作为第二层的输入,其后所有层的输入都是前一层输出的拼接,输出一系列包含上下文信息的文本表示向量;
对L层的多连接Bi-LSTM的输出取平均;
将得到的包含上下文信息的新的句子编码向量输入到单层前馈神经网络中,输出的每个句向量
Figure GDA0002319907560000046
表示句子属于每个标签的概率,其中d是标签个数。
所述句子的标签序列概率为:
Figure GDA0002319907560000047
其中,y1:n为标签序列,yi表示分配给第i个句子的预测标签,
Figure GDA0002319907560000048
为正确的标签序列,
Figure GDA0002319907560000049
表示
Figure GDA00023199075600000410
的得分定义为标签的预测概率与转移概率之和,score(y1:n)为y1:n的得分,定义为标签的预测概率与转移概率之和:
Figure GDA00023199075600000411
其中,yi表示分配给第i个句子的预测标签,T[i:j]定义为带有标签i的句子之后是带有标签j的句子的概率,n表示一个摘要中的句子数,i表示摘要中的第i个句子,
Figure GDA0002319907560000051
表示第i个预测标签在上一层得到的预测概率。
本发明具有以下优点及有益效果:
1、本发明构建了一种层级多连接网络模型,实现循证医学文本摘要类别检测,该模型利用多连接Bi-LSTM(Bidirectional Long Short-Term Memory)网络捕获句子间依赖关系与上下文信息,结合多层自注意力机制,提高了句子编码的整体质量,并且在公开的医学摘要数据集上取得了不错的效果。
2、在未来的工作中,本发明的HMcN(Hierarchical Multi-connected Network)模型将应用于解决与循证医学相关的具体问题,例如医学文本挖掘以及文档检索等,达到辅助医疗的目的。
附图说明
图1为本发明的HMcN模型结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明的面向循证医学领域的类别检测方法提出了基于层级多连接网络(Hierarchical Multi-connected Network,HMcN)的类别检测算法,HMcN模型由三部分组成:单句编码、文本信息嵌入和标签优化,如图1所示,摘要中的每个句子经过单句编码层的ELMo和Bi-LSTM处理,获取句子内部语义信息,得到的句向量以摘要为单位输入到文本信息嵌入层,通过多连接Bi-LSTM网络抽取句向量间的依赖关系,最后标签优化层的条件随机场(Conditional random field,CRF)模型对类别进行标注。
本发明的实施例中,使用小写字母表示标量,如x1;带箭头的小写字母表示向量,如
Figure GDA0002319907560000052
粗体大写字母表示矩阵,如
Figure GDA0002319907560000053
标量的序列如{x1,x1,...,xj}和向量序列如
Figure GDA0002319907560000054
分别用x1:j
Figure GDA0002319907560000055
表示。实施例用到的符号及其含义如表2所示:
表2文中符号及其含义
Figure GDA0002319907560000056
Figure GDA0002319907560000061
单句编码:每个句子分别经由ELMo与Bi-LSTM两种不同的处理,得到句向量输入上层网络。这两种处理方法可以描述为:
1)为了解决一词多义问题,序列输入预训练语言模型ELMo中,单词经过字符级别处理,有效解决分词结果在词表中不存在的问题,即未登录词问题。ELMo模型可以学习到复杂的词汇用法,如:语法和语义,相同的词在不同的上下文中有不同的表示等。将句向量即单词序列Sentence={w1,w2,...,wt}作为输入,其中t为句子长度,然后经过ELMo和平均池化层(ELMo可参考《Deep contextualized word representations》,平均池化层可参考《Going deeper with convolutions》),得到最终的句向量
Figure GDA00023199075600000611
2)采用维基百科、PubMeb和PMC文本联合训练得到的预训练词向量矩阵,其中包含医学实体信息并经过Bi-LSTM网络编码。利用句向量计算自注意力值可以发现句子内部依赖关系及关键词,而多次计算自注意力值允许模型在不同的子空间学习相关知识。将多个结果进行拼接可以得到句向量
Figure GDA0002319907560000062
Figure GDA0002319907560000063
Figure GDA0002319907560000064
公式(1)表示计算一次自注意力权重,其中
Figure GDA0002319907560000065
表示句子隐层向量矩阵的转置,
Figure GDA0002319907560000066
其中超参数da(超参数是人为设置的参数,参数表里有详细介绍),W∈Rda×2×u,u为隐层单元数。得到的权重分别与隐层表示矩阵相乘再进行拼接,latt为多层自注意力层数。最终每个句向量
Figure GDA0002319907560000067
Figure GDA0002319907560000068
Figure GDA00023199075600000612
连接而成。
Figure GDA00023199075600000610
文本信息嵌入层将摘要内容进行编码,得到包含有句子之间语义关系的文本表示向量。
给定摘要中n个独立句子通过单句编码层得到编码后的向量序列
Figure GDA0002319907560000071
Figure GDA0002319907560000072
并将其作为多连接Bi-LSTM的输入。HMcN中多连接Bi-LSTM模块在DC-Bi-LSTM架构基础上进行了改进,输入由Glove词向量变为底层获取的句向量。具体来说,该架构由L层Bi-LSTM网络组合而得,在第一个Bi-LSTM网络中输入句向量序列,得到双向的隐层表示,将这一层的结果与句向量拼接作为第二层的输入,其后所有层的输入都是前一层输出的拼接,构成多连接Bi-LSTM网络。其输出一系列新的句子编码向量,这些向量包含上下文信息。通过平均池化层,对L层Bi-LSTM的输出取平均(深层的LSTM可以捕获语义特征,浅层的可以捕获语法特征,取平均可以获取多种特征,充分利用多层LSTM的编码效果)。以上处理方式可以由公式(4)-(8)表示:
Figure GDA0002319907560000073
Figure GDA0002319907560000074
Figure GDA0002319907560000075
Figure GDA0002319907560000076
Figure GDA0002319907560000077
其中,公式(6)-(8)中
Figure GDA0002319907560000078
表示第i个句子在第l层Bi-LSTM的向量表示,是由公式(4)中正向隐层向量
Figure GDA0002319907560000079
和公式(5)中反向隐层向量
Figure GDA00023199075600000710
拼接而得。
Figure GDA00023199075600000711
Figure GDA00023199075600000712
分别表示前一时间步与后一时间步的隐层表示,
Figure GDA00023199075600000713
表示0到l-1层LSTM隐层表示拼接,公式(8)为对L层Bi-LSTM的输出取平均。将这些向量输入到单层前馈神经网络中,输出的每个句向量
Figure GDA00023199075600000714
表示句子属于每个标签的概率,其中d是标签个数。
与传统的RNN或深层RNN相比,多连接Bi-LSTM网络可以采用更少的参数、更少的层数获得更好的效果。对于每个RNN层,它都可以直接读取原始输入序列,即本发明方法中经ELMo和Bi-LSTM编码的句向量,而不需通过网络传递所有有用信息。本发明采用极少的网络神经元数,避免模型复杂度过高。
标签优化:条件随机场模型可以提高句子序列分类的性能,其中待分类句子和句子类别标签分别作为CRF模型的观察序列和状态序列。通过下层网络提取的句子关联特征获得给定句子的标签概率。
已知上一层文本编码层输出的句子向量序列
Figure GDA0002319907560000081
该层输出一个标签序列y1:n,其中yi表示分配给第i个句子的预测标签。将T[i:j]定义为带有标签i的句子之后是带有标签j的句子的概率。y1:n的得分定义为标签的预测概率与转移概率之和:
Figure GDA0002319907560000082
通过softmax函数可以获得正确的标签序列概率:
Figure GDA0002319907560000083
其中,Yn表示所有可能的标签序列的集合。在训练阶段,目标是最大限度地提高正确标签序列的概率。在测试阶段,对给定的句子表示序列,通过Viterbi算法选择得分最大的标签序列作为预测结果。
为了定量分析HMcN模型对医学摘要中句子类别的检测性能,在两个标准医学摘要数据集上进行了分类实验。数据集分别介绍如下:
NICTA-PIBOSO数据集(简称NP数据集):这个数据集共享在ALTA 2012 SharedTask上,主要目的是将生物医学摘要句子分类任务应用于循证医学,并包含类标“Population”、“Intervention”、“Outcome”、“Study Design”、“Background”、和“Other”。
PubMeb 20k RCT数据集(简称PubMeb数据集):这个数据集由Demoncourt、等人在2017年创建,数据来自生物医学文章最大的数据库PubMeb,类标包括“Objectives”、“Background”、“Methods”、“Results”和“Conclusions”。
数据集具体信息如表3所示:
表3实验数据
Figure GDA0002319907560000091
其中,|C|和|V|分别表示类标总数与词汇表大小,对于训练集、验证集和测试集,括号外的数字表示摘要数量,括号内的数字表示句子数量。每个摘要的句子都只有唯一标签。
HMcN模型在Tensorflow框架以及Python语言下设计实现,运行平台为Windows7。使用开源预训练模型ELMo得到句向量,句向量隐层维度为1024。采用随机梯度下降算法和Adam算法更新包括Bi-LSTM网络和多层自注意力等模块的参数。在每一层使用Dropout方法解决过拟合问题,采用正则化进一步缩小训练集结果与验证集结果之间的差距。参数设置如表4所示。
表4参数设置
Figure GDA0002319907560000092
采用准确率(Precision)、召回率(Recall)和F1值度量实验效果,实验结果如表5所示:
表5对比实验结果
Figure GDA0002319907560000101
LR:逻辑回归分类器,它使用从当前句子中提取的n-gram特征,不使用来自周围句子的任何信息。
CRF:条件随机场分类器,待分类句向量作为输入,每个输出变量对应一个句子的标签,CRF考虑的句子序列是整个摘要。因此,CRF基线在对当前句子进行分类时同时使用前面和后面的句子。
Best Published:Lui于2012年提出的一种方法,基于多种特征集,引入特征堆叠,在NP数据集上表现最佳。
Bi-ANN:Dernoncourt等人于2017年提出的标注模型,该模型通过CRF与字符向量优化分类结果。
如表5所示,HMcN模型的F1值比其他模型分别提高F1分数0.4%-8.3%。LR方法在PubMed数据集上的表现优于在NP数据集上的表现,这表明在NP数据集中标签间的依赖关系更紧密。HMcN模型的指标均优于CRF模型,表明本模型对CRF的输入进行了优化,加入了句子级别的特征,并且不依赖于人工构建特征。HMcN模型的指标在NICTA-PIBOSO数据集上优于Best Published方法,表明HMcN模型可以获取更深层特征信息。HMcN模型的指标优于Bi-ANN模型,表明HMcN为文本表达融入了词、句、段多粒度信息,句子编码时关注到句子内部依赖,进而优化了类别检测结果。
表6和表7分别展示了PubMeb数据集上单标签预测时的混淆矩阵与预测效果。表6中的列表示真实标签,行表示预测标签。例如476个标签为“Background”的句子被预测为“Objectives”。可以看出区分“Background”与“Objectives”标签是分类器遇到的最大困难,主要原因在于“Background”与“Objectives”本身存在混淆性,且“Objectives”标签的句子与摘要中其他类别的句子相比,语义性与特征性不明显。
表6单标签预测的混淆矩阵
Figure GDA0002319907560000111
表7单标签预测的预测效果
Figure GDA0002319907560000112
表8展示了在PubMed数据集上对模型进行训练后的转移矩阵,转移矩阵由CRF生成,其有效地反映了标签之间的转换关系。其中行表示前一句子类别,列表示当前句子类别。例如,从表中可以看出类别为“Objectives”的句子之后最有可能的是类别为“Methods”的句子(0.39),最不可能的是类别为“Conclusions”(-0.97)的句子。
表8转移矩阵
Figure GDA0002319907560000113
Figure GDA0002319907560000121
为了验证模型中每个步骤的效果,分别移除特定模块构建下列消融模型:HMcN-multiLSTM、HMcN-attention、HMcN-ELMo和HMcN-CRF分别表示去除多连接Bi-LSTM架构,去除多层自注意力、去除ELMo得到的句向量编码、去除CRF层的消融模型。从表9可以看出,模型的每个模块都有助于类别检测的效果,而以句向量作为输入的多连接Bi-LSTM架构是HMcN模型最重要的部分。
表9模型消融
Figure GDA0002319907560000122

Claims (5)

1.一种面向循证医学领域的类别检测方法,其特征在于,包括以下步骤:
将摘要中的每个句子分别进行ELMo与Bi-LSTM两种处理,得到句向量;
将所述句向量进行编码,得到包含有句子之间语义关系的文本表示向量;
将所述文本表示向量输入CRF模型进行句子序列分类,将待分类句子和句子类别标签分别作为CRF模型的观察序列和状态序列,通过下层网络提取的句子关联特征获得每个句子的标签概率;
所述将句向量进行编码,得到包含有句子之间语义关系的文本表示向量,包括以下步骤:
给摘要中n个独立句子进行编码,得到编码后的向量序列
Figure FDA0002319907550000011
将向量序列
Figure FDA0002319907550000012
作为多连接Bi-LSTM的输入,将L层多连接LSTM的第一层的结果与句向量拼接作为第二层的输入,其后所有层的输入都是前一层输出的拼接,输出一系列包含上下文信息的文本表示向量;
对L层的多连接Bi-LSTM的输出取平均;
将得到的包含上下文信息的新的句子编码向量输入到单层前馈神经网络中,输出的每个句向量
Figure FDA0002319907550000013
表示句子属于每个标签的概率,其中d是标签个数。
2.根据权利要求1所述的面向循证医学领域的类别检测方法,其特征在于,所述将摘要中的每个句子进行ELMo处理,具体为:
将即单词序列Sentence={w1,w2,...,wt}作为输入,其中t为句子长度,wi为句子中的单词,然后经过ELMo和平均池化层处理,得到句向量
Figure FDA0002319907550000014
3.根据权利要求1所述的面向循证医学领域的类别检测方法,其特征在于,所述将摘要中的每个句子进行Bi-LSTM处理,包括以下步骤:
通过公式(1)计算句子中每个单词的自注意力值:
Figure FDA0002319907550000015
将多个自注意力值进行拼接,得到句向量
Figure FDA0002319907550000016
Figure FDA0002319907550000021
其中,
Figure FDA0002319907550000022
表示句子隐层向量矩阵的转置,
Figure FDA0002319907550000023
表示权重
Figure FDA0002319907550000024
的维度是1*da,其中超参数da,W∈Rda×2×u,u为隐层单元数,即LSTM的隐藏层维度,softmax()表示归一化函数,concat()表示向量拼接。
4.根据权利要求1所述的面向循证医学领域的类别检测方法,其特征在于,所述句向量由经过ELMo处理的句向量
Figure FDA0002319907550000025
与经过Bi-LSTM处理的句向量
Figure FDA0002319907550000026
连接而成,即:
Figure FDA0002319907550000027
其中,concat()表示向量拼接。
5.根据权利要求1所述的面向循证医学领域的类别检测方法,其特征在于,所述句子的标签概率为:
Figure FDA0002319907550000028
其中,y1:n为标签序列,yi表示分配给第i个句子的预测标签,
Figure FDA0002319907550000029
为正确的标签序列,
Figure FDA00023199075500000210
表示
Figure FDA00023199075500000211
的得分定义为标签的预测概率与转移概率之和,score(y1:n)为y1:n的得分,定义为标签的预测概率与转移概率之和:
Figure FDA00023199075500000212
其中,yi表示分配给第i个句子的预测标签,T[i:j]定义为带有标签i的句子之后是带有标签j的句子的概率,n表示一个摘要中的句子数,i表示摘要中的第i个句子,
Figure FDA00023199075500000213
表示第i个预测标签在上一层得到的预测概率。
CN201910508791.1A 2019-06-12 2019-06-12 面向循证医学领域的类别检测方法 Active CN110210037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910508791.1A CN110210037B (zh) 2019-06-12 2019-06-12 面向循证医学领域的类别检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910508791.1A CN110210037B (zh) 2019-06-12 2019-06-12 面向循证医学领域的类别检测方法

Publications (2)

Publication Number Publication Date
CN110210037A CN110210037A (zh) 2019-09-06
CN110210037B true CN110210037B (zh) 2020-04-07

Family

ID=67792374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910508791.1A Active CN110210037B (zh) 2019-06-12 2019-06-12 面向循证医学领域的类别检测方法

Country Status (1)

Country Link
CN (1) CN110210037B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688487A (zh) * 2019-09-29 2020-01-14 中国建设银行股份有限公司 一种文本分类的方法和装置
CN110704715B (zh) * 2019-10-18 2022-05-17 南京航空航天大学 一种网络霸凌的检测方法及系统
CN111046672B (zh) * 2019-12-11 2020-07-14 山东众阳健康科技集团有限公司 多场景文本摘要生成方法
CN113035310B (zh) * 2019-12-25 2024-01-09 医渡云(北京)技术有限公司 一种基于深度学习的医疗rct报告分析方法及装置
CN111368528B (zh) * 2020-03-09 2022-07-08 西南交通大学 一种面向医学文本的实体关系联合抽取方法
CN111522964A (zh) * 2020-04-17 2020-08-11 电子科技大学 一种藏医药文献核心概念挖掘方法
CN111507089B (zh) * 2020-06-09 2022-09-09 平安科技(深圳)有限公司 基于深度学习模型的文献分类方法、装置和计算机设备
CN111813924B (zh) * 2020-07-09 2021-04-09 四川大学 基于可扩展动态选择与注意力机制的类别检测算法及系统
CN111858933B (zh) * 2020-07-10 2024-08-06 暨南大学 基于字符的层次化文本情感分析方法及系统
CN113342970B (zh) * 2020-11-24 2023-01-03 中电万维信息技术有限责任公司 一种多标签复杂文本分类方法
CN112883732A (zh) * 2020-11-26 2021-06-01 中国电子科技网络信息安全有限公司 基于关联记忆网络的中文细粒度命名实体识别方法及装置
CN112860889A (zh) * 2021-01-29 2021-05-28 太原理工大学 一种基于bert的多标签分类方法
CN112861757B (zh) * 2021-02-23 2022-11-22 天津汇智星源信息技术有限公司 基于文本语义理解的笔录智能审核方法及电子设备
CN112836772A (zh) * 2021-04-02 2021-05-25 四川大学华西医院 基于LightGBM集成多个BERT模型的随机对照试验识别方法
CN113849600A (zh) * 2021-09-08 2021-12-28 南京烽火星空通信发展有限公司 一种基于神经网络的文本定位技术
CN114298044B (zh) * 2021-12-27 2024-10-15 山东师范大学 一种中文命名实体识别方法及系统
CN114782739B (zh) * 2022-03-31 2023-07-14 电子科技大学 基于双向长短期记忆层和全连接层的多模态分类方法
CN114861630B (zh) * 2022-05-10 2024-07-19 马上消费金融股份有限公司 信息获取及相关模型的训练方法、装置、电子设备和介质
CN115132314B (zh) * 2022-09-01 2022-12-20 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 检查印象生成模型训练方法、装置及生成方法
CN116542252B (zh) * 2023-07-07 2023-09-29 北京营加品牌管理有限公司 一种金融文本核查方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363978A (zh) * 2018-02-12 2018-08-03 华南理工大学 采用深度学习和ukf的基于肢体语言的情感感知方法
CN108829662A (zh) * 2018-05-10 2018-11-16 浙江大学 一种基于条件随机场结构化注意力网络的对话行为识别方法及系统
CN109165384A (zh) * 2018-08-23 2019-01-08 成都四方伟业软件股份有限公司 一种命名实体识别方法及装置
CN109871451A (zh) * 2019-01-25 2019-06-11 中译语通科技股份有限公司 一种融入动态词向量的关系抽取方法和系统
CN110147777A (zh) * 2019-05-24 2019-08-20 合肥工业大学 一种基于深度迁移学习的绝缘子类别检测方法
US10395118B2 (en) * 2015-10-29 2019-08-27 Baidu Usa Llc Systems and methods for video paragraph captioning using hierarchical recurrent neural networks

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6946715B2 (en) * 2003-02-19 2005-09-20 Micron Technology, Inc. CMOS image sensor and method of fabrication

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395118B2 (en) * 2015-10-29 2019-08-27 Baidu Usa Llc Systems and methods for video paragraph captioning using hierarchical recurrent neural networks
CN108363978A (zh) * 2018-02-12 2018-08-03 华南理工大学 采用深度学习和ukf的基于肢体语言的情感感知方法
CN108829662A (zh) * 2018-05-10 2018-11-16 浙江大学 一种基于条件随机场结构化注意力网络的对话行为识别方法及系统
CN109165384A (zh) * 2018-08-23 2019-01-08 成都四方伟业软件股份有限公司 一种命名实体识别方法及装置
CN109871451A (zh) * 2019-01-25 2019-06-11 中译语通科技股份有限公司 一种融入动态词向量的关系抽取方法和系统
CN110147777A (zh) * 2019-05-24 2019-08-20 合肥工业大学 一种基于深度迁移学习的绝缘子类别检测方法

Also Published As

Publication number Publication date
CN110210037A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110210037B (zh) 面向循证医学领域的类别检测方法
CN109446338B (zh) 基于神经网络的药物疾病关系分类方法
CN110209822B (zh) 基于深度学习的学术领域数据相关性预测方法、计算机
CN112347268A (zh) 一种文本增强的知识图谱联合表示学习方法及装置
US7672987B2 (en) System and method for integration of medical information
CN109271506A (zh) 一种基于深度学习的电力通信领域知识图谱问答系统的构建方法
CN110287323B (zh) 一种面向目标的情感分类方法
JP2019533259A (ja) 逐次正則化を用いた同時多タスクニューラルネットワークモデルのトレーニング
CN111274790B (zh) 基于句法依存图的篇章级事件嵌入方法及装置
Hossain et al. Bengali text document categorization based on very deep convolution neural network
CN117151220B (zh) 一种基于实体链接与关系抽取的行业知识库系统及方法
Gao et al. Named entity recognition method of Chinese EMR based on BERT-BiLSTM-CRF
CN111914556B (zh) 基于情感语义转移图谱的情感引导方法及系统
CN113705238B (zh) 基于bert和方面特征定位模型的方面级情感分析方法及系统
CN111950283B (zh) 面向大规模医疗文本挖掘的中文分词和命名实体识别系统
CN111177383A (zh) 一种融合文本语法结构和语义信息的文本实体关系自动分类方法
CN112420191A (zh) 一种中医辅助决策系统及方法
CN110765755A (zh) 一种基于双重选择门的语义相似度特征提取方法
CN115879546A (zh) 一种复合神经网络心理医学知识图谱构建方法及系统
Ren et al. Detecting the scope of negation and speculation in biomedical texts by using recursive neural network
CN115510230A (zh) 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法
CN114330328A (zh) 基于Transformer-CRF的藏文分词方法
AU2019101147A4 (en) A sentimental analysis system for film review based on deep learning
CN116757195B (zh) 一种基于提示学习的隐性情感识别方法
CN117954081A (zh) 一种基于图Transformer的智能医疗问诊方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant