Nothing Special   »   [go: up one dir, main page]

CN112434514B - 基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备 - Google Patents

基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备 Download PDF

Info

Publication number
CN112434514B
CN112434514B CN202011333910.3A CN202011333910A CN112434514B CN 112434514 B CN112434514 B CN 112434514B CN 202011333910 A CN202011333910 A CN 202011333910A CN 112434514 B CN112434514 B CN 112434514B
Authority
CN
China
Prior art keywords
word
vector
neural network
sentence
word vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011333910.3A
Other languages
English (en)
Other versions
CN112434514A (zh
Inventor
李琳
赖彬彬
黄江平
刘凡
蹇杰安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202011333910.3A priority Critical patent/CN112434514B/zh
Publication of CN112434514A publication Critical patent/CN112434514A/zh
Application granted granted Critical
Publication of CN112434514B publication Critical patent/CN112434514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明属于自然语言处理领域，设特别涉及一种基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备，所述方法包括使用预训练语言模型将输入的两个待检测句子划分为词语级和字符级的句子表示，并进行预处理；使用双向长短时记忆网络提取句子表示矩阵的上下文知识，并使用余弦距离处理双向长短时记忆网络提取的特征；使用一种基于交互的自注意力机制提取句子表示矩阵及其交互矩阵中的重点特征；将获取的两种不同的匹配向量进行拼接，由前馈神经网络得到高级特征向量并计算分类结果；本发明使用双向长短时记忆网络提取全局特征，使用自注意力机制侧重局部特征，使得模型学习到的权重更加全面，更加精准。

Description

基于多粒度多通道的神经网络的语义匹配方法、装置及计算 机设备
技术领域
本发明属于自然语言处理领域，设特别涉及一种基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备。
背景技术
语义匹配一直以来都是自然语言处理领域中一个重要研究方向，其主要致力于对各种文本元素(如句子和文档)之间潜在的语义相同性或不相同性进行建模，在许多自然语言处理任务(例如问题回答，信息提取，复述识别)中起着核心作用。目前，语音匹配存在的难点主要就是句子自身的语义计算和句子之间的匹配计算。
现有的方法使用不同的神经网络对句子进行建模，并显示出在此任务上的有效性。这些方法主要可以分为两类，第一类是通过分别对每个句子进行编码，然后基于两个句子表示来计算语义关系，从而对句子对进行建模。该类别的缺点是两个句子在编码部分不会交互，但可以使用一个句子的表示形式来表示另一个句子。第二类基于细粒度表示，例如学习字符级特征向量。它在字符级别应用神经网络来改进词语表示，然后将该表示传入神经网络以获得句子表示。该类别的缺点是虽用到了细粒度的特征向量，但在模型性能方面却没能取得较好的提升。
发明内容
本发明提出一种基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备，所述方法包括以下步骤：
S1、使用预训练语言模型将输入的两个待检测句子划分为词语级和字符级的句子表示，使用字向量融合的方式代替未登录词向量，使用LayeNormalization算法对数据进行归一化；
S2、使用双向长短时记忆网络提取句子表示矩阵的上下文知识，并使用余弦距离处理双向长短时记忆网络提取的特征，生成匹配向量；
S3、使用一种基于交互的自注意力机制提取句子表示矩阵及其交互矩阵中的重点特征，生成对应的匹配向量；
S4、将获取的两种不同的匹配向量进行拼接，由前馈神经网络得到高级特征向量并计算分类结果。
本发明还提出一种基于多粒度多通道的神经网络的语义匹配装置，该装置包括句子表示模块、上下文知识提取模块、注意力提取模块、基于bi-LSMT特征提取模块、拼接模块以及前馈神经网络，其中：
句子表示模块，用于将两个待检测的句子划分为词语级和字符级的句子表示，并进行预处理；
注意力提取模块，使用两个自注意力机制分别提取两个句子表示矩阵中的重要特征，再利用绝对距离计算两个句子在重要特征上的差异，然后将得到的差异特征交由一个新的自注意力机制提取得到最终的匹配向量；
基于bi-LSMT特征提取模块，使用双向长短时记忆网络提取句子表示矩阵的上下文知识，使用余弦距离处理双向长短时记忆网络提取的特征；
拼接模块，将注意力提取模块以及基于bi-LSMT特征提取模块的特征进行拼接；
前馈神经网络，将拼接模块拼接的信息输入前馈神经网络进行语义匹配。
本发明还提出一种基于多粒度多通道的神经网络的语义匹配计算机程序，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程至少包括执行一种基于多粒度多通道的神经网络的语义匹配方法个步骤的指令。
本发明的有益效果如下：
1)本发明提出一种基于多粒度多通道的神经网络的语义匹配方法，本方法能够准确的识别出两个句子的语义是否相同。
2)本方法提出一种使用字向量融合的方式代替预训练词向量中的未登录词，给予模型更好的起点，提高模型在语义匹配中的识别准确率。
3)本方法提出一种基于交互的自注意力机制，通过对待检测句子间的交互向量进行自注意力计算，使得自注意力机制更加适用于语义匹配的场景。
本发明使用双向长短时记忆网络提取全局特征，使用自注意力机制侧重局部特征，并采用各自的距离计算方法计算句子间的差异，使得模型学习到的权重更加全面，更加精准。
附图说明
图1为本发明的模型训练过程流程图；
图2为本发明中采用的模型框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于多粒度多通道的神经网络的语义匹配方法，如图1的流程图以及图2的系统结构图，具体包括以下步骤：
S1、使用预训练语言模型将输入的两个待检测句子划分为词语级和字符级的句子表示，使用字向量融合的方式代替未登录词向量，使用LayeNormalization算法对数据进行归一化；
S2、使用双向长短时记忆网络提取句子表示矩阵的上下文知识，并使用余弦距离处理双向长短时记忆网络提取的特征，生成匹配向量；
S3、使用一种基于交互的自注意力机制提取句子表示矩阵及其交互矩阵中的重点特征，生成对应的匹配向量；
S4、将获取的两种不同的匹配向量进行拼接，由前馈神经网络得到高级特征向量并计算分类结果。
实施例1
本实施例将结合具体数据对本发明进行进一步的说明，本实施例使用的数据集共有238766个中文问题匹配对，每条数据包含两个句子和一个标签，标签为0或1，如为0则说明两个句子语义不相同，如为1则说明两个句子语义相同。
S11：使用预训练语言模型将输入的两个待检测句子划分为词语级和字符级的句子表示；
所述词语级句子表示是指使用jieba分词将输入的中文句子进行分词，并从预训练的词向量中获取对应的词语表示，组成的词向量序列。而字符级句子表示则是指将句子划分单独的字，并从预训练的词向量中获取对应的字向量，组成的字向量序列。
S12：使用字向量融合的方式代替未登录词向量，并使用LayeNormalization算法对数据进行归一化。
所述字向量融合是指使用词语中包含的字通过相加求平均的方式组成未登录词向量。所述LayeNormalization算法是一种对数据进行归一化处理的算法，可以适用于使用长短时记忆模型的情况。主要功能就是将输入数据的数据分布之间的差距变小，提高神经网络模型的泛化能力。
S21：使用双向长短时记忆网络提取句子表示矩阵的上下文知识；
所述双向长短时记忆网络是一种较为常用的循环神经网络，可以较好的循环神经网络中的长线依赖问题，提取句子表示矩阵中的序列信息，这里采用的双向长短时记忆网络的隐藏层大小为290，隐藏层数为2。
S22:使用余弦距离处理双向长短时记忆网络提取的特征；
所述余弦距离都是一些较为常用的向量距离计算方法，之所以采用这一种方法计算双向长短时记忆网络提取出的句子表示矩阵间的距离，是因为这一种方法常被用于处理双向长短时记忆网络提取的特征，其有效性已经有所见证。并且通过这里的距离计算将输入向量维数进行了压缩，方便后续的前馈神经网络训练。
S31：使用自注意力机制提取句子表示矩阵中的重点信息；
所述自注意力机制是一种常用于自然语言处理领域的方法，该方法可以通过权重的训练提取出输入序列中的重要信息。这里采用的自注意力机制的隐藏层大小为300，输出张量第二维大小为21。
S32：使用绝对距离进行交互计算并计算得出匹配向量；
所述绝对距离其实就是直接使用减法求两个句子表示向量之间的差值。这种方法由于过度直接，所以一般在语音匹配中并不常用。但是经过多次实验得出，对于自注意力机制提取的特征直接使用绝对距离比较句子间的重要特征差异，其效果最佳。此外，对经过计算得到的差异向量，进行自注意力机制的注意力计算，得到最终匹配向量。
S41：将由步骤S2和S3得到的两种不同的距离向量进行拼接，由前馈神经网络得到高级特征向量并计算分类结果。
所述拼接是指将直接将得到的距离向量进行同维度上的拼接。在本实施例中，余弦距离处理双向长短时记忆网络特征的距离向量的形状大小为64*580，其中64为批次大小，580为长短时记忆网络的隐藏层大小乘以2。而基于交互的自注意力机制特征的距离向量的形状大小为64*300。因此词语级加上字符级的距离向量，最终的拼接矩阵形状大小为64*1460，然后将拼接所得到的距离矩阵输入到前馈神经网络中。该前馈神经网络一共有三层，第一层即输入层大小为1460，第二层即隐藏层大小为870，第3层即输出层大小为2，为最后的分类数量。前馈神经网络输出的预测结果由softmax分类器进行处理。最后使用交叉熵损失函数将预测结果和实际结果之间的差距反向传播到模型中，达成模型的训练。
本实施例2
本实施例还提出一种基于多粒度多通道的神经网络的语义匹配装置，该装置包括句子表示模块、上下文知识提取模块、注意力提取模块、基于bi-LSMT特征提取模块、拼接模块以及前馈神经网络，其中：
句子表示模块，用于将两个待检测的句子划分为词语级和字符级的句子表示，并进行预处理；
注意力提取模块，使用两个自注意力机制分别提取两个句子表示矩阵中的重要特征，再利用绝对距离计算两个句子在重要特征上的差异，然后将得到的差异特征交由一个新的自注意力机制提取得到最终的匹配向量；
基于bi-LSMT特征提取模块，使用双向长短时记忆网络提取句子表示矩阵的上下文知识，使用余弦距离处理双向长短时记忆网络提取的特征；
拼接模块，将注意力提取模块以及基于bi-LSMT特征提取模块的特征进行拼接；
前馈神经网络，将拼接模块拼接的信息输入前馈神经网络进行语义匹配。
进一步的，句子表示模块进行预处理的过程包括：
检测预训练词向量中是否包含词语中的字，如果全部包含的话，则采用顺序相加的方式计算出该词向量；
如果只部分包含，则将该词语分解为包含部分和不包含部分两个部分，对包含部分直接采用预训练词向量，不包含部分则使用语言模型生成一个向量代替该部分向量，然后将所得的向量使用顺序相加的方式代替出未登录词向量。
进一步的，采用顺序相加的方式计算出词向量计算一个词的词向量：
Figure BDA0002796595750000061
其中，Wordi表示词向量，charj则是对应词拆分后的字向量，n表示词拆分为字后的数量。
实施例3
本实施例提出一种基于多粒度多通道的神经网络的语义匹配计算机程序，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程至少包括执行一种基于多粒度多通道的神经网络的语义匹配方法个步骤的指令。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.基于多粒度多通道的神经网络的语义匹配方法，其特征在于，包括以下步骤：
S1、使用预训练语言模型将输入的两个待检测句子划分为词语级和字符级的句子表示，使用字向量融合的方式代替未登录词向量，即：
检测预训练词向量中是否包含词语中的字，如果全部包含的话，则采用顺序相加的方式计算出该词向量，表示为：
Figure FDA0003615307010000011
其中，Wordi表示词向量，charj则是对应词拆分后的字向量，n表示词拆分为字后的数量；
如果只部分包含，则将该词语分解为包含部分和不包含部分两个部分，对包含部分直接采用预训练词向量，不包含部分则使用语言模型生成一个向量代替该部分向量，然后将所得的向量使用顺序相加的方式代替出未登录词向量；
使用LayeNormalization算法对数据进行归一化；
S2、使用双向长短时记忆网络提取句子表示矩阵的上下文知识，并使用余弦距离处理双向长短时记忆网络提取的特征，生成匹配向量，即使用余弦距离处理双向长短时记忆网络提取的特征计算匹配向量，同时使用一种基于交互的自注意力机制提取两个句子表示矩阵间的匹配特征；
S3、使用一种基于交互的自注意力机制提取句子表示矩阵及其交互矩阵中的重点特征，生成对应的匹配向量；
S4、将获取的两种不同的距离向量进行拼接，由前馈神经网络得到高级特征向量并计算分类结果。
2.基于多粒度多通道的神经网络的语义匹配装置，其特征在于，该装置包括句子表示模块、上下文知识提取模块、注意力提取模块、基于bi-LSMT特征提取模块、拼接模块以及前馈神经网络，其中：
句子表示模块，用于将两个待检测的句子划分为词语级和字符级的句子表示，并进行预处理；句子表示模块进行预处理的过程包括：
检测预训练词向量中是否包含词语中的字，如果全部包含的话，则采用顺序相加的方式计算出该词向量，表示为：
Figure FDA0003615307010000021
其中，Wordi表示词向量，charj则是对应分解后的字向量，n表示词拆分为字后的数量；
如果只部分包含，则将该词语分解为包含部分和不包含部分两个部分，对包含部分直接采用预训练词向量，不包含部分则使用语言模型生成一个向量代替该部分向量，然后将所得的向量使用顺序相加的方式代替出未登录词向量；
注意力提取模块，使用两个自注意力机制分别提取两个句子表示矩阵中的重要特征，再利用绝对距离计算两个句子在重要特征上的差异，然后将得到的差异特征交由一个新的自注意力机制提取得到最终的匹配向量；
基于bi-LSMT特征提取模块，使用双向长短时记忆网络提取句子表示矩阵的上下文知识，使用余弦距离处理双向长短时记忆网络提取的特征；
拼接模块，将注意力提取模块以及基于bi-LSMT特征提取模块的特征进行拼接；
前馈神经网络，将拼接模块拼接的信息输入前馈神经网络进行语义匹配。
3.基于多粒度多通道的神经网络的语义匹配计算机设备，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序至少包括执行如权利要求1所述的一种基于多粒度多通道的神经网络的语义匹配方法的指令。
CN202011333910.3A 2020-11-25 2020-11-25 基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备 Active CN112434514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011333910.3A CN112434514B (zh) 2020-11-25 2020-11-25 基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011333910.3A CN112434514B (zh) 2020-11-25 2020-11-25 基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN112434514A CN112434514A (zh) 2021-03-02
CN112434514B true CN112434514B (zh) 2022-06-21

Family

ID=74697431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011333910.3A Active CN112434514B (zh) 2020-11-25 2020-11-25 基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN112434514B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051909B (zh) * 2021-03-19 2024-05-10 浙江工业大学 一种基于深度学习的文本语义提取方法
CN112966524B (zh) * 2021-03-26 2024-01-26 湖北工业大学 基于多粒度孪生网络的中文句子语义匹配方法及系统
CN113569014B (zh) * 2021-08-11 2024-03-19 国家电网有限公司 基于多粒度文本语义信息的运维项目管理方法

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327363A (zh) * 2013-05-27 2013-09-25 公安部第三研究所 实现基于语义粒度进行视频信息加密控制的系统及其方法
CN105005794A (zh) * 2015-07-21 2015-10-28 太原理工大学 融合多粒度上下文信息的图像像素语义标注方法
KR20180069299A (ko) * 2016-12-15 2018-06-25 한양대학교 산학협력단 심화 신경망을 이용한 다채널 마이크 기반의 잔향시간 추정 방법 및 장치
CN108509411A (zh) * 2017-10-10 2018-09-07 腾讯科技（深圳）有限公司 语义分析方法和装置
CN108664632A (zh) * 2018-05-15 2018-10-16 华南理工大学 一种基于卷积神经网络和注意力机制的文本情感分类算法
CN108920654A (zh) * 2018-06-29 2018-11-30 泰康保险集团股份有限公司 一种问答文本语义匹配的方法和装置
CN109214006A (zh) * 2018-09-18 2019-01-15 中国科学技术大学 图像增强的层次化语义表示的自然语言推理方法
CN109299262A (zh) * 2018-10-09 2019-02-01 中山大学 一种融合多粒度信息的文本蕴含关系识别方法
CN109308493A (zh) * 2018-09-25 2019-02-05 南京大学 一种基于堆叠神经网络的递进式图像解析方法
CN109447990A (zh) * 2018-10-22 2019-03-08 北京旷视科技有限公司 图像语义分割方法、装置、电子设备和计算机可读介质
CN109460362A (zh) * 2018-11-06 2019-03-12 北京京航计算通讯研究所 基于细粒度特征语义网络的系统接口时序知识分析系统
CN109710744A (zh) * 2018-12-28 2019-05-03 合肥讯飞数码科技有限公司 一种数据匹配方法、装置、设备及存储介质
CN109857909A (zh) * 2019-01-22 2019-06-07 杭州一知智能科技有限公司 多粒度卷积自注意力上下文网络解决视频对话任务的方法
CN110009691A (zh) * 2019-03-28 2019-07-12 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及系统
CN110020637A (zh) * 2019-04-16 2019-07-16 重庆大学 一种基于多粒度级联森林的模拟电路间歇故障诊断方法
CN110032561A (zh) * 2019-01-28 2019-07-19 阿里巴巴集团控股有限公司 基于语义的表单构建方法和系统
CN110287964A (zh) * 2019-06-13 2019-09-27 浙江大华技术股份有限公司 一种立体匹配方法及装置
CN110298037A (zh) * 2019-06-13 2019-10-01 同济大学 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN110321419A (zh) * 2019-06-28 2019-10-11 神思电子技术股份有限公司 一种融合深度表示与交互模型的问答匹配方法
CN110390397A (zh) * 2019-06-13 2019-10-29 成都信息工程大学 一种文本蕴含识别方法及装置
CN110543549A (zh) * 2019-08-30 2019-12-06 北京百分点信息科技有限公司 语义等价性判断方法和装置
CN110633360A (zh) * 2019-09-16 2019-12-31 腾讯科技（深圳）有限公司 一种语义匹配的方法以及相关装置
CN110705259A (zh) * 2019-09-23 2020-01-17 西安邮电大学 一种多粒度捕获匹配特征的文本匹配方法
CN110765755A (zh) * 2019-10-28 2020-02-07 桂林电子科技大学 一种基于双重选择门的语义相似度特征提取方法
CN110765240A (zh) * 2019-10-31 2020-02-07 中国科学技术大学 多相关句子对的语义匹配评估方法
CN111444700A (zh) * 2020-04-02 2020-07-24 山东山大鸥玛软件股份有限公司 一种基于语义文档表达的文本相似度量方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067314B (zh) * 2014-05-23 2017-03-08 银河水滴科技（北京）有限公司 人形图像分割方法
US10063965B2 (en) * 2016-06-01 2018-08-28 Google Llc Sound source estimation using neural networks
US9875747B1 (en) * 2016-07-15 2018-01-23 Google Llc Device specific multi-channel data compression
US10438350B2 (en) * 2017-06-27 2019-10-08 General Electric Company Material segmentation in image volumes

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103327363A (zh) * 2013-05-27 2013-09-25 公安部第三研究所 实现基于语义粒度进行视频信息加密控制的系统及其方法
CN105005794A (zh) * 2015-07-21 2015-10-28 太原理工大学 融合多粒度上下文信息的图像像素语义标注方法
KR20180069299A (ko) * 2016-12-15 2018-06-25 한양대학교 산학협력단 심화 신경망을 이용한 다채널 마이크 기반의 잔향시간 추정 방법 및 장치
CN108509411A (zh) * 2017-10-10 2018-09-07 腾讯科技（深圳）有限公司 语义分析方法和装置
CN108664632A (zh) * 2018-05-15 2018-10-16 华南理工大学 一种基于卷积神经网络和注意力机制的文本情感分类算法
CN108920654A (zh) * 2018-06-29 2018-11-30 泰康保险集团股份有限公司 一种问答文本语义匹配的方法和装置
CN109214006A (zh) * 2018-09-18 2019-01-15 中国科学技术大学 图像增强的层次化语义表示的自然语言推理方法
CN109308493A (zh) * 2018-09-25 2019-02-05 南京大学 一种基于堆叠神经网络的递进式图像解析方法
CN109299262A (zh) * 2018-10-09 2019-02-01 中山大学 一种融合多粒度信息的文本蕴含关系识别方法
CN109447990A (zh) * 2018-10-22 2019-03-08 北京旷视科技有限公司 图像语义分割方法、装置、电子设备和计算机可读介质
CN109460362A (zh) * 2018-11-06 2019-03-12 北京京航计算通讯研究所 基于细粒度特征语义网络的系统接口时序知识分析系统
CN109710744A (zh) * 2018-12-28 2019-05-03 合肥讯飞数码科技有限公司 一种数据匹配方法、装置、设备及存储介质
CN109857909A (zh) * 2019-01-22 2019-06-07 杭州一知智能科技有限公司 多粒度卷积自注意力上下文网络解决视频对话任务的方法
CN110032561A (zh) * 2019-01-28 2019-07-19 阿里巴巴集团控股有限公司 基于语义的表单构建方法和系统
CN110009691A (zh) * 2019-03-28 2019-07-12 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及系统
CN110020637A (zh) * 2019-04-16 2019-07-16 重庆大学 一种基于多粒度级联森林的模拟电路间歇故障诊断方法
CN110390397A (zh) * 2019-06-13 2019-10-29 成都信息工程大学 一种文本蕴含识别方法及装置
CN110298037A (zh) * 2019-06-13 2019-10-01 同济大学 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN110287964A (zh) * 2019-06-13 2019-09-27 浙江大华技术股份有限公司 一种立体匹配方法及装置
CN110321419A (zh) * 2019-06-28 2019-10-11 神思电子技术股份有限公司 一种融合深度表示与交互模型的问答匹配方法
CN110543549A (zh) * 2019-08-30 2019-12-06 北京百分点信息科技有限公司 语义等价性判断方法和装置
CN110633360A (zh) * 2019-09-16 2019-12-31 腾讯科技（深圳）有限公司 一种语义匹配的方法以及相关装置
CN110705259A (zh) * 2019-09-23 2020-01-17 西安邮电大学 一种多粒度捕获匹配特征的文本匹配方法
CN110765755A (zh) * 2019-10-28 2020-02-07 桂林电子科技大学 一种基于双重选择门的语义相似度特征提取方法
CN110765240A (zh) * 2019-10-31 2020-02-07 中国科学技术大学 多相关句子对的语义匹配评估方法
CN111444700A (zh) * 2020-04-02 2020-07-24 山东山大鸥玛软件股份有限公司 一种基于语义文档表达的文本相似度量方法

Also Published As

Publication number Publication date
CN112434514A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN107783960B (zh) 用于抽取信息的方法、装置和设备
CN107203511B (zh) 一种基于神经网络概率消歧的网络文本命名实体识别方法
Dashtipour et al. Exploiting deep learning for Persian sentiment analysis
CN113094578B (zh) 基于深度学习的内容推荐方法、装置、设备及存储介质
CN112434514B (zh) 基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备
CN110222188A (zh) 一种多任务学习的公司公告处理方法及服务端
CN108170848B (zh) 一种面向中国移动智能客服的对话场景分类方法
CN113392209B (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN109918647A (zh) 一种安全领域命名实体识别方法及神经网络模型
CN110852089A (zh) 基于智能分词与深度学习的运维项目管理方法
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN115658890A (zh) 基于主题增强的情感共注意力bert模型的中文评论分类方法
CN117370562A (zh) 基于情感分析的用户评价数据处理方法及装置
CN113486174A (zh) 模型训练、阅读理解方法、装置、电子设备及存储介质
Kim et al. Speaker-sensitive dual memory networks for multi-turn slot tagging
CN113160823A (zh) 基于脉冲神经网络的语音唤醒方法、装置及电子设备
Sakti et al. Incremental sentence compression using LSTM recurrent networks
CN112818688B (zh) 文本处理方法、装置、设备及存储介质
CN114357166A (zh) 一种基于深度学习的文本分类方法
CN115048929A (zh) 敏感文本监测方法及装置
Can et al. A hybrid deep learning architecture for sentence unit detection
Li et al. Frame-level emotional state alignment method for speech emotion recognition
Cui et al. Aspect level sentiment classification based on double attention mechanism
CN117932487B (zh) 一种风险分类模型训练、风险分类方法及装置
CN117727288B (zh) 一种语音合成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant