Nothing Special   »   [go: up one dir, main page]

CN105701120B - 确定语义匹配度的方法和装置 - Google Patents

确定语义匹配度的方法和装置 Download PDF

Info

Publication number
CN105701120B
CN105701120B CN201410709568.0A CN201410709568A CN105701120B CN 105701120 B CN105701120 B CN 105701120B CN 201410709568 A CN201410709568 A CN 201410709568A CN 105701120 B CN105701120 B CN 105701120B
Authority
CN
China
Prior art keywords
sentence
vector
dimensional
segment
tensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410709568.0A
Other languages
English (en)
Other versions
CN105701120A (zh
Inventor
吕正东
李航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410709568.0A priority Critical patent/CN105701120B/zh
Priority to EP15845502.2A priority patent/EP3065068A4/en
Priority to PCT/CN2015/075670 priority patent/WO2016082406A1/zh
Priority to US15/087,065 priority patent/US10467342B2/en
Publication of CN105701120A publication Critical patent/CN105701120A/zh
Application granted granted Critical
Publication of CN105701120B publication Critical patent/CN105701120B/zh
Priority to US16/672,092 priority patent/US11138385B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种确定语义匹配度的方法和装置，该方法包括：获取第一语句和第二语句；将第一语句和第二语句分别划分成x和y个语句片段；将第一语句的每一语句片段中的词向量与第二语句的每一语句片段中的词向量进行卷积运算，得到三维张量；将x行y列一维向量中的相邻向量进行综合和/或筛选，直到将三维张量合并成一维的目标向量；根据目标向量，确定第一语句和第二语句的语义匹配度。本发明实施例中，按照语序将待匹配的语句划分成以词向量为单位的语句片段，两个语句中的语句片段之间两两求卷积，得到三维张量，该三维张量包含各语句之间的语句片段的局部匹配信息，基于该三维张量得到的语义匹配结果更准确。

Description

确定语义匹配度的方法和装置
技术领域
本发明涉及语义匹配领域，更为具体地，涉及一种确定语义匹配度的方法和装置。
背景技术
语义匹配技术已经成为自然语言处理的核心技术之一，而且已经在多个商业系统中扮演了重要角色，例如，语音助手(如Siri,GoogleNow)，机器翻译(MachineTranslation),以及聊天机器人(如微软小冰)等。
现有技术中，通常把待匹配的各语句分解成多个词向量，每个词向量具有固定的维数。在此基础上，待匹配的语句通过其所含词向量的线性叠加表示。两个语句的语义匹配度被描述成表示该两个语句的向量之间的内积。
上述语义匹配方式虽然将语句分解成词向量，但分解成词向量的目的是求解整个语句对应的向量，最终仍是从整体上衡量两个语句的语义匹配度。这种语句整体匹配的方式将语句的所有信息通过一个向量表示，往往忽略了语句间局部语段的匹配程度对最终语义匹配结果的影响，导致匹配结果不准确。
发明内容
本发明实施例提供一种确定语义匹配度的方法和装置，以提高语义匹配的准确度。
第一方面，提供一种确定语义匹配度的方法，包括：获取第一语句和第二语句，其中，所述第一语句和所述第二语句为待匹配的语句，所述第一语句包括a个词向量，所述第二语句包括b个词向量；以所述第一语句中的相邻的k个词向量为单位，将所述第一语句划分成x个语句片段，其中，所述x个语句片段中的第i语句片段包括所述第一语句中的第i个词向量至第i+k-1个词向量，其中x＝a-k+1；以所述第二语句中的相邻的t个词向量为单位，将所述第二语句划分成y个语句片段，其中，所述y个语句片段中的第j语句片段包括所述第二语句中的第j个词向量至第j+t-1个词向量，其中y＝b-t+1；将所述第一语句的每一语句片段中的词向量与所述第二语句的每一语句片段中的词向量进行卷积运算，得到三维张量，其中，所述三维张量包括x行y列一维向量，所述x行y列一维向量中的第i行第j列一维向量是所述第一语句的第i语句片段中的词向量和所述第二语句的第j语句片段中的词向量经过所述卷积运算后得到的结果；将所述x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成一维的目标向量；根据所述目标向量，确定所述第一语句和所述第二语句的语义匹配度。
结合第一方面，在第一方面的一种实现方式中，所述将所述第一语句的每一语句片段中的词向量与所述第二语句的每一语句片段中的词向量进行卷积运算，得到三维张量，包括：将所述第一语句的每一语句片段中的k个词向量中的元素和所述第二语句的每一语句片段中的t个词向量中的元素首尾相连，得到Q个一维的组合向量，其中Q＝x×y；分别对所述Q个一维的组合向量进行所述卷积运算，得到所述三维张量，其中，所述三维张量中的第i行第j列一维向量是所述Q个一维的组合向量中的组合向量Tij经过所述卷积运算后得到的结果，其中，所述组合向量Tij由所述第一语句的第i语句片段中的词向量和所述第二语句的第j语句片段中的词向量组合而成。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述将所述x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成一维的目标向量，包括：将所述x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成所述目标向量。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述将所述x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成一维的目标向量，包括：将所述x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成目标张量；将所述目标张量包含的一维向量中的元素首尾相连，得到所述目标向量。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述综合为卷积运算，所述筛选为池化运算。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述将所述x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成一维的目标向量，包括：将所述x行y列一维向量中的每相邻的m×n个一维向量进行所述至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成所述目标向量，其中，m≤x，n≤y。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述根据所述目标向量，确定所述第一语句和所述第二语句的语义匹配度，包括：根据所述目标向量，通过神经网络模型，确定所述第一语句和所述第二语句的语义匹配度。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述根据所述目标向量，通过神经网络模型，确定所述第一语句和所述第二语句的语义匹配度，包括：根据所述目标向量，通过多层感知机MLP模型，得到所述第一语句和所述第二语句的语义匹配度。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述根据所述目标向量，确定所述第一语句和所述第二语句的语义匹配度，包括：根据所述目标向量中各元素的权重，对所述目标向量中的各元素进行加权求和，得到所述第一语句和所述第二语句的语义匹配度。
第二方面，提供一种确定语义匹配度的装置，包括：获取单元，用于获取第一语句和第二语句，其中，所述第一语句和所述第二语句为待匹配的语句，所述第一语句包括a个词向量，所述第二语句包括b个词向量；第一划分单元，用于以所述第一语句中的相邻的k个词向量为单位，将所述第一语句划分成x个语句片段，其中，所述x个语句片段中的第i语句片段包括所述第一语句中的第i个词向量至第i+k-1个词向量，其中x＝a-k+1；第二划分单元，用于以所述第二语句中的相邻的t个词向量为单位，将所述第二语句划分成y个语句片段，其中，所述y个语句片段中的第j语句片段包括所述第二语句中的第j个词向量至第j+t-1个词向量，其中y＝b-t+1；运算单元，用于将所述第一语句的每一语句片段中的词向量与所述第二语句的每一语句片段中的词向量进行卷积运算，得到三维张量，其中，所述三维张量包括x行y列一维向量，所述x行y列一维向量中的第i行第j列一维向量是所述第一语句的第i语句片段中的词向量和所述第二语句的第j语句片段中的词向量经过所述卷积运算后得到的结果；合并单元，用于将所述x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成一维的目标向量；确定单元，用于根据所述目标向量，确定所述第一语句和所述第二语句的语义匹配度。
结合第二方面，在第二方面的一种实现方式中，所述运算单元具体用于将所述第一语句的每一语句片段中的k个词向量中的元素和所述第二语句的每一语句片段中的t个词向量中的元素首尾相连，得到Q个一维的组合向量，其中Q＝x×y；分别对所述Q个一维的组合向量进行所述卷积运算，得到所述三维张量，其中，所述三维张量中的第i行第j列一维向量是所述Q个一维的组合向量中的组合向量Tij经过所述卷积运算后得到的结果，其中，所述组合向量Tij由所述第一语句的第i语句片段中的词向量和所述第二语句的第j语句片段中的词向量组合而成。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述合并单元具体用于将所述x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成所述目标向量。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述合并单元具体用于将所述x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成目标张量；将所述目标张量包含的一维向量中的元素首尾相连，得到所述目标向量。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述综合为卷积运算，所述筛选为池化运算。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述合并单元具体用于将所述x行y列一维向量中的每相邻的m×n个一维向量进行所述至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成所述目标向量，其中，m≤x，n≤y。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述确定单元具体用于根据所述目标向量，通过神经网络模型，确定所述第一语句和所述第二语句的语义匹配度。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述确定单元具体用于根据所述目标向量，通过多层感知机MLP模型，得到所述第一语句和所述第二语句的语义匹配度。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述确定单元具体用于根据所述目标向量中各元素的权重，对所述目标向量中的各元素进行加权求和，得到所述第一语句和所述第二语句的语义匹配度。
本发明实施例中，按照语序将待匹配的语句划分成以词向量为单位的语句片段，两个语句中的语句片段之间两两求卷积，得到三维张量，该三维张量不但保留了各语句的语序，而且包含各语句之间的语句片段的局部匹配信息，然后将该三维张量通过至少一层综合和/或至少一层筛选，并基于综合或筛选结果得到最终的语义匹配结果，与现有的语句整体匹配的方式相比，匹配结果更准确。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是广义回复系统架构的示例图。
图2是本发明实施例的确定语义匹配度的方法的功能示意图。
图3是本发明实施例的确定语义匹配度的方法的示意性流程图。
图4是本发明实施例的确定语义匹配度的方法的示例图。
图5是本发明实施例的三维张量中的相邻向量综合和池化的示例图。
图6是本发明实施例的确定语义匹配度的装置的示意性框图。
图7是本发明实施例的确定语义匹配度的装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
本发明实施例中的确定语义匹配度的方法可以应用在多种语义匹配系统中，例如，问答系统，基于检索的对话系统，以及机器检索中的排序(ranking)系统等，以下将这些系统统称为广义回复系统。
为了方便理解，下面结合图1，简单介绍广义回复系统的基本架构，以及本发明实施例的确定语义匹配的方式在该架构中的应用。广义的回复系统大致由如下几个子系统组成：
分析子系统：用于对输入语句进行简单的分析，如简单的分词(segmentation)或语法分析(grammartic parsing)。
候选集生成子系统：用于对输入语句产生候选集。该候选集中包括该输入语句的候选回复语句。候选集的产生过程可以是基于相对简单的遍历搜索，也可以是复杂的智能搜索。
排序子系统：对候选集中的候选回复语句进行排序，然后输出排序的结果。不同的系统对排序结果的输出要求不同，例如，机器翻译或者对话系统通常只要求输出排名第一的候选回复语句，而对于查询系统，则可能输出多个排名中排名较高的候选回复语句。
由上可知，当接收到输入语句后，候选集生成子系统会生成由若干个(比如30个或1000个)候选回复语句组成的集合。当这一步完成后,这个候选集就会被输入到排序子系统,由一个排序方法来对候选集合进行排序。本发明实施例中的确定语义匹配度的方法可以应用于排序子系统中，作为一个单独的排序算法来使用(此时排序依赖于输入句和回复候选句的匹配度),也可以作为一个综合排序算法的一部分。图2能够更好地体现本发明实施例的确定语义匹配度的方式所实现的功能。在图2中，本发明实施例的确定语义匹配度的方法由匹配模块完成，当属于待匹配的第一语句和第二语句时，利用该匹配模块，就能够得到第一语句和第二语句的语义匹配度。
上文简单介绍了本发明实施例的确定语义匹配度的方法的应用场景和大致架构，下文结合具体的实施例，详细描述本发明实施例的确定语义匹配度的方法。
图3是本发明实施例的确定语义匹配度的方法的示意性流程图。图3的方法包括：
310、获取第一语句和第二语句，其中，第一语句和第二语句为待匹配的语句，第一语句包括a个词向量，第二语句包括b个词向量。
应理解，本发明实施例对第一语句和第二语句所采用的语言不作具体限定。例如，第一语句和第二语句均为中文语句，第一语句和第二语句均为英文语句，或者第一语句为中文语句，第二语句为英文语句。
上述词向量(word-embedding)，是指用一个向量来表示一个词，每个词对应的向量的维数可以是相同的，通常来讲，语义相近的词所对应的词向量也比较接近。基于语句生成词向量的方式可以参照现有技术，此处不再详述。
320、以第一语句中的相邻的k个词向量为单位，将第一语句划分成x个语句片段，其中，x个语句片段中的第i语句片段包括第一语句中的第i个词向量至第i+k-1个词向量，其中x＝a-k+1。
具体地，可以采用基于词向量的滑动窗口，将第一语句划分成x个语句片段，滑动窗口的大小决定了语句片段划分的单位，例如，当第一语句包括4个词向量，且滑动窗口大小为3个词向量时，通过该滑动窗口会将第一语句划分成4个语句片段。以图4为例，图4中的第一语句为“How do you think about HK？”，假设每一个英文单词为一个词向量，滑动窗口的大小为3个词向量，按照第一语句的语序，将滑动窗口从左到右滑动，就会得到4个语句片段，分别是：“How do you”，“do you think”，“you think about”和“think about HK”。从图4可以看出，第一语句的滑动窗口(第一语句中的阴影部分)正在选取的是第2语句片段“do you think”，该第2语句片段包括第一语句的第2-4个词向量。
330、以第二语句中的相邻的t个词向量为单位，将第二语句划分成y个语句片段，其中，y个语句片段中的第j语句片段包括第二语句中的第j个词向量至第j+t-1个词向量，其中y＝b-t+1。
具体地，可以采用基于词向量的滑动窗口，将第二语句划分成y个语句片段，滑动窗口的大小决定了语句片段划分的单位，例如，当第二语句包括4个词向量，且滑动窗口大小为3个词向量时，通过该滑动窗口会将第二语句划分成4个语句片段。以图4为例，图4中的第二语句为“The food in HKis great！”，假设每一个英文单词为一个词向量，滑动窗口的大小为3个词向量，按照第二语句的语序，将滑动窗口从左到右滑动，就会得到4个语句片段，分别是：“The food in”，“food in HK”，“in HK is”和“HK is great”。从图4可以看出，第二语句的滑动窗口(第二语句中的阴影部分)正在选取的是第3语句片段“do youthink”，该第3语句片段包括第二语句的第3-5个词向量。
340、将第一语句的每一语句片段中的词向量与第二语句的每一语句片段中的词向量进行卷积运算，得到三维张量，其中，三维张量包括x行y列一维向量，x行y列一维向量中的第i行第j列一维向量是第一语句的第i语句片段中的词向量和第二语句的第j语句片段中的词向量经过卷积运算后得到的结果。
具体地，通过步骤340，得到x行y列一维向量，该x行y列一维向量组成一个立体的矩阵，即上述三维张量。
上述将第一语句的每一语句片段中的词向量与第二语句的每一语句片段中的词向量进行卷积运算具体指：将第一语句中的x个语句片段和第二语句中的y个语句片段两两求卷积。以图4为例进行举例说明，图4示出了第一语句的第2语句片段与第二语句的第3语句片段求卷积，然后将卷积结果放置在三维张量中的(2,3)的位置，同理，将第一语句的其他语句片段和第二语句的其他语句片段求卷积，最终得到16个结果，即图4中的(1,1)至(4,4)。应理解，通过将第一语句的第i语句片段与第二语句的第j语句片段求卷积的结果放置在三维张量的(i，j)的位置，该三维张量仍能维持第一语句和第二语句的单边语序关系。
两个语句片段求卷积，实际上是两个语句片段中的向量求卷积。具体求卷积的方式可以是：将第一语句的每一语句片段中的k个词向量中的元素和第二语句的每一语句片段中的t个词向量中的元素首尾相连，得到Q个一维的组合向量，其中Q＝x×y；分别对Q个一维的组合向量进行卷积运算，得到三维张量，其中，三维张量中的第i行第j列一维向量是Q个一维的组合向量中的组合向量Tij经过卷积运算后得到的结果，其中，组合向量Tij由第一语句的第i语句片段中的词向量和第二语句的第j语句片段中的词向量组合而成。
需要说明的是，上述卷积运算是一个广义的概念，其实现的功能是将输入的一个或多个向量转化为另一个向量进行输出，实际中，只要是能够实现该功能的算法或模型均应落入本发明实施例的保护范围。
举例说明，假设第一语句的第i语句片段包括3个词向量，每个词向量的维度为100，第二语句的第j语句片段包括3个词向量，每个词向量的维度也为100，那么就将这6个向量中的元素首尾相连，组成一个600维的向量，即上述向量Tij，然后对向量Tij求一维卷积，得到三维张量的一维向量Vij，应理解，对向量Tij求卷积的结果仍为一维向量，不过向量Tij的维数取决于具体的卷积方式，本发明实施例对此不作限定，只需要保证各语句片段进行上述卷积运算时，所采用的卷积方式相同即可。
350、将x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减三维张量所包含的一维向量的个数，直到将三维张量合并成一维的目标向量。
以图4为例，三维张量中的相邻向量可指三维张量中编号邻近的向量，以三维张量为4×4的立体矩阵为例，共包含(1,1)至(4,4)在内的16个向量，这里的相邻向量可以指向量(1,1)和(1,2)，(2,2)和(2,3)等两两相邻的向量，也可以指(1,1)、(1,2)、(2,1)和(2,2)，或者(2,2)、(2,3)、(3,2)和(3,3)等4个相邻的向量。也就是说，此处的相邻向量是指位于x行y列一维向量中的一块相邻区域的向量，例如，每个2×2的小区域中的向量为相邻向量，或者每个3×4的小区域中的向量为相邻向量。应理解，相邻向量的选取方式是灵活多样的，具体采用哪种选取方式可以由最终得到的语义匹配度是否准确来决定，例如，在采用本发明实施例的确定语义匹配度的方法训练语义匹配模式时，先采用某张相邻向量的选取方式得到语义匹配结果，当该语义匹配结果不准确时，调整相邻向量的选取方式直到该模型的匹配结果准确为止。
三维张量中的相邻向量为多个一维向量，这些一维向量的综合是指将这些一维向量以某种运算形式合并成一个向量。例如，可以通过求卷积综合成一维向量，也可以通过将元素首尾相连合并成一个一维向量，本发明实施例对综合的方式不作具体限定。
三维张量中的相邻向量为多个一维向量，这些一维向量的筛选是指从这些一维向量中选出某个一维向量，或者，从这些一维向量的元素中选出某些元素重新组成一个一维向量。例如，可以选出这些向量在每一维度的最大值，重新组合成新的向量，本发明实施例对综合的方式不作具体限定。
需要说明的是，三维张量可以仅进行综合，或者仅进行筛选，或者进行任意次数的综合和筛选。此外，三维张量进行综合和筛选的顺序也可以多种多样，例如，可以进行交替地综合和筛选，也可以先进行多次综合，在进行一次筛选。本发明实施例对综合和筛选的具体方式和顺序不作限定，实际中，可以根据语义匹配的准确度对综合和筛选的具体方式和顺序进行调整，直到语义匹配的准确度达到预设阈值。
图5是将三维张量合并成目标向量过程的示例图。在图5中，三维张量中每2×2，共4个相邻的向量进行二维池化(pooling)，得到新的一维向量。这里的二维池化具体可以是从4个相邻向量在每一维度对应的4个数值中选出一个最大值，最终得到的一维向量是由该4个相邻向量在每一维度的最大值组合而成的。通过二维池化运算，三维张量中一维向量的个数被减少。接着，对缩小后的三维张量再进行卷积运算，例如，选取相邻的4个向量进行二维卷积运算，将三维向量中的一维向量再次减少。这里的二维卷积运算具体可以指将该相邻的4个向量中的元素首尾相接，得到一维组合向量，然后将该一维组合向量求卷积，得到新的一维向量。接下来，可以进行更多的二维池化运算和卷积运算，直到二维池化和卷积运算的次数达到预设次数，或者直到三维张量包含的一维向量个数减少到预设的个数。需要说明的是，通过多次二维池化和卷积后，可以直接将三维张量合并成上述目标向量。或者，将三维张量包含的一维向量减少到一定个数后，将这些向量中的元素首尾相接，得到上述目标向量。
360、根据目标向量，确定第一语句和第二语句的语义匹配度。
根据目标向量，确定第一语句和第二语句的语义匹配度的方式有多种，例如，可以为目标向量中的各元素设置一个权重，通过加权求和的方式得到该语义匹配度。或者，根据目标向量，通过神经网络模型，得到第一语句和第二语句的匹配度。具体地，可以根据目标向量，通过多层感知机MLP(多层感知机，Multi Layer Perceptron)模型，得到第一语句和第二语句的语义匹配度，也就是说，将目标向量输入MLP模型中，该MLP模型会输出一个数值，该数值即为第一语句和第二语句的语义匹配度。MLP模型本质上也是一个神经网络模型，内部也会多目标向量进行多层综合，最终得到一个匹配值，具体参照现有技术。
需要说明的是，本发明实施例可以用在语义匹配模型训练的过程中，当步骤360得到的语义匹配度不满足预设阈值时，需要重新调整语义匹配模型中的各项参数，如综合和池化的顺序、次数、三维张量中相邻向量的选取方式等，甚至可以对步骤310中获取的词向量进行调整，直到语义匹配度满足该预设阈值。
本发明实施例中，按照语序将待匹配的语句划分成以词向量为单位的语句片段，两个语句中的语句片段之间两两求卷积，得到三维张量，该三维张量不但保留了各语句的语序，而且包含各语句之间的语句片段的局部匹配信息，然后将该三维张量通过层层综合和筛选，得到最终的语义匹配结果，与现有的语句整体匹配的方式相比，匹配结果更准确。具体而言，三维张量中的一维向量的排列方式维持了语句的语序结构，该三维向量同时具有两个语句片段相互作用的结构。这个三维张量被综合和/或筛选，最终得到的是两个语句相互作用空间的表示，并以此为基础得到最终的匹配值，这种方式与现有的方式相比，具有多层性、非线性、以及局部性，得到的匹配结果更加准确。
可选地，作为一个实施例，步骤340可包括：将第一语句的第i语句片段中的k个词向量中的元素和第二语句的第j语句片段中的t个词向量中的元素首尾相连，组合成一维的向量Tij；对向量Tij进行一维卷积运算，得到三维张量中的位于第i行第j列的一维向量Vij。
举例说明，假设第一语句的第i语句片段包括3个词向量，分别是[1,1,1]、[0,1,1]和[0,1,0]，第二语句的第j语句片段包括3个词向量，分别是[2,1,3]、[3,4,1]和[0,1,0]，那么，这些向量首尾相连，组合成的一维向量Tij为[1,1,1,0,1,1,0,1,0,2,1,3,3,4,1,0,1,0]，然后对该向量Tij求卷积，得到Vij。
可选地，作为一个实施例，步骤350可包括：将x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减三维张量所包含的一维向量的个数，直到将三维张量合并成目标张量；将所述目标张量包含的一维向量中的元素首尾相连，得到所述目标向量。
需要说明的是，在对三维张量中的相邻向量进行交替地综合和筛选的过程中，三维张量包含的一维向量的个数是不断减少的，或者说是不断被合并的。换句话说，当进行了一次综合之后，下次综合或筛选是在本次综合之后的结果上继续进行的，而非再次对最初的三维张量进行下次综合或筛选。
可选地，作为另一个实施例，步骤350可包括：将x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减三维张量所包含的一维向量的个数，直到将三维张量合并成目标向量。
进一步地，上述综合可以为卷积运算，上述筛选可以为池化运算。应理解，此处的卷积运算与步骤340中的卷积运算可以相同，也可以不同，本发明实施例对此不作具体限定，具体的卷积方式取决于最终得到的语义匹配度的准确性。
换句话说，池化运算是对三维张量中相邻向量进行筛选的一种具体方式，卷积运算是对三维张量中相邻向量进行综合的一种具体方式。
应理解，本发明实施例的确定语义匹配度的方法可以用在实际的匹配过程中，也可以用在匹配模型训练的过程中，该匹配模型实际上是一种基于神经网络的深度匹配模型，下面给出该深度匹配模型的训练过程的一个示例。
首先，采用非监督学习的方式从大量的自然语句中生成词向量。然后，基于生成的词向量，采用监督学习的方式对深度匹配模型进行训练。首先，初始化深度匹配模型的参数，这些参数包括对语句分段的方式(即滑动窗口的大小)、深度模型的层数、每层的具体综合或筛选的方式、每层进行综合或筛选时相邻向量的选取方式等。然后，基于自然语句的正例(与输入语句匹配的语句)和负例(与输入语句不匹配的语句)进行训练，得到匹配结果，当匹配结果不准确时，修改深度模型的参数重新训练，直到该深度匹配模型匹配的准确性满足预设阈值。
下面结合具体的语句，给出本发明实施例的确定语义匹配度的方法应用的一个实例。
假设输入语句是“巴萨战胜了皇马，噢耶！”。
候选回复语句A：“巴萨冠军到手！”
候选回复语句B：“你原来是皇马球迷”。
利用本发明实施例的确定语义匹配度的方式，可以看出输入语句中对巴萨的正面情绪(“巴萨战胜”，“噢耶”)以及对皇马的负面情绪(“战胜了皇马”，“噢耶”)和候选回复A中对巴萨的正面情绪(“巴萨冠军”)匹配的很好，而和候选回复B中对皇马的负面情绪(“皇马球迷”)匹配的较差，所以综合起来本发明的深度匹配模型(以及以其为基础的排序子系统)会把候选回复A排在候选回复B的前面。
上文结合图1至图5，详细描述了本发明实施例的确定语义匹配度的方法，下文结合图6和图7，详细描述本发明实施例的确定语义匹配度的装置。应理解，图6和图7中的装置均能实现图3中的各个步骤，为避免重复，此处不再详述。
图6是本发明实施例的确定语义匹配度的装置的示意性框图。图6的装置600包括：
获取单元610，用于获取第一语句和第二语句，其中，所述第一语句和所述第二语句为待匹配的语句，所述第一语句包括a个词向量，所述第二语句包括b个词向量；
第一划分单元620，用于以所述第一语句中的相邻的k个词向量为单位，将所述第一语句划分成x个语句片段，其中，所述x个语句片段中的第i语句片段包括所述第一语句中的第i个词向量至第i+k-1个词向量，其中x＝a-k+1；
第二划分单元630，用于以所述第二语句中的相邻的t个词向量为单位，将所述第二语句划分成y个语句片段，其中，所述y个语句片段中的第j语句片段包括所述第二语句中的第j个词向量至第j+t-1个词向量，其中y＝b-t+1；
运算单元640，用于将所述第一语句的每一语句片段中的词向量与所述第二语句的每一语句片段中的词向量进行卷积运算，得到三维张量，其中，所述三维张量包括x行y列一维向量，所述x行y列一维向量中的第i行第j列一维向量是所述第一语句的第i语句片段中的词向量和所述第二语句的第j语句片段中的词向量经过所述卷积运算后得到的结果；
合并单元650，用于将所述x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成一维的目标向量；
确定单元660，用于根据所述目标向量，确定所述第一语句和所述第二语句的语义匹配度。
本发明实施例中，按照语序将待匹配的语句划分成以词向量为单位的语句片段，两个语句中的语句片段之间两两求卷积，得到三维张量，该三维张量不但保留了各语句的语序，而且包含各语句之间的语句片段的局部匹配信息，然后将该三维张量通过至少一层综合和/或至少一层筛选，并基于综合或筛选结果得到最终的语义匹配结果，与现有的语句整体匹配的方式相比，匹配结果更准确。具体而言，三维张量包括的一维向量的排列方式维持了语句的语序结构，该三维张量同时具有两个语句片段相互作用的结构。这个三维张量被综合和/或筛选，最终得到的是两个语句相互作用空间的表示，并以此为基础得到最终的匹配值，这种方式与现有的方式相比，具有多层性、非线性、以及局部性，得到的匹配结果更加准确。
可选地，作为一个实施例，所述运算单元640具体用于将所述第一语句的每一语句片段中的k个词向量中的元素和所述第二语句的每一语句片段中的t个词向量中的元素首尾相连，得到Q个一维的组合向量，其中Q＝x×y；分别对所述Q个一维的组合向量进行所述卷积运算，得到所述三维张量，其中，所述三维张量中的第i行第j列一维向量是所述Q个一维的组合向量中的组合向量Tij经过所述卷积运算后得到的结果，其中，所述组合向量Tij由所述第一语句的第i语句片段中的词向量和所述第二语句的第j语句片段中的词向量组合而成。
可选地，作为一个实施例，所述合并单元650具体用于将所述x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成所述目标向量。
可选地，作为一个实施例，所述合并单元650具体用于将所述x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成目标张量；将所述目标张量包含的一维向量中的元素首尾相连，得到所述目标向量。
可选地，作为一个实施例，所述综合为卷积运算，所述筛选为池化运算。
可选地，作为一个实施例，所述合并单元650具体用于将所述x行y列一维向量中的每相邻的m×n个一维向量进行所述至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成所述目标向量，其中，m≤x，n≤y。
可选地，作为一个实施例，所述确定单元660具体用于根据所述目标向量，通过神经网络模型，确定所述第一语句和所述第二语句的语义匹配度。
可选地，作为一个实施例，所述确定单元660具体用于根据所述目标向量，通过多层感知机MLP模型，得到所述第一语句和所述第二语句的语义匹配度。
可选地，作为一个实施例，所述确定单元660具体用于根据所述目标向量中各元素的权重，对所述目标向量中的各元素进行加权求和，得到所述第一语句和所述第二语句的语义匹配度。
图7是本发明实施例的确定语义匹配度的装置的示意性框图。图7的装置700包括：
存储器710，用于存储程序；
处理器720，用于执行程序，当所述程序被执行时，所述处理器720具体用于：获取第一语句和第二语句，其中，所述第一语句和所述第二语句为待匹配的语句，所述第一语句包括a个词向量，所述第二语句包括b个词向量；以所述第一语句中的相邻的k个词向量为单位，将所述第一语句划分成x个语句片段，其中，所述x个语句片段中的第i语句片段包括所述第一语句中的第i个词向量至第i+k-1个词向量，其中x＝a-k+1；以所述第二语句中的相邻的t个词向量为单位，将所述第二语句划分成y个语句片段，其中，所述y个语句片段中的第j语句片段包括所述第二语句中的第j个词向量至第j+t-1个词向量，其中y＝b-t+1；将所述第一语句的每一语句片段中的词向量与所述第二语句的每一语句片段中的词向量进行卷积运算，得到三维张量，其中，所述三维张量包括x行y列一维向量，所述x行y列一维向量中的第i行第j列一维向量是所述第一语句的第i语句片段中的词向量和所述第二语句的第j语句片段中的词向量经过所述卷积运算后得到的结果；将所述x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成一维的目标向量；根据所述目标向量，确定所述第一语句和所述第二语句的语义匹配度。
本发明实施例中，按照语序将待匹配的语句划分成以词向量为单位的语句片段，两个语句中的语句片段之间两两求卷积，得到三维张量，该三维张量不但保留了各语句的语序，而且包含各语句之间的语句片段的局部匹配信息，然后将该三维张量通过至少一层综合和/或至少一层筛选，并基于综合或筛选结果得到最终的语义匹配结果，与现有的语句整体匹配的方式相比，匹配结果更准确。具体而言，三维张量包括的一维向量的排列方式维持了语句的语序结构，该三维张量同时具有两个语句片段相互作用的结构。这个三维张量被综合和/或筛选，最终得到的是两个语句相互作用空间的表示，并以此为基础得到最终的匹配值，这种方式与现有的方式相比，具有多层性、非线性、以及局部性，得到的匹配结果更加准确。
可选地，作为一个实施例，所述处理器720具体用于将所述第一语句的每一语句片段中的k个词向量中的元素和所述第二语句的每一语句片段中的t个词向量中的元素首尾相连，得到Q个一维的组合向量，其中Q＝x×y；分别对所述Q个一维的组合向量进行所述卷积运算，得到所述三维张量，其中，所述三维张量中的第i行第j列一维向量是所述Q个一维的组合向量中的组合向量Tij经过所述卷积运算后得到的结果，其中，所述组合向量Tij由所述第一语句的第i语句片段中的词向量和所述第二语句的第j语句片段中的词向量组合而成。
可选地，作为一个实施例，所述处理器720具体用于将所述x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成所述目标向量。
可选地，作为一个实施例，所述处理器720具体用于将所述x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成目标张量；将所述目标张量包含的一维向量中的元素首尾相连，得到所述目标向量。
可选地，作为一个实施例，所述综合为卷积运算，所述筛选为池化运算。
可选地，作为一个实施例，所述处理器720具体用于将所述x行y列一维向量中的每相邻的m×n个一维向量进行所述至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成所述目标向量，其中，m≤x，n≤y。
可选地，作为一个实施例，所述处理器720具体用于根据所述目标向量，通过神经网络模型，确定所述第一语句和所述第二语句的语义匹配度。
可选地，作为一个实施例，所述处理器720具体用于根据所述目标向量，通过多层感知机MLP模型，得到所述第一语句和所述第二语句的语义匹配度。
可选地，作为一个实施例，所述处理器720具体用于根据所述目标向量中各元素的权重，对所述目标向量中的各元素进行加权求和，得到所述第一语句和所述第二语句的语义匹配度。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (18)

1.一种确定语义匹配度的方法，其特征在于，包括：
获取第一语句和第二语句，其中，所述第一语句和所述第二语句为待匹配的语句，所述第一语句包括a个词向量，所述第二语句包括b个词向量；
以所述第一语句中的相邻的k个词向量为单位，将所述第一语句划分成x个语句片段，其中，所述x个语句片段中的第i语句片段包括所述第一语句中的第i个词向量至第i+k-1个词向量，其中x＝a-k+1；
以所述第二语句中的相邻的t个词向量为单位，将所述第二语句划分成y个语句片段，其中，所述y个语句片段中的第j语句片段包括所述第二语句中的第j个词向量至第j+t-1个词向量，其中y＝b-t+1；
将所述第一语句的每一语句片段中的词向量与所述第二语句的每一语句片段中的词向量进行卷积运算，得到三维张量，其中，所述三维张量包括x行y列一维向量，所述x行y列一维向量中的第i行第j列一维向量是所述第一语句的第i语句片段中的词向量和所述第二语句的第j语句片段中的词向量经过所述卷积运算后得到的结果；
将所述x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成一维的目标向量；
根据所述目标向量，确定所述第一语句和所述第二语句的语义匹配度。
2.如权利要求1所述的方法，其特征在于，所述将所述第一语句的每一语句片段中的词向量与所述第二语句的每一语句片段中的词向量进行卷积运算，得到三维张量，包括：
将所述第一语句的每一语句片段中的k个词向量中的元素和所述第二语句的每一语句片段中的t个词向量中的元素首尾相连，得到Q个一维的组合向量，其中Q＝x×y；
分别对所述Q个一维的组合向量进行所述卷积运算，得到所述三维张量，其中，所述三维张量中的第i行第j列一维向量是所述Q个一维的组合向量中的组合向量Tij经过所述卷积运算后得到的结果，其中，所述组合向量Tij由所述第一语句的第i语句片段中的词向量和所述第二语句的第j语句片段中的词向量中的元素组合而成。
3.如权利要求1或2所述的方法，其特征在于，所述将所述x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成一维的目标向量，包括：
将所述x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成所述目标向量。
4.如权利要求1或2所述的方法，其特征在于，所述将所述x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成一维的目标向量，包括：
将所述x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成目标张量；
将所述目标张量包含的一维向量中的元素首尾相连，得到所述目标向量。
5.如权利要求3所述的方法，其特征在于，所述综合为卷积运算，所述筛选为池化运算。
6.如权利要求1或2所述的方法，其特征在于，所述将所述x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成一维的目标向量，包括：
将所述x行y列一维向量中的每相邻的m×n个一维向量进行所述至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成所述目标向量，其中，m≤x，n≤y。
7.如权利要求1或2所述的方法，其特征在于，所述根据所述目标向量，确定所述第一语句和所述第二语句的语义匹配度，包括：
根据所述目标向量，通过神经网络模型，确定所述第一语句和所述第二语句的语义匹配度。
8.如权利要求7所述的方法，其特征在于，所述根据所述目标向量，通过神经网络模型，确定所述第一语句和所述第二语句的语义匹配度，包括：
根据所述目标向量，通过多层感知机MLP模型，得到所述第一语句和所述第二语句的语义匹配度。
9.如权利要求1或2所述的方法，其特征在于，所述根据所述目标向量，确定所述第一语句和所述第二语句的语义匹配度，包括：
根据所述目标向量中各元素的权重，对所述目标向量中的各元素进行加权求和，得到所述第一语句和所述第二语句的语义匹配度。
10.一种确定语义匹配度的装置，其特征在于，包括：
获取单元，用于获取第一语句和第二语句，其中，所述第一语句和所述第二语句为待匹配的语句，所述第一语句包括a个词向量，所述第二语句包括b个词向量；
第一划分单元，用于以所述第一语句中的相邻的k个词向量为单位，将所述第一语句划分成x个语句片段，其中，所述x个语句片段中的第i语句片段包括所述第一语句中的第i个词向量至第i+k-1个词向量，其中x＝a-k+1；
第二划分单元，用于以所述第二语句中的相邻的t个词向量为单位，将所述第二语句划分成y个语句片段，其中，所述y个语句片段中的第j语句片段包括所述第二语句中的第j个词向量至第j+t-1个词向量，其中y＝b-t+1；
运算单元，用于将所述第一语句的每一语句片段中的词向量与所述第二语句的每一语句片段中的词向量进行卷积运算，得到三维张量，其中，所述三维张量包括x行y列一维向量，所述x行y列一维向量中的第i行第j列一维向量是所述第一语句的第i语句片段中的词向量和所述第二语句的第j语句片段中的词向量经过所述卷积运算后得到的结果；
合并单元，用于将所述x行y列一维向量中的相邻向量进行至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成一维的目标向量；
确定单元，用于根据所述目标向量，确定所述第一语句和所述第二语句的语义匹配度。
11.如权利要求10所述的装置，其特征在于，所述运算单元具体用于将所述第一语句的每一语句片段中的k个词向量中的元素和所述第二语句的每一语句片段中的t个词向量中的元素首尾相连，得到Q个一维的组合向量，其中Q＝x×y；分别对所述Q个一维的组合向量进行所述卷积运算，得到所述三维张量，其中，所述三维张量中的第i行第j列一维向量是所述Q个一维的组合向量中的组合向量Tij经过所述卷积运算后得到的结果，其中，所述组合向量Tij由所述第一语句的第i语句片段中的词向量和所述第二语句的第j语句片段中的词向量中的元素组合而成。
12.如权利要求10或11所述的装置，其特征在于，所述合并单元具体用于将所述x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成所述目标向量。
13.如权利要求10或11所述的装置，其特征在于，所述合并单元具体用于将所述x行y列一维向量中的相邻向量进行交替地综合和筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成目标张量；将所述目标张量包含的一维向量中的元素首尾相连，得到所述目标向量。
14.如权利要求12所述的装置，其特征在于，所述综合为卷积运算，所述筛选为池化运算。
15.如权利要求10或11所述的装置，其特征在于，所述合并单元具体用于将所述x行y列一维向量中的每相邻的m×n个一维向量进行所述至少一次综合和/或至少一次筛选，不断缩减所述三维张量所包含的一维向量的个数，直到将所述三维张量合并成所述目标向量，其中，m≤x，n≤y。
16.如权利要求10或11所述的装置，其特征在于，所述确定单元具体用于根据所述目标向量，通过神经网络模型，确定所述第一语句和所述第二语句的语义匹配度。
17.如权利要求16所述的装置，其特征在于，所述确定单元具体用于根据所述目标向量，通过多层感知机MLP模型，得到所述第一语句和所述第二语句的语义匹配度。
18.如权利要求10或11所述的装置，其特征在于，所述确定单元具体用于根据所述目标向量中各元素的权重，对所述目标向量中的各元素进行加权求和，得到所述第一语句和所述第二语句的语义匹配度。
CN201410709568.0A 2014-11-28 2014-11-28 确定语义匹配度的方法和装置 Active CN105701120B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201410709568.0A CN105701120B (zh) 2014-11-28 2014-11-28 确定语义匹配度的方法和装置
EP15845502.2A EP3065068A4 (en) 2014-11-28 2015-04-01 Method and apparatus for determining semantic matching degree
PCT/CN2015/075670 WO2016082406A1 (zh) 2014-11-28 2015-04-01 确定语义匹配度的方法和装置
US15/087,065 US10467342B2 (en) 2014-11-28 2016-03-31 Method and apparatus for determining semantic matching degree
US16/672,092 US11138385B2 (en) 2014-11-28 2019-11-01 Method and apparatus for determining semantic matching degree

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410709568.0A CN105701120B (zh) 2014-11-28 2014-11-28 确定语义匹配度的方法和装置

Publications (2)

Publication Number Publication Date
CN105701120A CN105701120A (zh) 2016-06-22
CN105701120B true CN105701120B (zh) 2019-05-03

Family

ID=56073460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410709568.0A Active CN105701120B (zh) 2014-11-28 2014-11-28 确定语义匹配度的方法和装置

Country Status (4)

Country Link
US (2) US10467342B2 (zh)
EP (1) EP3065068A4 (zh)
CN (1) CN105701120B (zh)
WO (1) WO2016082406A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016068455A1 (ko) * 2014-10-30 2016-05-06 주식회사 플런티코리아 적응적인 키보드 인터페이스를 제공하기 위한 방법 및 시스템, 대화 내용과 연동되는 적응적 키보드를 이용한 답변 입력 방법
CN105824797B (zh) * 2015-01-04 2019-11-12 华为技术有限公司 一种评价语义相似度的方法、装置和系统
US10163061B2 (en) * 2015-06-18 2018-12-25 International Business Machines Corporation Quality-directed adaptive analytic retraining
KR20180077847A (ko) * 2016-12-29 2018-07-09 주식회사 엔씨소프트 문장 검증 장치 및 방법
CN106708807B (zh) * 2017-02-10 2019-11-15 广东惠禾科技发展有限公司 无监督分词模型训练方法及装置
CN107273357B (zh) * 2017-06-14 2020-11-10 北京百度网讯科技有限公司 基于人工智能的分词模型的修正方法、装置、设备和介质
CN107273503B (zh) * 2017-06-19 2020-07-10 北京百度网讯科技有限公司 用于生成同语言平行文本的方法和装置
JP7065877B2 (ja) * 2017-08-31 2022-05-12 カンブリコン テクノロジーズ コーポレーション リミテッド チップ装置および関連製品
CN107729322B (zh) * 2017-11-06 2021-01-12 广州杰赛科技股份有限公司 分词方法及装置、建立句子向量生成模型方法及装置
CN108364061B (zh) * 2018-02-13 2020-05-05 北京旷视科技有限公司 运算装置、运算执行设备及运算执行方法
CN108959588B (zh) * 2018-07-10 2021-10-08 四川淘金你我信息技术有限公司 基于大数据的文本客服机器人智能学习方法
WO2020031242A1 (ja) * 2018-08-06 2020-02-13 富士通株式会社 評価プログラム、評価方法および情報処理装置
CN109376222B (zh) * 2018-09-27 2021-05-25 国信优易数据股份有限公司 问答匹配度计算方法、问答自动匹配方法及装置
CN111680497B (zh) * 2019-02-25 2023-12-08 北京嘀嘀无限科技发展有限公司 会话识别模型训练方法及装置
US20220284900A1 (en) * 2019-08-29 2022-09-08 Boe Technology Group Co., Ltd. Voice Interaction Method, System, Terminal Device and Medium
CN111753553B (zh) * 2020-07-06 2022-07-05 北京世纪好未来教育科技有限公司 语句类型识别方法、装置、电子设备和存储介质
CN112182167B (zh) * 2020-11-06 2023-12-22 平安科技（深圳）有限公司 一种文本匹配方法、装置、终端设备和存储介质
CN112699689B (zh) * 2021-01-05 2024-07-19 虎博网络技术(上海)有限公司 音频切分方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6298344B1 (en) * 1998-03-28 2001-10-02 Matsushita Electric Industrial Co., Ltd. Document searching apparatus
CN103092998A (zh) * 2013-02-21 2013-05-08 用友软件股份有限公司 数据查询系统和数据查询方法
CN104123389A (zh) * 2014-08-07 2014-10-29 北京微众文化传媒有限公司 语句匹配方法和装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997008604A2 (en) 1995-08-16 1997-03-06 Syracuse University Multilingual document retrieval system and method using semantic vector matching
US5899989A (en) * 1996-05-14 1999-05-04 Sharp Kabushiki Kaisha On-demand interface device
US7085708B2 (en) * 2000-09-23 2006-08-01 Ravenflow, Inc. Computer system with natural language to machine language translator
US6714924B1 (en) 2001-02-07 2004-03-30 Basf Corporation Computer-implemented neural network color matching formulation system
JP2002251401A (ja) * 2001-02-22 2002-09-06 Canon Inc 文書検索装置および方法ならびに記憶媒体
US20020187794A1 (en) 2001-05-04 2002-12-12 Comverse Network Systems, Ltd. SMS automatic reply and automatic handling
WO2004006124A2 (en) 2002-07-03 2004-01-15 Word Data Corp. Text-representation, text-matching and text-classification code, system and method
AT6921U1 (de) 2002-11-28 2004-05-25 Sail Labs Technology Ag Verfahren zur automatischen übereinstimmung von audio-segmenten mit textelementen
US7725487B2 (en) * 2003-12-01 2010-05-25 National Institute Of Information And Communications Technology Content synchronization system and method of similar web pages
US7328209B2 (en) 2004-08-11 2008-02-05 Oracle International Corporation System for ontology-based semantic matching in a relational database system
DE602006016544D1 (de) 2006-02-13 2010-10-14 Alcatel Lucent Verfahren zum Bereitstellen einer automatischen Antwortnachricht
US8180633B2 (en) * 2007-03-08 2012-05-15 Nec Laboratories America, Inc. Fast semantic extraction using a neural network architecture
US20090077185A1 (en) 2007-09-17 2009-03-19 Inventec Corporation Automatic-reply instant messeging system and method thereof
US8874432B2 (en) * 2010-04-28 2014-10-28 Nec Laboratories America, Inc. Systems and methods for semi-supervised relationship extraction
US8874434B2 (en) * 2010-06-02 2014-10-28 Nec Laboratories America, Inc. Method and apparatus for full natural language parsing
US20120083287A1 (en) 2010-06-24 2012-04-05 Paul Casto Short messaging system auto-reply and message hold
CN102411583B (zh) 2010-09-20 2013-09-18 阿里巴巴集团控股有限公司 一种文本匹配方法及装置
US9449277B2 (en) * 2010-10-21 2016-09-20 Nec Corporation Implication determining device, implication determining method and implication determining program determining if hypothesis is a new fact
US8909617B2 (en) 2011-01-26 2014-12-09 Hulu, LLC Semantic matching by content analysis
US8856181B2 (en) 2011-07-08 2014-10-07 First Retail, Inc. Semantic matching
US9430563B2 (en) * 2012-02-02 2016-08-30 Xerox Corporation Document processing employing probabilistic topic modeling of documents represented as text words transformed to a continuous space
CN103020164B (zh) * 2012-11-26 2015-06-10 华北电力大学 一种基于多语义分析和个性化排序的语义检索方法
CN103605644B (zh) * 2013-12-02 2017-02-01 哈尔滨工业大学 一种基于相似度匹配的枢轴语言翻译方法和装置
CN104750762A (zh) 2013-12-31 2015-07-01 华为技术有限公司 一种信息检索方法及装置
CN104102626B (zh) * 2014-07-07 2017-08-15 厦门推特信息科技有限公司 一种用于短文本语义相似度计算的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6298344B1 (en) * 1998-03-28 2001-10-02 Matsushita Electric Industrial Co., Ltd. Document searching apparatus
CN103092998A (zh) * 2013-02-21 2013-05-08 用友软件股份有限公司 数据查询系统和数据查询方法
CN104123389A (zh) * 2014-08-07 2014-10-29 北京微众文化传媒有限公司 语句匹配方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于语义匹配的交互式视频检索框架;李华北等;《自动化学报》;20081031;第34卷(第10期);第1243-1249页
顾及上下文的空间信息服务组合语义匹配方法;罗安等;《武汉大学学报·信息科学版》;20110331;第36卷(第3期);第368-372页

Also Published As

Publication number Publication date
EP3065068A1 (en) 2016-09-07
US11138385B2 (en) 2021-10-05
EP3065068A4 (en) 2017-05-10
CN105701120A (zh) 2016-06-22
US20200065388A1 (en) 2020-02-27
US20160217129A1 (en) 2016-07-28
US10467342B2 (en) 2019-11-05
WO2016082406A1 (zh) 2016-06-02

Similar Documents

Publication Publication Date Title
CN105701120B (zh) 确定语义匹配度的方法和装置
CN107688823B (zh) 一种图像特征获取方法及装置，电子设备
Shahriari et al. An entropy search portfolio for Bayesian optimization
CN108986908A (zh) 问诊数据处理方法、装置、计算机设备和存储介质
CN108304921A (zh) 卷积神经网络的训练方法及图像处理方法、装置
CN107423398A (zh) 交互方法、装置、存储介质和计算机设备
CN109559300A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN109271493A (zh) 一种语言文本处理方法、装置和存储介质
Ferri Persistent topology for natural data analysis—A survey
CN110245221A (zh) 训练对话状态跟踪分类器的方法和计算机设备
CN108536784B (zh) 评论信息情感分析方法、装置、计算机存储介质和服务器
CN111222847B (zh) 基于深度学习与非监督聚类的开源社区开发者推荐方法
CN110889450B (zh) 超参数调优、模型构建方法和装置
CN110222171A (zh) 一种分类模型应用、分类模型训练方法及装置
CN108846695A (zh) 终端更换周期的预测方法及装置
CN110111885A (zh) 属性预测方法、装置、计算机设备及计算机可读存储介质
JP2018022496A (ja) 自然言語処理装置に用いられるトレーニングデータを作成する方法と機器
CN117332090B (zh) 一种敏感信息识别方法、装置、设备和存储介质
CN107909141A (zh) 一种基于灰狼优化算法的数据分析方法及装置
CN113961765A (zh) 基于神经网络模型的搜索方法、装置、设备和介质
Henri et al. A deep transfer learning model for the identification of bird songs: A case study for Mauritius
CN112699907B (zh) 数据融合的方法、装置和设备
CN110633363B (zh) 一种基于nlp和模糊多准则决策的文本实体推荐方法
Takano et al. Construction of a space of motion labels from their mapping to full-body motion symbols
Revanesh et al. An Optimized Question Classification Framework Using Dual-Channel Capsule Generative Adversarial Network and Atomic Orbital Search Algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant