Nothing Special   »   [go: up one dir, main page]

CN117094307A - 一种语句处理的方法和相关装置 - Google Patents

一种语句处理的方法和相关装置 Download PDF

Info

Publication number
CN117094307A
CN117094307A CN202210499322.XA CN202210499322A CN117094307A CN 117094307 A CN117094307 A CN 117094307A CN 202210499322 A CN202210499322 A CN 202210499322A CN 117094307 A CN117094307 A CN 117094307A
Authority
CN
China
Prior art keywords
sentence
sentences
candidate
target
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210499322.XA
Other languages
English (en)
Inventor
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tenpay Payment Technology Co Ltd
Original Assignee
Tenpay Payment Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tenpay Payment Technology Co Ltd filed Critical Tenpay Payment Technology Co Ltd
Priority to CN202210499322.XA priority Critical patent/CN117094307A/zh
Publication of CN117094307A publication Critical patent/CN117094307A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种语句处理的方法和相关装置，应用于人工智能场景或车载场景，针对目标语句和多个第一候选语句而言，计算每个第一候选语句与目标语句的语句相似度；在基于语句相似度确定多个第一候选语句与目标语句均不匹配时，切分多个第一候选语句得到多个第二候选语句；通过每个第二候选语句对于目标语句的重要性参数值，从多个第二候选语句中确定多个第一待融合语句；按照多个第一待融合语句中各个词语之间的依赖关系，融合多个第一待融合语句得到目标语句匹配的融合语句。该方法即使在多个第一候选语句与目标语句均不匹配情况下，也能够满足得到目标语句的匹配语句的实际需求，从而提升问答系统、搜索系统等应用场景的处理效果。

Description

一种语句处理的方法和相关装置
技术领域
本申请涉及数据处理领域，特别是涉及一种语句处理的方法和相关装置。
背景技术
随着自然语言处理技术的快速发展，语句相似度计算广泛应用于在问答系统、搜索系统等应用场景中。通常情况下，通过计算两个语句的语句相似度，基于语句相似度确定两个语句是否匹配，以匹配的语句作为问答系统、搜索系统等场景的处理结果。
相关技术中，针对目标语句和多个候选语句而言，先通过每个候选语句的词语特征和目标语句的词语特征，计算每个候选语句与目标语句的语句相似度；再基于语句相似度从多个候选语句中确定目标语句匹配的候选语句。
然而，实际应用中存在多个候选语句与目标语句均不匹配的情况，在该情况下采用上述方式，无法从多个候选语句中确定目标语句匹配的候选语句，导致无法满足得到目标语句的匹配语句的实际需求，从而导致问答系统、搜索系统等应用场景的处理效果较差。
发明内容
为了解决上述技术问题，本申请提供了一种语句处理的方法和相关装置，即使在多个第一候选语句与目标语句均不匹配情况下，也能够满足得到目标语句的匹配语句的实际需求，从而提升问答系统、搜索系统等应用场景的处理效果。
本申请实施例公开了如下技术方案：
一方面，本申请提供一种语句处理的方法，所述方法包括：
获取多个第一候选语句分别与目标语句的语句相似度；
若基于所述语句相似度确定所述多个第一候选语句与所述目标语句均不匹配，对所述多个第一候选语句进行切分处理获得多个第二候选语句；
基于所述第二候选语句对于所述目标语句的重要性参数值，从所述多个第二候选语句中确定多个第一待融合语句；
基于所述多个第一待融合语句中各个词语之间的依赖关系，对所述多个第一待融合语句进行融合处理获得所述目标语句匹配的融合语句。
另一方面，本申请提供一种语句处理的装置，所述装置包括：获取单元、切分单元、确定单元和融合单元；
所述获取单元，用于获取多个第一候选语句分别与目标语句的语句相似度；
所述切分单元，用于若基于所述语句相似度确定所述多个第一候选语句与所述目标语句均不匹配，对所述多个第一候选语句进行切分处理获得多个第二候选语句；
所述确定单元，用于基于所述第二候选语句对于所述目标语句的重要性参数值，从所述多个第二候选语句中确定多个第一待融合语句；
所述融合单元，用于基于所述多个第一待融合语句中各个词语之间的依赖关系，对所述多个第一待融合语句进行融合处理获得所述目标语句匹配的融合语句。
另一方面，本申请提供一种用于语句处理的设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述方面所述的语句处理的方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，执行上述方面所述的语句处理的方法。
另一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令；当所述计算机程序或指令被处理器执行时，执行上述方面所述的语句处理的方法。
由上述技术方案可以看出，针对目标语句和多个第一候选语句而言，计算每个第一候选语句与目标语句的语句相似度；在基于语句相似度确定多个第一候选语句与目标语句均不匹配时，切分多个第一候选语句得到多个第二候选语句；通过每个第二候选语句对于目标语句的重要性参数值，从多个第二候选语句中确定多个第一待融合语句；按照多个第一待融合语句中各个词语之间的依赖关系，融合多个第一待融合语句得到目标语句匹配的融合语句。
该方法在基于语句相似度确定多个第一候选语句与目标语句均不匹配情况下，针对多个第一候选语句通过切分处理和重要性确定的方式，得到对于目标语句具有重要性的多个第一待融合语句；并按照各个词语之间的依赖关系，将多个第一待融合语句融合为目标语句匹配的融合语句。基于此，即使在多个第一候选语句与目标语句均不匹配情况下，该方法也能够满足得到目标语句的匹配语句的实际需求，从而提升问答系统、搜索系统等应用场景的处理效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种语句处理的方法的应用场景示意图；
图2为本申请实施例提供的一种语句处理的方法的流程图；
图3为本申请实施例提供的一种第一候选语句的句法结构的示意图；
图4为本申请实施例提供的一种语句相似度的获取方法的流程示意图；
图5为本申请实施例提供的另一种语句相似度的获取方法的流程示意图；
图6为本申请实施例提供的一种卷积神经网络的模型架构的输入输出示意图；
图7为本申请实施例提供的一种语句处理的装置的示意图；
图8为本申请实施例提供的一种服务器的结构示意图；
图9为本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
现阶段，在问答系统、搜索系统等应用场景中，针对目标语句和多个候选语句而言，先通过每个候选语句的词语特征和目标语句的词语特征，计算每个候选语句与目标语句的语句相似度；再基于语句相似度从多个候选语句中，确定目标语句匹配的候选语句，作为问答系统、搜索系统等场景的处理结果。
例如，以问答系统为示例，针对问题语句和多个第一答案语句，先通过每个第一答案语句的词语特征和问题语句的词语特征，计算每个第一答案语句与问题语句的语句相似度；再基于语句相似度从多个第一答案语句中，确定问题语句匹配的第一答案语句，作为问答系统的问答结果。
然而，实际应用中存在多个候选语句与目标语句均不匹配的情况，在该情况下采用上述方式，无法从多个候选语句中确定目标语句匹配的候选语句，导致无法满足得到目标语句的匹配语句的实际需求，从而导致问答系统、搜索系统等应用场景的处理效果较差。
基于上述示例，实际应用中存在多个第一答案语句与问题语句均不匹配的情况，在该情况下采用上述方式，无法从多个第一答案语句中确定问题语句匹配的第一答案语句，导致无法满足得到目标语句匹配的答案语句的实际需求，从而导致问答系统的问答效果较差。
有鉴于此，本申请提出一种语句处理的方法和相关装置，在基于语句相似度确定多个第一候选语句与目标语句均不匹配情况下，针对多个第一候选语句通过切分处理和重要性确定的方式，得到对于目标语句具有重要性的多个第一待融合语句；并按照各个词语之间的依赖关系，将多个第一待融合语句融合为目标语句匹配的融合语句。基于此，即使在多个第一候选语句与目标语句均不匹配情况下，该方法也能够满足得到目标语句的匹配语句的实际需求，从而提升问答系统、搜索系统等应用场景的处理效果。
即，在基于语句相似度确定多个第一答案语句与问题语句均不匹配情况下，针对多个第一答案语句通过切分处理和重要性确定的方式，得到对于问题语句具有重要性的多个第一待融合语句；并按照各个词语之间的依赖关系，将多个第一待融合语句融合为问题语句匹配的答案语句。基于此，即使在多个第一答案语句与问题语句均不匹配情况下，该方法也能够满足得到问题语句匹配的答案语句的实际需求，从而提升问答系统的问答效果。
为了便于理解本申请的技术方案，下面结合实际应用场景，对本申请实施例提供的语句处理的方法进行介绍。
参见图1，图1为本申请实施例提供的一种语句处理的方法的应用场景示意图。在图1所示的应用场景中，包括终端设备101和服务器102，其中，终端设备101作为输入目标语句的设备，服务器102作为语句处理的设备，服务器102存储多个第一候选语句。
响应于目标语句的输入操作，终端设备101获取目标语句并发送至服务器102；服务器102获取多个第一候选语句分别与目标语句的语句相似度。作为一种示例，语句处理的方法应用于问答系统，目标语句为问题语句，多个第一候选语句为多个第一答案语句，响应于问题语句的输入操作，终端设备 101获取问题语句并发送至服务器102；服务器102针对问题语句和多个第一答案语句，首先可以获取每个第一答案语句与问题语句的语句相似度。
服务器102若基于语句相似度确定多个第一候选语句与目标语句均不匹配，对多个第一候选语句进行切分处理获得多个第二候选语句。在上述示例基础上，服务器102通过语句相似度判断得到多个第一答案语句与问题语句均不匹配情况下，可以切分多个第一答案语句得到多个第二答案语句，多个第二答案语句的数量大于多个第一答案语句的数量。
服务器102基于第二候选语句对于目标语句的重要性参数值，从多个第二候选语句中确定多个第一待融合语句。在上述示例基础上，服务器102可以通过多个第二答案语句对于问题语句的重要性参数值，筛选多个第二候选语句得到多个第一待融合语句。
服务器102基于多个第一待融合语句中各个词语之间的依赖关系，对多个第一待融合语句进行融合处理获得目标语句匹配的融合语句；服务器102 将融合语句发送至终端设备101，终端设备对应目标语句展示融合语句。在上述示例基础上，服务器102可以通过多个第一待融合语句中各个词语之间的依赖关系，融合多个第一待融合语句得到问题语句匹配的答案语句；服务器 102将答案语句发送至终端设备101，终端设备101对应问题语句展示答案语句。
可见，该方法在基于语句相似度确定多个第一候选语句与目标语句均不匹配情况下，针对多个第一候选语句通过切分处理和重要性确定的方式，得到对于目标语句具有重要性的多个第一待融合语句；并按照各个词语之间的依赖关系，将多个第一待融合语句融合为目标语句匹配的融合语句。基于此，即使在多个第一候选语句与目标语句均不匹配情况下，该方法也能够满足得到目标语句的匹配语句的实际需求，从而提升问答系统、搜索系统等应用场景的处理效果。
即，在基于语句相似度确定多个第一答案语句与问题语句均不匹配情况下，针对多个第一答案语句通过切分处理和重要性确定的方式，得到对于问题语句具有重要性的多个第一待融合语句；并按照各个词语之间的依赖关系，将多个第一待融合语句融合为问题语句匹配的答案语句。基于此，即使在多个第一答案语句与问题语句均不匹配情况下，该方法也能够满足得到问题语句匹配的答案语句的实际需求，从而提升问答系统的问答效果。
本申请提供的语句处理的方法可以应用于具有数据处理能力的语句处理的设备，如服务器、终端设备。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器等，但并不局限于此；终端设备包括但不限于手机、平板、电脑、计算机、智能摄像头、智能语音交互设备、智能家电、车载终端、飞行器等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本申请提供的语句处理的方法可以应用于各种场景，包括但不限于云技术、人工智能、车载场景、智慧交通、辅助驾驶等。
下面以服务器作为语句处理的设备对本申请实施例提供的语句处理的方法进行具体介绍。
参见图2，该图为本申请实施例提供的一种语句处理的方法的流程图。如图2所示，该语句处理的方法包括以下步骤：
S201：获取多个第一候选语句分别与目标语句的语句相似度。
本申请实施例中，在获取目标语句后，针对目标语句和多个第一候选语句而言，首先需要获取每个第一候选语句分别与目标语句的语句相似度，以便后续步骤中通过语句相似度判断每个第一候选语句与目标语句是否匹配，从而确定多个第一候选语句中是否有目标语句匹配的第一候选语句。
在S201实现时，由于通过第一候选语句的词语特征和目标语句的词语特征，获取第一候选语句与目标语句的语句相似度，仅仅表示从词语维度计算第一候选语句与目标语句的语句相似度，存在维度单一的问题，导致获取的第一候选语句与目标语句的语句相似度不够准确。因此，在第一候选语句的词语特征和目标语句的词语特征的基础上，结合第一候选语句的第一语句特征和目标语句的第二语句特征，获取第一候选语句与目标语句的语句相似度；该方式既从词语维度又从语句维度计算第一候选语句与目标语句的语句相似度，使得获取的第一候选语句与目标语句的语句相似度更加准确。
即，本申请提供了一种可能的实现方式，S201例如可以为：针对每个第一候选语句，基于第一候选语句的第一词语特征、第一候选语句的第一语句特征、目标语句的第二词语特征和目标语句的第二语句特征进行相似度运算，获取第一候选语句与目标语句的语句相似度。
作为一种示例，在问答系统中，目标语句为问题语句，第一候选语句为第一答案语句，S201例如可以为：针对每个第一答案语句，基于第一答案语句的第一词语特征、第一答案语句的第一语句特征、问题语句的第二词语特征和问题语句的第二语句特征进行相似度运算，获取第一答案语句与问题语句的语句相似度。
对于S201的具体实现方式的详细说明，可以参见下述语句相似度的获取方法的实施例，在此不做详细说明。
S202：若基于语句相似度确定多个第一候选语句与目标语句均不匹配，对多个第一候选语句进行切分处理获得多个第二候选语句。
由于在S201获取每个第一候选语句与目标语句的语句相似度之后，可以通过语句相似度判断每个第一候选语句与目标语句是否匹配，经过研究发现，问答系统、搜索系统等应用场景的实际应用中存在多个第一候选语句与目标语句均不匹配的情况，在该情况下采用相关技术中实现方式，无法从多个第一候选语句中确定目标语句匹配的第一候选语句，导致无法满足得到目标语句的匹配语句的实际需求，从而导致问答系统、搜索系统等应用场景的处理效果较差。
因此，本申请实施例中，在基于语句相似度确定多个第一候选语句与目标语句均不匹配的情况下，可以考虑将多个第一候选语句整合得到一个新语句作为目标语句的匹配语句。基于此，针对多个第一候选语句而言，由于多个第一候选语句存在较为复杂的第一候选语句，首先需要通过切分方式将多个第一候选语句分解为较为简单的多个第二候选语句。
在S202具体实现时，需要考虑按照第一候选语句的句法结构，实现对第一候选语句的切分；而第一候选语句的句法结构可以是对第一候选语句进行句法结构分析处理得到的。因此，本申请提供了一种可能的实现方式，S202 例如可以包括如下S2021-S2022：
S2021：对多个第一候选语句进行句法结构分析处理，获得多个第一候选语句的句法结构。
其中，S2021例如可以为：通过语言技术平台(Language Technology Platform，LTP)对多个第一候选语句进行句法结构分析处理，获得多个第一候选语句的句法结构。
作为一种示例，第一候选语句为“我是算法工程师并且我来自公司A”，通过LTP对第一候选语句“我是算法工程师并且我来自公司A”进行句法结构分析处理，得到第一候选语句“我是算法工程师并且我来自公司A”的句法结构，参见图3所示的一种第一候选语句的句法结构的示意图。其中，“我”和“是”之间的依赖关系是主谓关系(subject-verb，SBV)，“是”和“工程师”之间的依赖关系是动宾关系(verb-object，VOB)，“算法”和“工程师”之间的依赖关系是定中关系(attribute，VOB)，“我”和“来自”之间的依赖关系是SBV，“来自”和“公司A”之间的依赖关系是VOB，“并且”和“来自师”之间的依赖关系是状中关系(adverbial，ADV)，“是”和“来自师”之间的依赖关系是并列关系 (coordinate，COO)，“是”表示核心关系(head，HED)。
S2022：基于多个第一候选语句的句法结构，对多个第一候选语句进行切分处理获得多个第二候选语句。
作为一种示例，在上述示例的基础上，第一候选语句“我是算法工程师并且我来自公司A”的句法结构表示SBV-VOB的链路递归2次，则将第一候选语句“我是算法工程师并且我来自公司A”切分为2个第二候选语句，即第二候选语句“我是算法工程师”和第二候选语句“来自公司A”。
针对S2021-S2022而言，作为一种示例，在问答系统中，第一候选语句为第一答案语句，对多个第一答案语句进行句法结构分析处理，获得多个第一答案语句的句法结构；基于多个第一答案语句的句法结构，对多个第一答案语句进行切分处理获得多个第二答案语句。
S203：基于第二候选语句对于目标语句的重要性参数值，从多个第二候选语句中确定多个第一待融合语句。
本申请实施例中，在S202切分多个第一候选语句得到多个第二候选语句之后，需要度量每个第二候选语句对于目标语句的重要性程度，从多个第二候选语句中筛选对于目标语句的重要性程度较高的第二候选语句，作为多个第一待融合语句。其中，第二候选语句对于目标语句的重要性程度通过第二候选语句对于目标语句的重要性参数值表示。
在S203具体实现时，第二候选语句对于目标语句的重要性参数值例如可以由第二候选语句中各个词语对于目标语句的重要性参数值求和得到，而第二候选语句中各个词语对于目标语句的重要性参数值例如可以是将第二候选语句输入训练得到的重要性检测模型输出得到的；其中，重要性检测模型是在第一训练语句和第二训练语句的基础上，通过预设神经网络迭代训练学习第二训练语句中各个词语对于第一训练语句的重要性标签数据得到的。基于此，针对重要性参数值预先设定表示重要的下限值，作为预设阈值，通过第二候选语句对于目标语句的重要性参数值和预设阈值，即可从多个第二候选语句中筛选对于目标语句的重要性程度较高的第二候选语句，作为多个第一待融合语句。因此，本申请提供了一种可能的实现方式，S203例如可以包括如下S2031-S2033：
S2031：通过重要性检测模型获取第二候选语句中各个词语对于目标语句的重要性参数值；重要性检测模型是根据第一训练语句、第二训练语句和第二训练语句中各个词语对于第一训练语句的重要性标签数据训练预设神经网络得到的。
其中，重要性检测模型的训练过程是指：首先，获取用于训练预设神经网络的训练样本，即，第一训练语句、第二训练语句和第二训练语句中各个词语对第一训练语句的重要性标签数据；其次，将第一训练语句和第二训练语句输入预设神经网络，对第二训练语句中各个词语对于第一训练语句的重要性程度进行预测处理，输出第二训练语句中各个词语对于第一训练语句的预测标签数据；然后，判断预测标签数据与重要性标签数据是否匹配，若否，表示预测标签数据达不到训练目标，需要通过预设神经网络的损失函数迭代训练预设神经网络的网络参数，直至达到预设迭代次数或预设神经网络收敛；最后，确定训练完成的预设神经网络为重要性检测模型。因此，本申请提供了一种可能的实现方式，该重要性检测模型的训练方法包括以下S1-S4：
S1：获取第一训练语句、第二训练语句和第二训练语句中各个词语对第一训练语句的重要性标签数据。
S2：将第一训练语句和第二训练语句输入预设神经网络进行预测处理，输出第二训练语句中各个词语对于第一训练语句的预测标签数据；
S3：若预测标签数据与重要性标签数据不匹配，利用预设神经网络的损失函数迭代训练预设神经网络的网络参数；
S4：将训练完成的预设神经网络确定为重要性检测模型。
S2032：对第二候选语句中各个词语对于目标语句的重要性参数值进行求和处理，确定第二候选语句对于目标语句的重要性参数值。
作为一种示例，第二候选语句对于目标语句的重要性参数值的运算公式入所示：
在上述公式中，I(wk，Q)表示wk对于Q的重要性参数值，wk表示第二候选语句C中第i个词语，Q表示目标语句。
S2033：基于第二候选语句对于目标语句的重要性参数值和预设阈值，从多个第二候选语句中确定多个第一待融合语句。
其中，S2033例如可以为：按照第二候选语句对于目标语句的重要性参数值，从多个第二候选语句中筛选重要性参数值大于或等于预设阈值的第二候选语句，作为多个第一待融合语句。
针对S2031-S2033而言，基于上述示例，在问答系统中，目标语句为问题语句，第二候选语句为第二答案语句。首先，通过重要性检测模型获取第二答案语句中各个词语对于问题语句的重要性参数值；重要性检测模型是根据问题训练语句、答案训练语句和答案训练语句中各个词语对于问题训练语句的重要性标签数据训练预设神经网络得到的。然后，对第二答案语句中各个词语对于问题语句的重要性参数值进行求和处理，确定第二答案语句对于问题语句的重要性参数值。最后，基于第二答案语句对于问题语句的重要性参数值，从多个第二答案语句中筛选重要性参数值大于或等于预设阈值的第二答案语句，作为多个第一待融合语句。
S204：基于多个第一待融合语句中各个词语之间的依赖关系，对多个第一待融合语句进行融合处理获得目标语句匹配的融合语句。
本申请实施例中，在S202从多个第二候选语句中确定多个第一待融合语句之后，还需要通过多个第一待融合语句中各个词语之间的依赖关系，融合多个第一待融合语句得到目标语句匹配的融合语句。
在S204具体实现时，首先，多个第一待融合语句具有一定的冗余信息，为了减小冗余信息，还需要先通过词语对齐方式处理多个第一待融合语句得到多个第二待融合语句；再通过多个第二待融合语句中各个词语之间的依赖关系，融合多个第二待融合语句得到目标语句匹配的融合语句。因此，本申请提供了一种可能的实现方式，S204例如可以包括如下S2041-S2042：
S2041：对多个第一待融合语句进行词语对齐处理，获得多个第二待融合语句。
其中，词语对齐是指两个词语对应的句法结构必须相同，并且两个词语必须相同或相似；S2041中词语对齐处理可以将不等长的语句在某种意义上变为等长的语句。
作为一种示例，多个第一待融合语句中包括第一待融合语句1为“UserA boughtbooks”和第一待融合语句2为“UserA purchase books”，对第一待融合语句1“UserAbought books”和第一待融合语句2“UserA purchase books”进行词语对齐处理，由于“bought”和“purchase”在语法和词义上都是等价的，因此，可以实现第一待融合语句1“UserA bought books”和第一待融合语句2“UserA purchase books”的词语对齐，得到的多个第二待融合语句包括第一待融合语句1“UserA bought books”或第一待融合语句2“UserA purchase books”。
S2042：基于多个第二待融合语句中各个词语之间的依赖关系，对多个第二待融合语句进行融合处理获得目标语句匹配的融合语句。
在S2042具体实现时，多个第二待融合语句中各个词语的融合顺序影响融合后的语句的可读性、流畅性，可以应用整数线性规划的思想，将融合多个第二待融合语句作为语句融合问题与优化问题相结合的目标问题。基于此，首先，确定设计变量为多个第二待融合语句中各个词语的融合顺序；其次，在设计变量基础上，考虑多个第二待融合语句中各个词语之间的依赖关系，构建表示最大化问题的目标函数，以最大限度地提高融合后的语句的可读性、流畅性；然后，求解目标函数得到设计变量的最优解，即，多个第二待融合语句中各个词语的目标融合顺序；最后，按照目标融合顺序融合多个第二待融合语句中各个词语，即可得到目标语句匹配的融合语句。因此，本申请提供了一种可能的实现方式，S2042例如可以包括如下S5-S8：
S5：将多个第二待融合语句中各个词语的融合顺序确定为设计变量。
S6：基于设计变量和多个第二待融合语句中各个词语之间的依赖关系，构建表示最大化问题的目标函数。
在S6具体实现时，在构建目标函数时，还需要进一步考虑多个第二待融合语句中各个词语对于目标语句的重要性参数值，以确保多个第二待融合语句中对于目标语句的重要性程度较高的词语，在融合后的语句中占据重要位置，以最大限度地提高融合后的语句的重要性。因此，本申请提供了一种可能的实现方式，S6例如可以包括：基于设计变量、多个第二待融合语句中各个词语之间的依赖关系和多个第二待融合语句中各个词语对于目标语句的重要性参数值，构建目标函数。
作为一种示例，目标函数的公式如下所示：
在上述公式中，n表示多个第二待融合语句中各个词语的数量，I(wi，Q) 表示wi对于Q的重要性参数值，wi表示第i个词语，Q表示目标语句，P(di|hi) 表示hi条件下di的概率,hi表示wi的父节点，di表示hi和wi之间的依赖关系， P(wj|wi)表示wi条件下wj的概率,wj表示第j＝i+1个词语，I(wj，Q)表示wj对于Q的重要性参数值。
S7：基于目标函数求解设计变量，获得多个第二待融合语句中各个词语的目标融合顺序。
S8：按照目标融合顺序对多个第二待融合语句中各个词语进行融合处理，获得融合语句。
针对S5-S8而言，在问答系统中，目标语句为问题语句，基于上述示例确定的多个第一待融合语句，对多个第一待融合语句进行词语对齐处理，得到多个第二待融合语句之后，首先，将多个第二待融合语句中各个词语的融合顺序确定为设计变量；其次，基于设计变量、多个第二待融合语句中各个词语之间的依赖关系和多个第二待融合语句中各个词语对于问题语句的重要性参数值，构建表示最大化问题的目标函数；然后，基于目标函数求解设计变量，获得多个第二待融合语句中各个词语的目标融合顺序；最后，按照目标融合顺序对多个第二待融合语句中各个词语进行融合处理，获得问题语句匹配的答案语句。
上述实施例提供的语句处理的方法，针对目标语句和多个第一候选语句而言，计算每个第一候选语句与目标语句的语句相似度；在基于语句相似度确定多个第一候选语句与目标语句均不匹配时，切分多个第一候选语句得到多个第二候选语句；通过每个第二候选语句对于目标语句的重要性参数值，从多个第二候选语句中确定多个第一待融合语句；按照多个第一待融合语句中各个词语之间的依赖关系，融合多个第一待融合语句得到目标语句匹配的融合语句。
该方法在基于语句相似度确定多个第一候选语句与目标语句均不匹配情况下，针对多个第一候选语句通过切分处理和重要性确定的方式，得到对于目标语句具有重要性的多个第一待融合语句；并按照各个词语之间的依赖关系，将多个第一待融合语句融合为目标语句匹配的融合语句。基于此，即使在多个第一候选语句与目标语句均不匹配情况下，该方法也能够满足得到目标语句的匹配语句的实际需求，从而提升问答系统、搜索系统等应用场景的处理效果。
针对上述实施例中S201的第一种具体实现方式，可以按照词语维度和语句维度的区别，将基于第一候选语句的第一词语特征、第一候选语句的第一语句特征、目标语句的第二词语特征和目标语句的第二语句特征进行相似度运算分为两个部分。一部分是通过第一候选语句的第一词语特征和目标语句的第二词语特征，相似度运算得到第一候选语句与目标语句的词语字面相似度；由于考虑到语句中核心词语在语句中起到决定性作用，因此，第一候选语句的第一词语特征由第一候选语句中核心词语确定，对应地，目标语句的第二词语特征也由目标语句中核心词语确定。
另一部分是通过第一候选语句的第一语句特征和目标语句的第二语句特征，相似度运算得到第一候选语句与目标语句的语句语义相似度；由于语句的句法结构对应的词语对语句的语义具有较大影响，因此，第一候选语句的第一语义特征由第一候选语句的句法结构对应的词语确定，对应地，目标语句的第二词语特征也由目标语句的句法结构对应的词语确定。
基于此，融合第一候选语句与目标语句的词语字面相似度、以及第一候选语句与目标语句的语句语义相似度，即可得到第一候选语句与目标语句的语句相似度。下面结合附图，对该语句相似度的获取方法进行介绍。
参见图4，图4为本申请实施例提供的一种语句相似度的获取方法的流程示意图。如图4所示，该语句相似度的获取方法包括以下步骤：
S401：基于第一候选语句中核心词语，确定第一候选语句的第一词语特征；基于目标语句中核心词语，确定目标语句的第二词语特征。
其中，第一候选语句中核心词语例如可以是通过自然语言处理知识库 (HowNet)对第一候选语句进行主干提取处理得到的；第一候选语句的第一词语特征包括第一候选语句中核心词语。目标语句中核心词语例如可以是通过HowNet对目标语句进行主干提取处理得到的；目标语句的第二词语特征包括目标语句中核心词语。
S402：对第一词语特征和第二词语特征进行相似度运算，获得第一候选语句与目标语句的词语字面相似度。
其中，S402中相似度运算例如可以是jaccard相似度运算，该jaccard相似度运算是指给定两个集合A、B，计算A与B交集的大小与A与B并集的大小的比值。则在第一候选语句的第一词语特征包括第一候选语句中核心词语，目标语句的第一词语特征包括目标语句中核心词语时，S402具体实现时，例如可以包括：确定第一候选语句中核心词语和目标语句中核心词语之间交集的大小；确定第一候选语句中核心词语和目标语句中核心词语之间并集的大小；根据交集的大小与并集的大小进行比值运算，获得第一候选语句与目标语句的词语字面相似度。
作为一种示例，第一候选语句与目标语句的词语字面相似度的运算公式如下所示：
上述公式中，S表示第一候选语句，S′表示第一候选语句S中核心词语， Q表示目标语句，Q′表示目标语句Q中核心词语。
S403：基于句第一候选语句的法结构对应的词语，确定第一候选语句的第一语句特征；基于目标语句的句法结构对应的词语，确定目标语句的第二语句特征。
其中，第一候选语句的第一语句特征是将第一候选语句的句法结构对应的词语进行编码处理和拼接处理得到的，即，第一候选语句的第一语句特征包括第一候选语句的第一语句向量；目标语句的第二语句特征是将目标语句的句法结构对应的词语进行编码处理和拼接处理得到的，目标语句的第二语句特征包括目标语句的第二语句向量。
进一步地，由于在语句的句法结构对应的词语中，不同词语对语句的语义的影响大小不同，在上述拼接处理时还需要通过不同权重表征不同影响大小；则通过第一候选语句的句法结构对应的词语结合第一权重，确定第一候选语句的第一语句特征，通过目标语句的句法结构对应的词语结合第二权重，确定目标语句的第二语句特征。因此，本申请提供了一种可能的实现方式， S403例如可以包括：基于第一候选语句的句法结构对应的词语和第一权重，确定第一语句特征；基于目标语句的句法结构对应的词语和第二权重，确定第二语句特征。
S404：对第一语句特征和第二语句特征进行相似度运算，获得第一候选语句与目标语句的语句语义相似度。
其中，S404中相似度运算例如可以是余弦相似度运算，则在第一候选语句的第一语句特征包括第一候选语句的第一语句向量，目标语句的第二语句特征包括目标语句的第二语句向量时，S404具体实现时，例如可以包括：对第一候选语句的第一语句向量和目标语句的第二语句向量进行余弦相似度运算，获得第一候选语句与目标语句的语句语义相似度。
作为一种示例，在上述示例的基础上，第一候选语句与目标语句的语句语义相似度的运算公式如下所示：
上述公式中，VS表示第一候选语句S的第一语句特征，VQ表示目标语句Q的第二语句特征，wa表示第一候选语句S的句法结构对应的第a个词语， tf_idf(wa)表示关于第一候选语句S中wa的文档-逆文档频率，wb表示目标语句Q的句法结构对应的第b个词语，|Q|表示目标语句Q中的句法结构对应的词语的数量，Vwa表示wa的词语向量，Vwb表示wb的词语向量。
此外，N(wa)表示wa在多个第一候选语句S中出现的次数，TN(W) 表示多个第一候选语句S中各个词语的总数，TN(S)表示多个第一候选语句S的总数，S(wa)表示多个第一候选语句S中包括wa的第一候选语句S 的语句数。
S405：对词语字面相似度和语句语义相似度进行融合处理，获得第一候选语句与目标语句的语句相似度。
作为一种示例，在上述示例的基础上，第一候选语句与目标语句的语句相似度的运算公式如下所示：
SC(S,Q)＝αJ(S,Q)+βT(S,Q)
上述公式中，α表示第一候选语句S与目标语句Q的词语字面相似度J (S，Q)对应的权重，β表示第一候选语句S与目标语句Q的语句语义相似度T(S，Q)对应的权重。
其中，融合处理例如可以是加权处理，S405具体实现时，例如可以包括：对第一候选语句与目标语句的词语字面相似度、以及第一候选语句与目标语句的语句语义相似度进行加权处理，获得第一候选语句与目标语句的语句相似度。
上述实施例提供的语句相似度的获取方法，在获取第一候选语句与目标语句的语句相似度时，不仅考虑到基于词语维度的词语字面相似度，尤其是语句中核心词语的词语字面相似度，而且考虑到基于语句维度的语句语义相似度，尤其是语句的句法结构的语句语义相似度，使得获取的第一候选语句与目标语句的语句相似度更加准确。
针对上述S401-S405而言，在问答系统中，目标语句为问题语句，第一候选语句为第一答案语句。首先，对第一答案语句进行主干提取处理，得到第一答案语句的第一词语特征为第一答案语句中核心词语，对问题语句进行主干提取处理，得到问题语句的第二词语特征为问题语句中核心词语。
其次，确定第一答案语句中核心词语和问题语句中核心词语之间交集的大小；确定第一答案语句中核心词语和问题语句中核心词语之间并集的大小；根据交集的大小与并集的大小进行比值运算，获得第一答案语句与问题语句的词语字面相似度。
然后，将第一候选语句的句法结构对应的词语进行编码处理和拼接处理，得到第一答案语句的第一语句特征为第一答案语句的第一语句向量；将问题语句的句法结构对应的词语进行编码处理和拼接处理，得到问题语句的第二语句特征为问题语句的第二语句向量。
接着，对第一答案语句的第一语句向量和问题语句的第二语句向量进行余弦相似度运算，获得第一答案语句与问题语句的语句语义相似度。
最后，对第一答案语句与问题语句的词语字面相似度、以及第一答案语句与问题语句的语句语义相似度进行加权处理，获得第一答案语句与问题语句的语句相似度。
针对上述实施例中S201的第二种具体实现方式，考虑到需要从词语维度和语句维度共同计算第一候选语句与目标语句的语句相似度，且卷积神经网络具有很强的特征提取能力，在通过卷积神经网络对第一候选语句的第一词语特征和目标语句的第二词语特征，进行卷积处理、池化处理和基于相似度的预测处理之前，还需要将第一候选语句的第一语句特征、目标语句的第二语句特征融合至第一候选语句的第一词语特征和目标语句的第二词语特征得到特征矩阵，该特征矩阵融合语句词语信息和语句语义信息。
其中，第一候选语句的第一词语特征和目标语句的第二词语特征由第一候选语句中各个词语和目标语句中各个词语编码得到；第一候选语句的第一语句特征和目标语句的第二语句特征由第一候选语句和目标语句编码得到。
基于此，对特征矩阵进行卷积处理得到卷积特征，对卷积特征进行池化处理得到池化特征，以及对池化特征进行基于相似度的预测处理，即可得到第一候选语句与目标语句的语句相似度。下面结合附图，对该语句相似度的获取方法进行介绍。
参见图5，图5为本申请实施例提供的另一种语句相似度的获取方法的流程示意图。如图5所示，该语句相似度的获取方法包括以下步骤：
S501：对第一候选语句中各个词语和目标语句中各个词语进行编码处理，获得第一候选语句的第一词语特征和目标语句的第二词语特征。
其中，S501中编码处理例如可以是基于词向量模型的编码处理，词向量模型例如可以是word2vec，第一候选语句的第一词语特征和目标语句的第二词语特征例如可以是第一候选语句和目标语句的词语向量矩阵。基于此，S501 具体实现时，对第一候选语句中各个词语和目标语句中各个词语进行基于词向量模型的编码处理，获得第一候选语句的第一词语特征和目标语句的第二词语特征为第一候选语句和目标语句的词语向量矩阵。
S502：对第一候选语句和目标语句进行编码处理，获得第一候选语句的第一语句特征和第目标语句的二语句特征。
其中，S502中编码处理例如可以是基于句向量模型的编码处理，句向量模型例如可以是fasttext，第一候选语句的第一语句特征和目标语句的第二语句特征例如可以是第一候选语句和目标语句的语句向量。基于此，S502具体实现时，对第一候选语句和目标语句进行基于句向量模型的编码处理，获得第一候选语句的第一语句特征和目标语句的第二语句特征为第一候选语句和目标语句的语句向量。
S503：对第一词语特征、第二词语特征、第一语句特征和第二语句特征进行融合处理，获得第一候选语句和目标语句的特征矩阵。
其中，S503中融合处理例如可以是拼接处理，则在第一候选语句的第一词语特征和目标语句的第二词语特征为第一候选语句和目标语句的词语向量矩阵，第一候选语句的第一语句特征和目标语句的第二语句特征为第一候选语句和目标语句的语句向量时，S503具体实现时，例如具体可以为：对第一候选语句和目标语句的词语向量矩阵、以及第一候选语句和目标语句的语句向量进行拼接处理，获得第一候选语句和目标语句的特征矩阵。
作为一种示例，第一候选语句和目标语句的词语向量矩阵为n×k形式，第一候选语句和目标语句的语句向量为1×k形式，则第一候选语句和目标语句的特征矩阵为(n+1)×k形式。
S504：对特征矩阵进行卷积处理获得多个卷积特征。
S505：对多个卷积特征进行池化处理获得目标特征。
S506：对目标特征进行基于相似度的预测处理，获得第一候选语句与目标语句的语句相似度。
上述实施例提供的语句相似度的获取方法，在获取第一候选语句与目标语句的语句相似度时，基于词语维度的词语特征融合基于语句维度的语句特征得到特征矩阵，该特征矩阵既具有语句词语信息又具有语句语义信息，将该特征矩阵通过卷积处理、池化处理和基于相似度的预测处理计算语句语义相似度，使得获取的第一候选语句与目标语句的语句相似度更加准确。
针对上述S501-S506而言，在问答系统中，目标语句为问题语句，第一候选语句为第一答案语句。参见图6所示的一种卷积神经网络的模型架构的输入输出示意图，该模型包括输入层、卷积层、池化层和全连接层。首先，将第一答案语句和目标语句输入前述输入层，对第一答案语句中各个词语和问题语句中各个词语进行基于词向量模型的编码处理，输出第一答案语句和问题语句的词语向量矩阵；对第一答案语句和问题语句进行基于句向量模型的编码处理，输出第一答案语句和问题语句的语句向量。
然后，对第一答案语句和问题语句的词语向量矩阵、以及第一答案语句和问题语句的语句向量进行拼接处理，得到第一答案语句和问题语句的特征矩阵。
最后，将第一答案语句和问题语句的特征矩阵输入卷积层进行卷积处理输出多个卷积特征；将多个卷积特征输入池化层进行池化处理输出目标特征；将目标特征输入全连接层进行基于相似度的预测处理，输出第一答案语句和问题语句的语句相似度。
针对上述实施例提供的语句处理的方法，本申请实施例还提供了一种语句处理的装置。
参见图7，图7为本申请实施例提供的一种语句处理的装置的示意图。如图7所示，该语句处理的装置700包括：获取单元701、切分单元702、确定单元703和融合单元704；
获取单元701，用于获取多个第一候选语句分别与目标语句的语句相似度；
切分单元702，用于若基于语句相似度确定多个第一候选语句与目标语句均不匹配，对多个第一候选语句进行切分处理获得多个第二候选语句；
确定单元703，用于基于第二候选语句对于目标语句的重要性参数值，从多个第二候选语句中确定多个第一待融合语句；
融合单元704，用于基于多个第一待融合语句中各个词语之间的依赖关系，对多个第一待融合语句进行融合处理获得目标语句匹配的融合语句。
作为一种可能的实现方式，确定单元703包括：第一获取子单元、求和子单元和第一确定子单元；
第一获取子单元，用于通过重要性检测模型获取第二候选语句中各个词语对于目标语句的重要性参数值；重要性检测模型是根据第一训练语句、第二训练语句和第二训练语句中各个词语对于第一训练语句的重要性标签数据训练预设神经网络得到的；
求和子单元，用于对第二候选语句中各个词语对于目标语句的重要性参数值进行求和处理，确定第二候选语句对于目标语句的重要性参数值；
第一确定子单元，用于基于第二候选语句对于目标语句的重要性参数值和预设阈值，从多个第二候选语句中确定多个第一待融合语句。
作为一种可能的实现方式，装置还包括训练单元，训练单元，用于：
获取第一训练语句、第二训练语句和第二训练语句中各个词语对第一训练语句的重要性标签数据；
将第一训练语句和第二训练语句输入预设神经网络进行预测处理，输出第二训练语句中各个词语对于第一训练语句的预测标签数据；
若预测标签数据与重要性标签数据不匹配，利用预设神经网络的损失函数迭代训练预设神经网络的网络参数；
将训练完成的预设神经网络确定为重要性检测模型。
作为一种可能的实现方式，融合单元704包括：单词对齐子单元和第一融合子单元；
单词对齐子单元，用于对多个第一待融合语句进行词语对齐处理，获得多个第二待融合语句；
第一融合子单元，用于基于多个第二待融合语句中各个词语之间的依赖关系，对多个第二待融合语句进行融合处理获得目标语句匹配的融合语句。
作为一种可能的实现方式，第一融合子单元包括：确定模块、构建模块、求解模块和融合模块；
确定模块，用于将多个第二待融合语句中各个词语的融合顺序确定为设计变量；
构建模块，用于基于设计变量和多个第二待融合语句中各个词语之间的依赖关系，构建表示最大化问题的目标函数；
求解模块，用于基于目标函数求解设计变量，获得多个第二待融合语句中各个词语的目标融合顺序；
融合模块，用于按照目标融合顺序对多个第二待融合语句中各个词语进行融合处理，获得融合语句。
作为一种可能的实现方式，构建模块，用于：
基于设计变量、多个第二待融合语句中各个词语之间的依赖关系和多个第二待融合语句中各个词语对于目标语句的重要性参数值，构建目标函数。
作为一种可能的实现方式，切分单元702包括：分析子单元和切分子单元；
分析子单元，用于对多个第一候选语句进行句法结构分析处理，获得多个第一候选语句的句法结构；
切分子单元，用于基于多个第一候选语句的句法结构，对多个第一候选语句进行切分处理获得多个第二候选语句。
作为一种可能的实现方式，获取单元701，用于：
针对每个第一候选语句，基于第一候选语句的第一词语特征、第一候选语句的第一语句特征、目标语句的第二词语特征和目标语句的第二语句特征进行相似度运算，获取第一候选语句与目标语句的语句相似度。
作为一种可能的实现方式，获取单元701包括：第二确定子单元、第一运算子单元、第三确定子单元、第二运算子单元和第二融合子单元；
第二确定子单元，用于基于第一候选语句中核心词语，确定第一词语特征；基于目标语句中核心词语，确定第二词语特征；
第一运算子单元，用于对第一词语特征和第二词语特征进行相似度运算，获得第一候选语句与目标语句的词语字面相似度；
第三确定子单元，用于基于第一候选语句的句法结构对应的词语，确定第一语句特征；基于目标语句的句法结构对应的词语，确定第二语句特征；
第二运算子单元，用于对第一语句特征和第二语句特征进行相似度运算，获得第一候选语句与目标语句的语句语义相似度；
第二融合子单元，用于对词语字面相似度和语句语义相似度进行融合处理，获得语句相似度。
作为一种可能的实现方式，第三确定子单元，用于：
基于第一候选语句的句法结构对应的词语和第一权重，确定第一语句特征；基于目标语句的句法结构对应的词语和第二权重，确定第二语句特征。
作为一种可能的实现方式，获取单元701包括：第一编码子单元、第二编码子单元、第三融合子单元、卷积子单元、池化子单元和预测子单元；
第一编码子单元，用于对第一候选语句中各个词语和目标语句中各个词语进行编码处理，获得第一词语特征和第二词语特征；
第二编码子单元，用于对第一候选语句和目标语句进行编码处理，获得第一语句特征和第二语句特征；
第三融合子单元，用于对第一词语特征、第二词语特征、第一语句特征和第二语句特征进行融合处理，获得特征矩阵；
卷积子单元，用于对特征矩阵进行卷积处理获得多个卷积特征；
池化子单元，用于对多个卷积特征进行池化处理获得目标特征；
预测子单元，用于对目标特征进行基于相似度的预测处理，获得语句相似度。
上述实施例提供的语句处理的装置，针对目标语句和多个第一候选语句而言，计算每个第一候选语句与目标语句的语句相似度；在基于语句相似度确定多个第一候选语句与目标语句均不匹配时，切分多个第一候选语句得到多个第二候选语句；通过每个第二候选语句对于目标语句的重要性参数值，从多个第二候选语句中确定多个第一待融合语句；按照多个第一待融合语句中各个词语之间的依赖关系，融合多个第一待融合语句得到目标语句匹配的融合语句。
该方法在基于语句相似度确定多个第一候选语句与目标语句均不匹配情况下，针对多个第一候选语句通过切分处理和重要性确定的方式，得到对于目标语句具有重要性的多个第一待融合语句；并按照各个词语之间的依赖关系，将多个第一待融合语句融合为目标语句匹配的融合语句。基于此，即使在多个第一候选语句与目标语句均不匹配情况下，该方法也能够满足得到目标语句的匹配语句的实际需求，从而提升问答系统、搜索系统等应用场景的处理效果。
针对上文描述的语句处理的方法，本申请实施例还提供了一种用于语句处理的设备，以使上述语句处理的方法在实际中实现以及应用，下面将从硬件实体化的角度对本申请实施例提供的计算机设备进行介绍。
参见图8，图8是本申请实施例提供的一种服务器结构示意图，该服务器 800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(CentralProcessing Units，CPU)822(例如，一个或一个以上处理器) 和存储器832，一个或一个以上存储应用程序842或数据844的存储介质830 (例如一个或一个以上海量存储设备)。其中，存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器822可以设置为与存储介质830通信，在服务器800 上执行存储介质830中的一系列指令操作。
服务器800还可以包括一个或一个以上电源826，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口858，和/或，一个或一个以上操作系统841，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM， FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图8所示的服务器结构。
其中，CPU 822用于执行如下步骤：
获取多个第一候选语句分别与目标语句的语句相似度；
若基于语句相似度确定多个第一候选语句与目标语句均不匹配，对多个第一候选语句进行切分处理获得多个第二候选语句；
基于第二候选语句对于目标语句的重要性参数值，从多个第二候选语句中确定多个第一待融合语句；
基于多个第一待融合语句中各个词语之间的依赖关系，对多个第一待融合语句进行融合处理获得目标语句匹配的融合语句。
可选的，CPU 822还可以执行本申请实施例中语句处理的方法任一具体实现方式的方法步骤。
参见图9，图9为本申请实施例提供的一种终端设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、PDA 等任意终端设备，以终端设备为手机为例：
图9示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图9，该手机包括：射频(Radio Frequency，简称RF)电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真(WiFi)模块970、处理器980、以及电源990等部件。本领域技术人员可以理解，图9中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图9对手机的各个构成部件进行具体的介绍：
RF电路910可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器980处理；另外，将设计上行的数据发送给基站。通常，RF电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，简称GSM)、通用分组无线服务(GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称 WCDMA)、长期演进(Long Term Evolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。
存储器920可用于存储软件程序以及模块，处理器980通过运行存储在存储器920的软件程序以及模块，从而实现手机的各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元930可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元930可包括触控面板931以及其他输入设备932。触控面板931，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板931上或在触控面板931附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板931可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器980，并能接收处理器980 发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板931。除了触控面板931，输入单元930还可以包括其他输入设备932。具体地，其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元940可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元940可包括显示面板941，可选的，可以采用液晶显示器(Liquid CrystalDisplay，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板941。进一步的，触控面板931可覆盖显示面板941，当触控面板931检测到在其上或附近的触摸操作后，传送给处理器980以确定触摸事件的类型，随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。虽然在图9中，触控面板931与显示面板941是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板931与显示面板941集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器950，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板941的亮度，接近传感器可在手机移动到耳边时，关闭显示面板941和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路960、扬声器961，传声器962可提供用户与手机之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号输出；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据输出处理器980处理后，经RF电路910以发送给比如另一手机，或者将音频数据输出至存储器920以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块970，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器980是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行手机的各种功能和处理数据，从而对手机进行整体控制。可选的，处理器980可包括一个或多个处理单元；优选的，处理器980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器980中。
手机还包括给各个部件供电的电源990(比如电池)，优选的，电源可以通过电源管理系统与处理器980逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该手机所包括的存储器920可以存储程序代码，并将所述程序代码传输给所述处理器。
该手机所包括的处理器980可以根据所述程序代码中的指令执行上述实施例提供的语句处理的方法。
本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行上述实施例提供的语句处理的方法。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备的执行上述方面的各种可选实现方式中提供的语句处理的方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (15)

1.一种语句处理的方法，其特征在于，所述方法包括：
获取多个第一候选语句分别与目标语句的语句相似度；
若基于所述语句相似度确定所述多个第一候选语句与所述目标语句均不匹配，对所述多个第一候选语句进行切分处理获得多个第二候选语句；
基于所述第二候选语句对于所述目标语句的重要性参数值，从所述多个第二候选语句中确定多个第一待融合语句；
基于所述多个第一待融合语句中各个词语之间的依赖关系，对所述多个第一待融合语句进行融合处理获得所述目标语句匹配的融合语句。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第二候选语句对于所述目标语句的重要性参数值，从所述多个第二候选语句中确定多个第一待融合语句，包括：
通过重要性检测模型获取所述第二候选语句中各个词语对于所述目标语句的重要性参数值；所述重要性检测模型是根据第一训练语句、第二训练语句和所述第二训练语句中各个词语对于所述第一训练语句的重要性标签数据训练预设神经网络得到的；
对所述第二候选语句中各个词语对于所述目标语句的重要性参数值进行求和处理，确定所述第二候选语句对于所述目标语句的重要性参数值；
基于所述第二候选语句对于所述目标语句的重要性参数值和预设阈值，从所述多个第二候选语句中确定所述多个第一待融合语句。
3.根据权利要求2所述的方法，其特征在于，所述重要性检测模型的训练步骤，包括：
获取所述第一训练语句、所述第二训练语句和所述第二训练语句中各个词语对所述第一训练语句的重要性标签数据；
将所述第一训练语句和所述第二训练语句输入所述预设神经网络进行预测处理，输出所述第二训练语句中各个词语对于所述第一训练语句的预测标签数据；
若所述预测标签数据与所述重要性标签数据不匹配，利用所述预设神经网络的损失函数迭代训练所述预设神经网络的网络参数；
将训练完成的预设神经网络确定为所述重要性检测模型。
4.根据权利要求1所述的方法，其特征在于，所述基于所述多个第一待融合语句中各个词语之间的依赖关系，对所述多个第一待融合语句进行融合处理获得所述目标语句匹配的融合语句，包括：
对所述多个第一待融合语句进行词语对齐处理，获得多个第二待融合语句；
基于所述多个第二待融合语句中各个词语之间的依赖关系，对所述多个第二待融合语句进行融合处理获得所述目标语句匹配的融合语句。
5.根据权利要求4所述的方法，其特征在于，所述基于所述多个第二待融合语句中各个词语之间的依赖关系，对所述多个第二待融合语句进行融合处理获得所述目标语句匹配的融合语句，包括：
将所述多个第二待融合语句中各个词语的融合顺序确定为设计变量；
基于所述设计变量和所述多个第二待融合语句中各个词语之间的依赖关系，构建表示最大化问题的目标函数；
基于所述目标函数求解所述设计变量，获得所述多个第二待融合语句中各个词语的目标融合顺序；
按照所述目标融合顺序对所述多个第二待融合语句中各个词语进行融合处理，获得所述融合语句。
6.根据权利要求5所述的方法，其特征在于，所述基于所述设计变量和所述多个第二待融合语句中各个词语之间的依赖关系，构建表示最大化问题的目标函数，包括：
基于所述设计变量、所述多个第二待融合语句中各个词语之间的依赖关系和所述多个第二待融合语句中各个词语对于所述目标语句的重要性参数值，构建所述目标函数。
7.根据权利要求1所述的方法，其特征在于，所述对所述多个第一候选语句进行切分处理获得多个第二候选语句，包括：
对所述多个第一候选语句进行句法结构分析处理，获得所述多个第一候选语句的句法结构；
基于所述多个第一候选语句的句法结构，对所述多个第一候选语句进行切分处理获得所述多个第二候选语句。
8.根据权利要求1所述的方法，其特征在于，所述获取多个第一候选语句分别与目标语句的语句相似度，包括：
针对每个所述第一候选语句，基于所述第一候选语句的第一词语特征、所述第一候选语句的第一语句特征、所述目标语句的第二词语特征和所述目标语句的第二语句特征进行相似度运算，获取所述第一候选语句与所述目标语句的语句相似度。
9.根据权利要求8所述的方法，其特征在于，所述基于所述第一候选语句的第一词语特征、所述第一候选语句的第一语句特征、所述目标语句的第二词语特征和所述目标语句的第二语句特征进行相似度运算，获取所述第一候选语句与所述目标语句的语句相似度，包括：
基于所述第一候选语句中核心词语，确定所述第一词语特征；基于所述目标语句中核心词语，确定所述第二词语特征；
对所述第一词语特征和所述第二词语特征进行相似度运算，获得所述第一候选语句与所述目标语句的词语字面相似度；
基于所述第一候选语句的句法结构对应的词语，确定所述第一语句特征；基于所述目标语句的句法结构对应的词语，确定所述第二语句特征；
对所述第一语句特征和所述第二语句特征进行相似度运算，获得所述第一候选语句与所述目标语句的语句语义相似度；
对所述词语字面相似度和所述语句语义相似度进行融合处理，获得所述语句相似度。
10.根据权利要求9所述的方法，其特征在于，所述基于所述第一候选语句的句法结构对应的词语，确定所述第一语句特征，包括：
基于所述第一候选语句的句法结构对应的词语和第一权重，确定所述第一语句特征；
所述基于所述目标语句的句法结构对应的词语，确定所述第二语句特征，包括：
基于所述目标语句的句法结构对应的词语和第二权重，确定所述第二语句特征。
11.根据权利要求8所述的方法，其特征在于，所述基于所述第一候选语句的第一词语特征、所述第一候选语句的第一语句特征、所述目标语句的第二词语特征和所述目标语句的第二语句特征进行相似度运算，获取所述第一候选语句与所述目标语句的语句相似度，包括：
对所述第一候选语句中各个词语和所述目标语句中各个词语进行编码处理，获得所述第一词语特征和所述第二词语特征；
对所述第一候选语句和所述目标语句进行编码处理，获得所述第一语句特征和所述第二语句特征；
对所述第一词语特征、所述第二词语特征、所述第一语句特征和所述第二语句特征进行融合处理，获得特征矩阵；
对所述特征矩阵进行卷积处理获得多个卷积特征；
对所述多个卷积特征进行池化处理获得目标特征；
对所述目标特征进行基于相似度的预测处理，获得所述语句相似度。
12.一种语句处理的装置，其特征在于，所述装置包括：获取单元、切分单元、确定单元和融合单元；
所述获取单元，用于获取多个第一候选语句分别与目标语句的语句相似度；
所述切分单元，用于若基于所述语句相似度确定所述多个第一候选语句与所述目标语句均不匹配，对所述多个第一候选语句进行切分处理获得多个第二候选语句；
所述确定单元，用于基于所述第二候选语句对于所述目标语句的重要性参数值，从所述多个第二候选语句中确定多个第一待融合语句；
所述融合单元，用于基于所述多个第一待融合语句中各个词语之间的依赖关系，对所述多个第一待融合语句进行融合处理获得所述目标语句匹配的融合语句。
13.一种计算机设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-11中任意一项所述的语句处理的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，执行权利要求1-11中任意一项所述的语句处理的方法。
15.一种计算机程序产品，其特征在于，包括计算机程序或指令；当所述计算机程序或指令被处理器执行时，执行权利要求1-11中任意一项所述的语句处理的方法。
CN202210499322.XA 2022-05-09 2022-05-09 一种语句处理的方法和相关装置 Pending CN117094307A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210499322.XA CN117094307A (zh) 2022-05-09 2022-05-09 一种语句处理的方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210499322.XA CN117094307A (zh) 2022-05-09 2022-05-09 一种语句处理的方法和相关装置

Publications (1)

Publication Number Publication Date
CN117094307A true CN117094307A (zh) 2023-11-21

Family

ID=88773940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210499322.XA Pending CN117094307A (zh) 2022-05-09 2022-05-09 一种语句处理的方法和相关装置

Country Status (1)

Country Link
CN (1) CN117094307A (zh)

Similar Documents

Publication Publication Date Title
CN109145303B (zh) 命名实体识别方法、装置、介质以及设备
US10956771B2 (en) Image recognition method, terminal, and storage medium
KR102360659B1 (ko) 기계번역 방법, 장치, 컴퓨터 기기 및 기억매체
US11416681B2 (en) Method and apparatus for determining a reply statement to a statement based on a sum of a probability of the reply statement being output in response to the statement and a second probability in which the statement is output in response to the statement and further based on a terminator
CN110515626B (zh) 深度学习计算框架的代码编译方法及相关产品
CN111046227B (zh) 一种视频查重方法及装置
CN111816159B (zh) 一种语种识别方法以及相关装置
CN108984535B (zh) 语句翻译的方法、翻译模型训练的方法、设备及存储介质
CN110162603B (zh) 一种智能对话方法、动态存储方法和装置
CN110110045B (zh) 一种检索相似文本的方法、装置以及存储介质
CN110555337B (zh) 一种指示对象的检测方法、装置以及相关设备
CN115859220B (zh) 数据处理方法、相关装置及存储介质
CN113821589B (zh) 一种文本标签的确定方法及装置、计算机设备和存储介质
CN112749252A (zh) 一种基于人工智能的文本匹配方法和相关装置
CN117332067A (zh) 问答交互方法、装置、电子设备及存储介质
CN116933149A (zh) 一种对象意图预测方法、装置、电子设备和存储介质
CN111611369B (zh) 基于人工智能的交互方法和相关装置
CN110390102B (zh) 一种情感分析的方法和相关装置
CN112328783A (zh) 一种摘要确定方法和相关装置
CN117726003A (zh) 基于大模型推理的应答防御方法、装置、设备及存储介质
CN111723783B (zh) 一种内容识别方法和相关装置
CN117094307A (zh) 一种语句处理的方法和相关装置
CN115269895A (zh) 一种问答方法和相关装置
CN113569043A (zh) 一种文本类别确定方法和相关装置
CN116450808B (zh) 一种数据的处理方法、装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination