Nothing Special   »   [go: up one dir, main page]

CN110795547B - 文本识别方法和相关产品 - Google Patents

文本识别方法和相关产品 Download PDF

Info

Publication number
CN110795547B
CN110795547B CN201910994392.0A CN201910994392A CN110795547B CN 110795547 B CN110795547 B CN 110795547B CN 201910994392 A CN201910994392 A CN 201910994392A CN 110795547 B CN110795547 B CN 110795547B
Authority
CN
China
Prior art keywords
candidate
slot position
target
query request
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910994392.0A
Other languages
English (en)
Other versions
CN110795547A (zh
Inventor
王明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910994392.0A priority Critical patent/CN110795547B/zh
Publication of CN110795547A publication Critical patent/CN110795547A/zh
Application granted granted Critical
Publication of CN110795547B publication Critical patent/CN110795547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种文本识别方法和相关产品。该方法包括:服务器接收客户端的文本查询请求,所述文本查询请求用于请求获取目标服务;所述服务器解析所述文本查询请求,得到所述文本查询请求的目标意图、目标槽位以及目标槽位属性,所述目标槽位属性用于肯定或否定所述目标槽位;所述服务器根据所述目标意图、所述目标槽位以及所述目标槽位属性,确定所述目标服务;所述服务器向所述客户端提供所述目标服务。本申请实施例中,服务器在解析文本查询请求的过程中,通过增加槽位属性用于肯定或否定槽位,可以有效解决NLU系统无法精准高效的识别文本查询请求的意图、槽位以及槽位属性信息的问题。

Description

文本识别方法和相关产品
技术领域
本发明涉及自然语言理解(Natural Language Understanding,NLU)技术领域,尤其涉及一种文本识别方法和相关产品。
背景技术
智能助手从诞生开始只是作为电子产品的一个实用性不高的辅助功能,但是随着人工智能、搜索引擎的飞速发展,智能助手在基础行业发挥着越来越巨大的作用,智能助手正在更好的和各种生活场景结合,引导人们以更为方便的模式进行人机交互。
但是,当前各种智能助手和工具的智能识别技术水平参差不齐,针对用户输入的文本查询请求,NLU系统无法做到精准高效的识别文本查询请求的意图和槽位信息,并将上述不精准的信息传递给服务,极大伤害了用户的体验,比如,对于用户的某一查询“我要听周杰伦的七里香”,NLU系统会设计相应的播放歌曲意图、歌手槽位和歌曲槽位,但是对于用户查询“我要听七里香,不要周杰伦的版本”,如果再沿用上述的意图槽位设计,服务还是会检索出周杰伦的七里香,违背了用户的期望。
针对上述的智能识别技术问题,目前大多数解决方案采用的是新建一个与播放歌曲意图相对立的否定意图,但是,在两个意图之间非常相似的情况下,比如二者差别就是“不”字,这对于文本分类器模型是巨大的挑战,并且每新增加一个否定意图,无论是技能创建者、标注人员、服务侧需要处理维护的意图槽位个数都会翻倍,效率不佳。
发明内容
本申请实施例公开了一种文本识别方法和相关产品,在解析文本查询请求的过程中,通过增加槽位属性用于肯定或否定槽位,可以有效解决NLU系统无法精准高效的识别文本查询请求的意图、槽位以及槽位属性信息的问题。
第一方面,本申请实施例提供了一种文本识别方法,该方法包括:
服务器接收客户端的文本查询请求,所述文本查询请求用于请求获取目标服务;
所述服务器解析所述文本查询请求,得到所述文本查询请求的目标意图、目标槽位以及目标槽位属性,所述目标槽位属性用于肯定或否定所述目标槽位;
所述服务器根据所述目标意图、所述目标槽位以及所述目标槽位属性,确定所述目标服务;
所述服务器向所述客户端提供所述目标服务。
本申请实施例中,服务器在解析文本查询请求的过程中,得到文本查询请求的目标意图和目标槽位,同时增加了槽位的属性维度信息,用于肯定或否定目标槽位;可以有效解决NLU系统无法精准高效的识别文本查询请求的意图、槽位以及槽位属性信息的问题。
在一个可选的实现方式中,所述服务器解析所述文本查询请求,得到所述文本查询请求的目标意图、目标槽位以及目标槽位属性包括:
查询与所述文本查询请求相匹配的语料和/或模板;
利用训练得到的意图分类模型处理所述文本查询请求以得到第一候选意图,以及通过训练得到的槽位抽取模型对所述文本查询请求进行抽取处理以得到第一候选槽位和第一候选槽位属性;
在未查询到与所述文本查询请求相匹配的语料且未查询到与所述文本查询请求相匹配的模板的情况下,将所述第一候选意图、所述第一候选槽位以及所述第一候选槽位属性分别作为所述目标意图、所述目标槽位以及所述目标槽位属性。
在该实现方式中,服务器对文本查询请求进行语料匹配和/或模板匹配,可能仅得到符合要求的目标语料或目标模板,也可能均得到符合要求的目标语料和目标模板,还可能均未得到符合要求的目标语料和目标模板,服务器也通过模型处理文本查询请求得到第一候选意图、第一候选槽位以及第一候选槽位属性,因此具有多种可能得到的结果,本实现方式说明了在均未得到目标语料和目标模板的情况下,将第一候选意图、第一候选槽位以及第一候选槽位属性分别作为目标意图、目标槽位以及目标槽位属性;可以增加可能得到的结果,提高识别文本查询请求的意图、槽位以及槽位属性信息的精准度。
在一个可选的实现方式中,所述服务器解析所述文本查询请求,得到所述文本查询请求的目标意图、目标槽位以及目标槽位属性还包括:
在查询到与所述文本查询请求相匹配的目标语料的情况下,将所述目标语料的意图、槽位以及槽位属性分别作为所述文本查询请求的第二候选意图、第二候选槽位以及第二候选槽位属性;
和/或,在查询到与所述文本查询请求相匹配的目标模板的情况下,根据所述目标模板确定所述文本查询请求的意图、槽位以及槽位属性以得到第三候选意图、第三候选槽位以及第三候选槽位属性;
选择第一候选集合、第二候选集合和/或第三候选集合中的任一候选集合,得到目标候选集合;所述目标候选集合包括所述目标意图、所述目标槽位以及所述目标槽位属性;所述第一候选集合包括所述第一候选意图、所述第一候选槽位、所述第一候选槽位属性,所述第二候选集合包括所述第二候选意图、所述第二候选槽位、所述第二候选槽位属性,所述第三候选集合包括所述第三候选意图、所述第三候选槽位、所述第三候选槽位属性。
在该实现方式中,补充说明了其他几种可能得到的结果,分别为第一候选集合、第二候选集合和/或第三候选集合,并在上述几种可能得到的结果的情况下,选择最符合文本查询请求的要求的目标候选集合作为文本查询请求的目标意图、目标槽位以及目标槽位属性;可以提高识别文本查询请求的意图、槽位以及槽位属性信息的精准度。
在一个可选的实现方式中,所述查询与所述文本查询请求相匹配的语料和/或模板,包括:
查询语料库中与所述文本查询请求相匹配的语料,得到所述目标语料,将所述目标语料的意图、槽位以及槽位属性分别作为所述文本查询请求的所述第二候选意图、所述第二候选槽位以及所述第二候选槽位属性;
和/或,查询模板库中与所述文本查询请求匹配的模板,得到所述目标模板,所述目标模板的意图、槽位以及槽位属性分别作为所述文本查询请求的所述第三候选意图、所述第三候选槽位以及所述第三候选槽位属性。
在该实现方式中,服务器对文本查询请求进行语料匹配和/或模板匹配,进行语料匹配的准确率高,可以快速识别符合文本查询请求要求的目标意图、目标槽位以及目标槽位属性,进行模板匹配的泛化性好,可以高效的识别得到结果。
在一个可选的实现方式中,所述通过训练得到的槽位抽取模型对所述文本查询请求进行抽取处理以得到第一候选槽位和第一候选槽位属性,包括:
利用所述槽位抽取模型抽取所述文本查询请求,得到所述第一候选槽位;
获取所述第一候选槽位前面长度为N的字面量窗口,在所述字面量窗口包含否定词且不包含重复字的情况下,确定所述第一候选槽位属性用于否定所述第一候选槽位;其中,N为大于零的整数。
在该实现方式中,服务器通过模型处理得到第一候选意图和第一候选槽位,再通过第一候选槽位前面的字面量窗口判断得到第一候选槽位属性,该模型处理得到的结果准确率高召回率低,可以有效处理那些语料匹配、模板匹配没能处理的文本查询请求。
在一种可选的实现方式中,所述通过训练得到的槽位抽取模型对所述文本查询请求进行抽取处理以得到第一候选槽位和第一候选槽位属性,包括:
利用所述槽位抽取模型抽取所述文本查询请求,得到所述第一候选槽位;
利用训练得到的二分类模型,确定所述第一候选槽位的属性,得到所述第一候选槽位属性。
在该实现方式中,先基于上述实现方式中的判断槽位属性的规则,积累训练数据用于建立二分类模型,再利用该二分类模型作为上述初始化模型来预测确定文本查询请求的槽位属性,可以提高召回率。
在本申请实施例中,服务器在解析文本查询请求的过程中,通过增加槽位属性用于肯定或否定槽位,可以有效解决NLU系统无法精准高效的识别文本查询请求的意图、槽位以及槽位属性信息的问题。
第二方面,本申请实施例提供了一种文本识别装置,该装置包括:
接收单元,用于接收来自客户端的文本查询请求,所述文本查询请求用于请求获取目标服务;
解析单元,用于解析所述文本查询请求,得到所述文本查询请求的目标意图、目标槽位以及目标槽位属性,所述目标槽位属性用于肯定或否定所述目标槽位;
确定单元,用于根据所述目标意图、所述目标槽位以及所述目标槽位属性,确定所述目标服务;
提供单元,用于向所述客户端提供所述目标服务。
在一种可选的实现方式中,所述解析单元,包括:
查询单元,用于查询与所述文本查询请求相匹配的语料和/或模板;
处理单元,用于利用训练得到的意图分类模型处理所述文本查询请求以得到第一候选意图,以及通过训练得到的槽位抽取模型对所述文本查询请求进行抽取处理以得到第一候选槽位和第一候选槽位属性;
选择单元,用于在所述查询单元未查询到与所述文本查询请求相匹配的语料且未查询到与所述文本查询请求相匹配的模板的情况下,将所述第一候选意图、所述第一候选槽位以及所述第一候选槽位属性分别作为所述目标意图、所述目标槽位以及所述目标槽位属性。
在一种可选的实现方式中,所述解析单元,还包括:
所述选择单元,还用于在所述查询单元查询到与所述文本查询请求相匹配的目标语料的情况下,将所述目标语料的意图、槽位以及槽位属性分别作为所述文本查询请求的第二候选意图、第二候选槽位以及第二候选槽位属性;
和/或,所述选择单元还用于在所述查询单元查询到与所述文本查询请求相匹配的目标模板的情况下,根据所述目标模板确定所述文本查询请求的意图、槽位以及槽位属性以得到第三候选意图、第三候选槽位以及第三候选槽位属性;
所述选择单元还用于选择第一候选集合、第二候选集合和/或第三候选集合中的任一候选集合,得到目标候选集合;所述目标候选集合包括所述目标意图、所述目标槽位以及所述目标槽位属性;所述第一候选集合包括所述第一候选意图、所述第一候选槽位、所述第一候选槽位属性,所述第二候选集合包括所述第二候选意图、所述第二候选槽位、所述第二候选槽位属性,所述第三候选集合包括所述第三候选意图、所述第三候选槽位、所述第三候选槽位属性。
在一种可选的实现方式中,所述查询单元,包括:
所述查询单元,具体用于查询语料库中与所述文本查询请求相匹配的语料,得到所述目标语料,将所述目标语料的意图、槽位以及槽位属性分别作为所述文本查询请求的所述第二候选意图、所述第二候选槽位以及所述第二候选槽位属性;
和/或,所述查询单元,具体用于查询模板库中与所述文本查询请求匹配的模板,得到所述目标模板,所述目标模板的意图、槽位以及槽位属性分别作为所述文本查询请求的所述第三候选意图、所述第三候选槽位以及所述第三候选槽位属性。
在一种可选的实现方式中,所述处理单元,包括:
分类单元,用于利用所述意图分类模型将所述文本查询请求分类,得到所述第一候选意图;
抽取单元,用于利用所述槽位抽取模型抽取所述文本查询请求,得到所述第一候选槽位;
获取单元,用于获取所述第一候选槽位前面长度为N的字面量窗口,其中,N为大于零的整数;
判断单元,用于判断在所述字面量窗口包含否定词且不包含重复字的情况下,确定所述第一候选槽位属性用于否定所述第一候选槽位。
在一种可选的实现方式中,所述处理单元,还包括:
替换单元,用于利用训练得到的二分类模型,确定所述第一候选槽位的属性,得到所述第一候选槽位属性。
在本申请实施例中,提供的装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。
第三方面,本申请实施例提供了一种服务器,该服务器包括接收器和发送器,还包括:处理器,适于实现一条或多条指令;以及,计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如上述第一方面以及上述第一方面中可选的实现方式的方法。
第四方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如上述第一方面以及上述第一方面中可选的实现方式的方法。
第五方面,本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面及其任一种可选的实现方式的方法。
本申请可以有效解决NLU系统无法精准高效的识别文本查询请求的意图、槽位以及槽位属性信息的问题。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种网络架构示意图;
图2为本申请实施例提供的一种语义平台系统图;
图3A为本申请实施例提供的一种语料标注的页面示意图;
图3B为本申请实施例提供的一种技能创建的页面示意图;
图4为本申请实施例提供的一种文本识别方法的流程示意图;
图5为本申请实施例提供的另一种文本识别方法的流程示意图;
图6为本申请实施例提供的又一种文本识别方法的流程示意图;
图7为本申请实施例提供的一种装置的结构示意图;
图8为本申请实施例提供的另一种装置的结构示意图;
图9为本申请实施例提供的一种服务器的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请实施例方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。
本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”、和“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或优先级。本申请的说明书实施例和权利要求书中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供了一种文本识别方法,为更清楚的描述本申请的方案。下面先介绍一些与文本识别相关的知识。
文本query:智能助手中用户输入的一个较短的请求语句,通常只包含用户的一个意图。例如:“播放刘德华的冰雨”;“查看北京天气”;“听有声小说”等等。
意图(intent):意图是要执行的操作的抽象描述,原则上一个意图代表了用户的某种需求,是技能专家对需求的一种抽象,所以每一个意图都会提炼出一些有代表性的文本query问法,以此来区分意图边界,训练不同的意图分类模型,并对用户文本query进行意图分类识别。
槽位(slot):任务型对话系统中,具体意图下的槽位设计,用于表达用户文本查询请求中的重要信息。如用户在创建一个音乐技能play意图来识别“我想听刘德华的冰雨”这样的文本查询请求时,就会设计“singer=刘德华,song=冰雨”这样的槽位。
Elastic Search:开源的搜索引擎框架,支持实时索引和分布式部署,对数量大的场景支持友好,且允许用户自行开发相关性排序逻辑。
后缀树结构模式匹配:多模态字符串匹配算法,具有存储空间小,查询效率高的特点,且查询时可以结合剪枝技术则效率会更优。
逻辑回归(Logistics Regression,LR):二分类/多分类建模算法,是线性分类模型中常用的方法,计算简单稳定,速度快,且支持大量特征维度。
下面结合本申请实施例中的附图对本申请实施例进行描述。
图1为本申请实施例提供的一种网络架构示意图。如图1所示,所述网络架构可以包括服务端以及客户端集群;所述服务端可以是Web服务器或者其他服务器,所述客户端集群可以包括多个客户端。如图1所示,客户端集群包括客户端1、客户端2、…、客户端N;如图1所示,客户端1、客户端2、…、客户端N可以分别与服务器进行网络连接,以与服务器进行交互并登陆相应的网页。客户端可以是手机、平板电脑、笔记本电脑、可穿戴设备、智能音箱等可与服务器进行交互的设备。用户通过客户端输入文本查询请求,该文本查询请求可以是一串语音,再通过语音识别(Automatic Speech Recognition,ASR)将用户的语音转化成文本,方便服务端的处理,该文本查询请求也可以是用户输入的一段文本内容。服务端接收到用户输入的文本查询请求后,解析该文本查询请求,并将解析得到的目标服务提供至上述客户端,完成一次交互。
图2为本申请实施例提供的一种语义平台系统图。如图2所示,整个语义平台系统图总体分为语义系统和服务侧系统两个部分,这两部分系统均运行于服务器。如图2所示,标注人员在语料标注系统标注语料,得到的初始化语料存储在数据库中,技能产品经理在叮当开放平台创建新技能,该叮当开放平台为一种技能创建平台,创建的新技能存储至数据库中,模型训练模块从上述数据库中获取训练语料等信息作为训练数据进行离线模型训练,并将训练好的模型发布至线上NLU服务。客户端通过智能助手向服务端发送文本查询请求,服务端通过NLU服务分别从数据库中获取初始化语料和初始化模板,和从模型训练模块中获取初始化模型,进行语料匹配和/或模板匹配、模型处理,用来解析上述文本查询请求,以得到多个可能的候选结果,NLU服务再将上述多个可能的结果传输至对话管理服务,对话管理服务根据优先级加权处理从这多个可能候选结果中选择出最符合客户端输入的文本查询请求为最终的结果,作为文本查询请求的目标意图、目标槽位以及目标槽位属性,并将上述目标意图、目标槽位以及目标槽位属性传输至技能管理分发服务,服务器的技能管理分发服务根据上述目标意图、目标槽位以及目标槽位属性确定好目标服务之后,将上述目标服务反馈至客户端,提供相应的技能服务,上述客户端通过智能助手接收目标服务,使用户感受到一次文本查询请求的具体反馈,完成一次交互。
图3A为本申请实施例提供的一种语料标注的页面示意图。如图3A所示,标注人员在语料标注系统标注语料的时候,按照正常的意图槽位标注,为了支持槽位的否定属性,可以勾选上槽位的肯定/否定属性。例如,对于一串语料“不是杨宗纬唱的空白格”,标注人员可以在语料标注系统对上述语料进行编辑,标注出该串语料的槽位和槽位属性,槽位为“歌手”和“歌名”,其中,“歌手”槽位的槽位属性为否定属性,该槽位对应的实体为“杨宗纬”,“歌名”槽位的槽位属性为肯定属性,该槽位对应的实体为“空白格”。而在语料标注系统的实体库中,存储着大量的意图槽位和实体语料,用于提供给标注人员进行语料标注,同时,在标注的过程中,批量导入语料标注系统的标注语料会相应产生一些模板,标注人员也可以自行勾选标注语料成为模板,语料标注系统将得到的结果存储至数据库中,用于提供给服务器的模型训练模块进行离线模型训练,以及用于提供给服务器作为初始化语料和初始化模板进行后续的语料匹配和/或模板匹配。
图3B为本申请实施例提供的一种技能创建的页面示意图。如图3B所示,当技能产品经理需要增加一个新技能时,可以在技能创建平台设计相应的意图、槽位以及定义意图边界,不用专门针对槽位的属性做额外工作,然后从语料标注系统中测试相应的标注语料,测试的过程中若需要则可以指定语料中的槽位属性,上述设计好的意图和槽位经过标注语料的测试之后,完成该新技能的创建,并存储至数据库。例如,当技能产品经理需要创建一个技能以实现用户导航去昌吉市丽景尚城不走高速的目的时,可以设计归属技能为“导航(navigation)”,归属意图为“导航到某地(navigation)”,语料槽位为“目的地”和“交通方式”,其中,“目的地”槽位为“<destination>昌吉市丽景尚城</destination>”,对应的槽位属性为肯定属性,“交通方式”槽位为“<navigation_type:neg>高速</navigation_type:neg>”,对应的槽位属性为否定属性;在完成技能意图槽位的设计后,从语料标注系统中测试标注语料,上述例子所需测试的标注语料来源于“导航地图navigationMap”和“导航路线directiyv2Routev2”,协同完成该技能的创建。在新技能创建的过程中,技能产品经理还可以根据该技能的应用范围勾选优先级,优先级越高,被作为用户查询请求的结果输出的可能性越大。新技能创建完毕,服务器的模型训练模块可以从数据库中获取对应数据,训练好意图分类模型、槽位抽取模型,若在上述技能创建的过程中,还创建了新的实体类型,则服务器的模型训练模块还会训练对应的实体抽取模型。
图4为本申请实施例提供的一种文本识别方法的流程示意图。如图4所示,该方法可包括:
401、服务器接收客户端的文本查询请求,所述文本查询请求用于请求获取目标服务。
该文本查询请求可以是用户输入的一段文本,也可以是一串语音,当该文本查询请求为一串语音时,可通过语音识别(Automatic Speech Recognition,ASR)将用户的语音转化成文本,方便服务端的处理,以得到该文本查询请求所对应的目标服务。上述服务器可以是Web服务器或者其他服务器,上述客户端可以是手机、平板电脑、笔记本电脑、可穿戴设备、智能音箱等可与服务器进行交互的设备,用户输入的文本查询请求可以通过客户端上的智能助手传输给服务器,所述文本查询请求用于请求获取相对应的目标服务。
402、所述服务器解析所述文本查询请求,得到所述文本查询请求的目标意图、目标槽位以及目标槽位属性,所述目标槽位属性用于肯定或否定所述目标槽位。
所述服务器接收文本查询请求之后,解析该文本查询请求。服务器主要通过NLU服务的语料匹配、模板匹配和模型处理三个操作来进行解析,其中,语料匹配过程中所需要的初始化语料和模板匹配过程中所需要的初始化模板均是从数据库中获取的,而数据库中所存储的初始化语料和初始化模板来源于标注人员在语料标注系统中所标注的语料和技能产品经理在技能创建平台中所创建的技能;模型处理过程中所需要的初始化模型则是从服务器的模型训练模块中获取的,该模型训练模块从上述数据库中获取语料作为训练数据来进行离线模型训练,以得到模型处理过程中所需要的初始化模型。通过上述NLU服务的语料匹配、模板匹配和模型处理三个操作,服务器将得到多种可能的结果,可能只有模型处理操作得到符合文本查询请求的结果,也可能语料匹配操作和模型处理操作均得到各自不同而又符合文本查询请求的结果,也可能是模板匹配操作和模型处理操作均得到各自不同而又符合文本查询请求的结果,还可能是语料匹配操作、模板匹配操作和模型处理操作均得到各自不同而又符合文本查询请求的结果。NLU服务将上述可能得到的多种结果传输至服务器的对话管理服务,针对NLU服务返回的多个可能的候选结果,对话管理服务结合用户整个会话控制session的上文信息、客户端上报的场景信息以及客户端勾选的技能的优先级信息等做优先级加权处理,二次排序后,挑选优先级最高的结果,作为所述文本查询请求的目标意图、目标槽位以及目标槽位属性,所述目标槽位属性分为肯定属性和否定属性,分别用于肯定和否定所述目标槽位,输出给技能管理分发服务,上述内容为服务器解析所述文本查询请求的全过程。
403、所述服务器根据所述目标意图、所述目标槽位以及所述目标槽位属性,确定所述目标服务。
服务器的技能管理分发服务根据解析文本查询请求所得到的目标意图、目标槽位以及目标槽位属性,选择其对应的技能服务作为所述目标服务,并将该目标意图、目标槽位以及目标槽位属性等信息传递给相应的目标服务程序处理。
404、所述服务器向所述客户端提供所述目标服务。
服务器确定好目标服务之后,将上述目标服务反馈至客户端,提供相应的技能服务,让用户感受到一次文本查询请求的具体反馈,完成一次交互。
图5为本申请实施例提供的另一种文本识别方法的流程示意图。如图5所示,该方法可包括:
501、查询与所述文本查询请求相匹配的语料和/或模板。
NLU服务从数据库中获取初始化标注语料,将初始化标注语料与文本查询请求相匹配,得到目标语料,将该目标语料的意图、槽位以及槽位属性分别作为文本查询请求的第二候选意图、第二候选槽位以及第二候选槽位属性;
和/或,NLU服务从数据库中获取初始化模板,将初始化模板与文本查询请求匹配,得到目标模板,该目标模板的意图、槽位以及槽位属性分别作为文本查询请求的第三候选意图、第三候选槽位以及第三候选槽位属性。
需要注意的是,上述语料匹配和模板匹配可能得到多种结果,可能只得到目标语料,也可能只得到目标模板,还可能均得到目标语料和目标模板。
本申请的说明书实施例中的术语“第一”、“第二”、和“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或优先级。具体的,在语料匹配的过程中,采用搜索的方式,从已标注的语料集中查询和用户文本查询请求最相似的标注语料,具体做法是使用Elastic Search作为底层搜索引擎,将标注语料建好索引,然后开发相关性插件,可以借用空间向量模型(Vector Space Model,VSM)相关性模型的方法挑选最匹配的标注语料,然后将此语料的意图槽位属性标注作为文本查询请求的意图槽位属性标注,这样相关标注数据中的意图、槽位、槽位属性信息就被用上。这种方式的特点是毫秒级影响线上用户,因为Elastic Search支持实时索引和分布式部署,延时毫秒级,对数量大的场景支持友好,且允许用户自行开发相关性排序逻辑,适用的场景是快速修复线上发现的问题,准确率高,但缺点是泛化性较差,引入这种方法的主要目的是为了快速解决线上的问题。
具体的,在模板匹配的过程中,NLU服务需要从数据库中获取大量的初始化模板。技能产品经理在技能创建平台创建技能的时候,会初始化一些模板,或者语料标注系统导入的标注语料也会相应产生一些模板,比如模板a为“请帮我播放[song]”;模板b为“我要听首不是[singer:neg]唱的[song:neg]”。这样的模板“[]”里面的内容可以匹配任意歌名song实体,比如“忘情水”、“七里香”等等均可;而被模板b命中的文本查询请求,其歌名song槽位就会被解析带有否定属性。因此,此方法问题就变成了如何在大量的初始化模板中匹配中目标模板,本NLU服务参考文本多模匹配的方式,把模板集合当成文本,采用后缀树来组织模板集合,在查找的时候结合减枝的策略加速查找,目前在百万级规模模板的情况下,匹配的速度仅1ms左右(90%的情况远低于1ms)。这种方式的特点是泛化性优于语料匹配,弱点是需要依赖实体抽取的结果,因为模板是在实体的基础上进行泛化,所以当实体抽取结果出错的时候,模板匹配便会失效。
502、利用训练得到的意图分类模型处理所述文本查询请求以得到第一候选意图,通过训练得到的槽位抽取模型对所述文本查询请求进行抽取处理以得到第一候选槽位和第一候选槽位属性。
由模型训练模块从数据库中获取大量的语料作为训练数据进行离线模型训练,训练好对应的实体抽取、意图分类、槽位抽取模型后,发布至线上NLU服务,由NLU服务根据上述初始化模型来处理上述语料匹配、模板匹配均没能处理的文本查询请求,分别得到第一候选意图、第一候选槽位以及第一候选槽位属性;因为模型的泛化性是上述语料、模板以及模型中最强的,只是其时效性最差,更新周期最长。
503、判断是否未查询到与所述文本查询请求相匹配的语料且未查询到与所述文本查询请求相匹配的模板。
NLU服务完成语料匹配和/或模板匹配、模型处理操作后,可能得到多种结果,可能得到目标语料和目标模型,也可能得到目标模板和目标模型,还可能得到目标语料、目标模板以及目标模型,还可能只得到符合文本查询请求的目标模型,根据上述可能得到的多种结果进行判断操作,判断是否未查询到与所述文本查询请求相匹配的语料且未查询到与所述文本查询请求相匹配的模板。
504、将所述第一候选意图、所述第一候选槽位以及所述第一候选槽位属性分别作为所述目标意图、所述目标槽位以及所述目标槽位属性。
在未查询到与所述文本查询请求相匹配的语料且未查询到与所述文本查询请求相匹配的模板的情况下,则说明NLU服务只通过模型处理操作得到了第一候选意图、第一候选槽位以及第一候选槽位属性,对话管理服务将上述第一候选意图、第一候选槽位以及第一候选槽位属性分别作为目标意图、目标槽位以及目标槽位属性。
505、选择第一候选集合、第二候选集合和/或第三候选集合中的任一候选集合,得到目标候选集合;所述目标候选集合包括所述目标意图、所述目标槽位以及所述目标槽位属性。
在查询到与文本查询请求相匹配的目标语料的情况下,将上述目标语料的意图、槽位以及槽位属性分别作为文本查询请求的第二候选意图、第二候选槽位以及第二候选槽位属性;
和/或,在查询到与文本查询请求相匹配的目标模板的情况下,根据上述目标模板确定文本查询请求的意图、槽位以及槽位属性以得到第三候选意图、第三候选槽位以及第三候选槽位属性;
对话管理服务选择第一候选集合、第二候选集合和/或第三候选集合中的任一候选集合,得到目标候选集合;上述目标候选集合包括上述目标意图、目标槽位以及目标槽位属性;上述第一候选集合包括上述第一候选意图、第一候选槽位、第一候选槽位属性,上述第二候选集合包括上述第二候选意图、第二候选槽位、第二候选槽位属性,上述第三候选集合包括上述第三候选意图、第三候选槽位、第三候选槽位属性。
本申请说明书实施例中,术语“第一”、“第二”、“第三”仅用于区别不同的对象,例如候选槽位、候选意图、候选槽位属性、候选集合等。可以理解,第一候选集合、第二候选集合、第三候选集合之间没有优先级关系,第一候选槽位、第二候选槽位以及第三候选槽位之间也没有优先级关系。在上述选择的过程中,对话管理服务针对NLU服务返回的多个可能结果,结合用户整个会话控制session的上文信息、客户端上报的场景信息以及客户端勾选的技能的优先级信息等做优先级加权处理,二次排序后,挑选优先级最高的结果,作为所述文本查询请求的目标意图、目标槽位以及目标槽位属性,所述目标槽位属性分为肯定属性和否定属性,分别用于肯定和否定所述目标槽位。上述用户整个会话控制session的上文信息、客户端上报的场景信息存至对话管理服务,上述客户端勾选的技能的优先级信息是由产品经理创建该技能的时候确定的。比如,对于文本查询请求“我要看天龙八部”,“天龙八部”具有较多的含义,可以是电影、电视剧,也可以是小说,NLU服务解析之后将得到该文本查询请求的多个可能意图结果,且较难区分用户查询真正的目的。在这种情况下,会话管理服务将根据用户整个会话控制session的上文信息跟踪同一用户的状态,允许服务器跟踪同一客户端做出的连续请求以保持用户的状态,若上述用户整个会话控制session的上文信息出现阅读小说的次数较多,则对话管理服务选择该文本查询请求的“天龙八部”为小说的优先级较高;同理,会话管理服务还将根据客户端上报的场景信息来选择优先级较高的结果,若场景信息多为阅读场景,则对话管理服务选择该文本查询请求的“天龙八部”为小说的优先级较高;上述客户端勾选的技能的优先级信息则是由产品经理创建该新技能时根据技能的应用范围和用户习惯等因素事先确定好的;对话管理服务将结合上述多个信息的优先级做加权处理,得到优先级较高的结果,作为文本查询请求最终的目标意图、目标槽位以及目标槽位属性。
506、确定所述文本查询请求的目标意图、目标槽位以及目标槽位属性。
对话管理服务从NLU服务解析后得到的多个可能候选结果中选择出最终的结果,作为文本查询请求的目标意图、目标槽位以及目标槽位属性,并将上述目标意图、目标槽位以及目标槽位属性传输至技能管理分发服务。
图6为本申请实施例提供的又一种文本识别方法的流程示意图。如图6所示,该方法可包括:
601、利用所述意图分类模型将所述文本查询请求分类,得到所述第一候选意图。
用获取到的意图分类模型对文本查询请求进行分类,得到第一候选意图,该意图分类模型是从服务器的模型训练模块中得到的。比如,对于用户输入的文本查询请求“导航去昌吉市丽景尚城不走高速”,意图分类模型可将该文本查询请求分类为“导航到某地”的意图;对于用户输入的文本查询请求“播放不是杨宗纬唱的空白格”,意图分类模型可将该文本查询请求分类为“播放某歌曲”的意图。
602、利用所述槽位抽取模型抽取所述文本查询请求,得到所述第一候选槽位。
用获取到的槽位抽取模型对文本查询请求进行抽取槽位,得到第一候选槽位,该槽位抽取模型是从服务器的模型训练模块中得到的。比如,对于用户输入的文本查询请求“导航去昌吉市丽景尚城不走高速”,槽位抽取模型可对该文本查询请求抽取槽位,得到该文本查询请求的第一候选槽位分别为目的地槽位“昌吉市丽景尚城”和交通方式槽位“高速”;对于用户输入的文本查询请求“播放不是杨宗纬唱的空白格”,槽位抽取模型可对该文本查询请求抽取槽位,得到该文本查询请求的第一候选槽位分别为歌手槽位“杨宗纬”和歌名槽位“空白格”。但是通过此方式仅能得到文本查询请求的候选槽位,无法得出其候选槽位的槽位属性。
603、获取所述第一候选槽位前面长度为N的字面量窗口,其中,N为大于零的整数。
在用槽位抽取模型对文本查询请求进行抽取槽位之后,对得到的每个槽位均截取该槽位前面长度为N的字面量窗口,其中,N为大于零的整数,试验发现当N=3时,准确率能达到0.95,召回率约为0.9。比如,对于文本查询请求“我要听首不是<singer>周杰伦</singer>唱的<song>七里香</song>”,先经过槽位抽取模型抽取得到第一候选槽位为歌手槽位“周杰伦”和歌名槽位“七里香”,再分别截取该歌手槽位前面长度为N的字面量窗口和该歌名槽位前面长度为N的字面量窗口。
604、判断是否所述字面量窗口包含否定词且不包含重复字。
截取得到长度为N的字面量窗口,根据该字面量窗口内容判断是否包含否定词,如“不”字,且不包含重复字,同时需注意排除“是不是、要不要”等“ABA”型的说法。比如,如604中的例子所述,对于文本查询请求“我要听首不是<singer>周杰伦</singer>唱的<song>七里香</song>”,先经过槽位抽取模型抽取得到第一候选槽位为歌手槽位“周杰伦”和歌名槽位“七里香”,再分别截取该歌手槽位前面长度为N的字面量窗口和该歌名槽位前面长度为N的字面量窗口,可得到该歌手槽位前面长度为N的字面量窗口包含“不”字且不包含重复字,该歌名槽位前面长度为N的字面量窗口不包含“不”字且不包含重复字。
605、判断所述第一候选槽位属性用于否定所述第一候选槽位。
若槽位前面长度为N的字面量窗口内包含否定的说法,具体为包含“不”字且不包含重复字,则判断该槽位属性为否定属性,用于否定该槽位属性所对应的的槽位。如605中的例子所述,对于文本查询请求“我要听首不是<singer>周杰伦</singer>唱的<song>七里香</song>”,通过歌手槽位“周杰伦”前面长度为N的字面量窗口内包含“不”字且不包含重复字,可以判断歌手槽位“周杰伦”的槽位属性为否定属性,用于否定该歌手槽位。
606、判断所述第一候选槽位属性用于肯定所述第一候选槽位。
若槽位前面长度为N的字面量窗口内不包含否定的说法,具体为不包含“不”字或包含重复字,则判断该槽位属性为肯定属性,用于肯定该槽位属性所对应的的槽位。如605中的例子所述,对于文本查询请求“我要听首不是<singer>周杰伦</singer>唱的<song>七里香</song>”,通过歌名槽位“七里香”前面长度为N的字面量窗口内不包含“不”字或不包含重复字,可以判断歌名槽位“七里香”的槽位属性为肯定属性,用于肯定该歌名槽位。
607、利用训练得到的二分类模型,确定所述第一候选槽位的属性,得到所述第一候选槽位属性。
模型的泛化性较强,但是其时效性较差,更新周期较长,故模型处理操作可以分为两个方案来执行,上述601至606中的实施方式为前期方案,前期方案的召回率相对要低一些,本实施方式将阐述模型处理过程中的后期方案,可以将后期方案理解为前期方案的优化。先基于上述601至606中规则的方式积累一定量的数据作为后续的训练语料,利用上述训练语料训练得到二分类模型,然后NLU服务采用分类模型的方式来预测抽取到的槽位的槽位属性,对于每一个目标槽位的属性,其特征主要是其左右两边的字面量窗口信息。其中,利用上述训练语料训练得到二分类模型,可采用逻辑回归算法来建模,逻辑回归算法为二分类/多分类建模算法,是线性分类模型中常用的方法,计算简单稳定,速度快,且支持大量特征维度。
608、确定所述第一候选意图、所述第一候选槽位以及所述第一候选槽位属性。
通过意图分类模型将所述文本查询请求分类,得到第一候选意图,通过槽位抽取模型抽取所述文本查询请求,得到第一候选槽位,通过截取第一候选槽位前面长度为N的字面量窗口并判断其内容,得到第一候选槽位属性。
图7为本申请实施例提供的一种装置的结构示意图。如图7所示,该装置包括:接收单元701、解析单元702、确定单元703以及提供单元704。其中:
接收单元701,用于接收来自客户端的文本查询请求,所述文本查询请求用于请求获取目标服务;
解析单元702,用于解析所述文本查询请求,得到所述文本查询请求的目标意图、目标槽位以及目标槽位属性,所述目标槽位属性用于肯定或否定所述目标槽位;
确定单元703,用于根据所述目标意图、所述目标槽位以及所述目标槽位属性,确定所述目标服务;
提供单元704,用于向所述客户端提供所述目标服务。
根据本申请实施例,图4中服务端执行的方法所涉及的各个步骤均可以是由图7所示的装置中的各个单元来执行的。例如,图4中所示的401由图7中所示的接收单元701来执行,图4中所示的402可以由图7中所示的解析单元702来执行,图4中所示的403可以由图7中所示的确定单元703来执行,图4中所示的404可以由图7中所示的提供单元704来执行。
图8为本申请实施例提供的另一种装置的结构示意图。如图8所示,该装置包括:查询单元802、处理单元803以及选择单元804。其中:
查询单元802,用于查询与所述文本查询请求相匹配的语料和/或模板;
处理单元803,用于利用训练得到的意图分类模型处理所述文本查询请求以得到第一候选意图,以及通过训练得到的槽位抽取模型对所述文本查询请求进行抽取处理以得到第一候选槽位和第一候选槽位属性;
选择单元804,用于在所述查询单元未查询到与所述文本查询请求相匹配的语料且未查询到与所述文本查询请求相匹配的模板的情况下,将所述第一候选意图、所述第一候选槽位以及所述第一候选槽位属性分别作为所述目标意图、所述目标槽位以及所述目标槽位属性。
选择单元804,还用于在所述查询单元查询到与所述文本查询请求相匹配的目标语料的情况下,将所述目标语料的意图、槽位以及槽位属性分别作为所述文本查询请求的第二候选意图、第二候选槽位以及第二候选槽位属性;
和/或,所述选择单元还用于在所述查询单元查询到与所述文本查询请求相匹配的目标模板的情况下,根据所述目标模板确定所述文本查询请求的意图、槽位以及槽位属性以得到第三候选意图、第三候选槽位以及第三候选槽位属性;
选择单元804,还用于选择第一候选集合、第二候选集合和/或第三候选集合中的任一候选集合,得到目标候选集合;所述目标候选集合包括所述目标意图、所述目标槽位以及所述目标槽位属性;所述第一候选集合包括所述第一候选意图、所述第一候选槽位、所述第一候选槽位属性,所述第二候选集合包括所述第二候选意图、所述第二候选槽位、所述第二候选槽位属性,所述第三候选集合包括所述第三候选意图、所述第三候选槽位、所述第三候选槽位属性。
进一步地,所述查询单元802,包括:所述查询单元802,具体用于获取初始化标注语料和/或初始化模板;所述查询单元802,具体还用于将所述初始化标注语料与所述文本查询请求相匹配,得到所述目标语料,将所述目标语料的意图、槽位以及槽位属性分别作为所述文本查询请求的所述第二候选意图、所述第二候选槽位以及所述第二候选槽位属性;和/或,用于将所述初始化模板与所述文本查询请求匹配,得到所述目标模板,所述目标模板的意图、槽位以及槽位属性分别作为所述文本查询请求的所述第三候选意图、所述第三候选槽位以及所述第三候选槽位属性。
进一步地,所述处理单元803,包括:分类单元805,用于用所述意图分类模型将所述文本查询请求分类,得到所述第一候选意图;抽取单元806,用于用所述槽位抽取模型抽取所述文本查询请求,得到所述第一候选槽位;或取单元807,用于获取所述第一候选槽位前面长度为N的字面量窗口,判断所述第一候选槽位属性,其中,N为大于零的整数;判断单元808,具体用于在所述字面量窗口包含“不”字且不包含重复字的情况下,判断所述第一候选槽位属性用于否定所述第一候选槽位;替换单元809,用于利用训练得到的二分类模型,确定所述第一候选槽位的属性,得到所述第一候选槽位属性。
根据本申请实施例,图5至图6中服务端执行的方法所涉及的各个步骤均可以是由图8所示的装置中的各个单元来执行的。例如,图5中所示的501由图8中所示的802来执行;又如,图6中所示的601可以由图8中所示的805来执行。
根据本申请实施例,图8所示的装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,基于服务端也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图5至图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图8中所示的装置,以及来实现本申请实施例的文本识别方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述装置中,并在其中运行。
基于上述方法实施例以及装置实施例的描述,本申请实施例还提供了一种服务器的硬件结构示意图,如图9所示,该服务器901可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)902(例如,一个或一个以上处理器)和存储器908,一个或一个以上存储应用程序906或数据905的存储介质907(例如一个或一个以上海量存储设备)。其中,存储器908和存储介质907可以是短暂存储或持久存储。存储在存储介质907的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器902可以设置为与存储介质907通信,在服务器901上执行存储介质907中的一系列指令操作。服务器901可以为本申请提供的服务端。
服务器901还可以包括一个或一个以上电源903,一个或一个以上有线或无线网络接口909,一个或一个以上输入输出接口910,和/或,一个或一个以上操作系统904,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务端所执行的步骤可以基于该图9所示的服务器硬件结构。
此外,这里需要指出的是:本发明实施例还提供了一种计算机存储介质,且所述计算机存储介质中存储有前文提及的服务端所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图4至图6所对应实施例中对所述文本识别方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (7)

1.一种文本识别方法,其特征在于,包括:
服务器接收客户端的文本查询请求,所述文本查询请求用于请求获取目标服务;
查询与所述文本查询请求相匹配的语料和/或模板;利用训练得到的意图分类模型处理所述文本查询请求以得到第一候选意图,以及通过训练得到的槽位抽取模型对所述文本查询请求进行抽取处理以得到第一候选槽位和第一候选槽位属性;并在未查询到与所述文本查询请求相匹配的语料且未查询到与所述文本查询请求相匹配的模板的情况下,将所述第一候选意图、所述第一候选槽位以及所述第一候选槽位属性分别作为目标意图、目标槽位以及目标槽位属性,所述目标槽位属性用于肯定或否定所述目标槽位;在查询到与所述文本查询请求相匹配的目标语料的情况下,将所述目标语料的意图、槽位以及槽位属性分别作为所述文本查询请求的第二候选意图、第二候选槽位以及第二候选槽位属性;和/或,在查询到与所述文本查询请求相匹配的目标模板的情况下,根据所述目标模板确定所述文本查询请求的意图、槽位以及槽位属性以得到第三候选意图、第三候选槽位以及第三候选槽位属性;选择第一候选集合、第二候选集合和/或第三候选集合中的任一候选集合,得到目标候选集合;所述目标候选集合包括所述目标意图、所述目标槽位以及所述目标槽位属性;所述第一候选集合包括所述第一候选意图、所述第一候选槽位、所述第一候选槽位属性,所述第二候选集合包括所述第二候选意图、所述第二候选槽位、所述第二候选槽位属性,所述第三候选集合包括所述第三候选意图、所述第三候选槽位、所述第三候选槽位属性;
所述服务器根据所述目标意图、所述目标槽位以及所述目标槽位属性,确定所述目标服务;
所述服务器向所述客户端提供所述目标服务。
2.根据权利要求1所述的一种文本识别方法,其特征在于,所述查询与所述文本查询请求相匹配的语料和/或模板,包括:
查询语料库中与所述文本查询请求相匹配的语料,得到所述目标语料,将所述目标语料的意图、槽位以及槽位属性分别作为所述文本查询请求的所述第二候选意图、所述第二候选槽位以及所述第二候选槽位属性;
和/或,查询模板库中与所述文本查询请求匹配的模板,得到所述目标模板,所述目标模板的意图、槽位以及槽位属性分别作为所述文本查询请求的所述第三候选意图、所述第三候选槽位以及所述第三候选槽位属性。
3.根据权利要求1所述的一种文本识别方法,其特征在于,所述通过训练得到的槽位抽取模型对所述文本查询请求进行抽取处理以得到第一候选槽位和第一候选槽位属性,包括:
利用所述槽位抽取模型抽取所述文本查询请求,得到所述第一候选槽位;
获取所述第一候选槽位前面长度为N的字面量窗口,在所述字面量窗口包含否定词且不包含重复字的情况下,确定所述第一候选槽位属性用于否定所述第一候选槽位;其中,N为大于零的整数。
4.根据权利要求1所述的一种文本识别方法,其特征在于,所述通过训练得到的槽位抽取模型对所述文本查询请求进行抽取处理以得到第一候选槽位和第一候选槽位属性,包括:
利用所述槽位抽取模型抽取所述文本查询请求,得到所述第一候选槽位;
利用训练得到的二分类模型,确定所述第一候选槽位的属性,得到所述第一候选槽位属性。
5.一种文本识别装置,其特征在于,包括:
接收单元,用于接收来自客户端的文本查询请求,所述文本查询请求用于请求获取目标服务;
查询单元,用于查询与所述文本查询请求相匹配的语料和/或模板;处理单元,用于利用训练得到的意图分类模型处理所述文本查询请求以得到第一候选意图,以及通过训练得到的槽位抽取模型对所述文本查询请求进行抽取处理以得到第一候选槽位和第一候选槽位属性;及选择单元,用于在所述查询单元未查询到与所述文本查询请求相匹配的语料且未查询到与所述文本查询请求相匹配的模板的情况下,将所述第一候选意图、所述第一候选槽位以及所述第一候选槽位属性分别作为目标意图、目标槽位以及目标槽位属性,所述目标槽位属性用于肯定或否定所述目标槽位;在查询到与所述文本查询请求相匹配的目标语料的情况下,将所述目标语料的意图、槽位以及槽位属性分别作为所述文本查询请求的第二候选意图、第二候选槽位以及第二候选槽位属性;和/或,在查询到与所述文本查询请求相匹配的目标模板的情况下,根据所述目标模板确定所述文本查询请求的意图、槽位以及槽位属性以得到第三候选意图、第三候选槽位以及第三候选槽位属性;选择第一候选集合、第二候选集合和/或第三候选集合中的任一候选集合,得到目标候选集合;所述目标候选集合包括所述目标意图、所述目标槽位以及所述目标槽位属性;所述第一候选集合包括所述第一候选意图、所述第一候选槽位、所述第一候选槽位属性,所述第二候选集合包括所述第二候选意图、所述第二候选槽位、所述第二候选槽位属性,所述第三候选集合包括所述第三候选意图、所述第三候选槽位、所述第三候选槽位属性;
确定单元,用于根据所述目标意图、所述目标槽位以及所述目标槽位属性,确定所述目标服务;
提供单元,用于向所述客户端提供所述目标服务。
6.一种服务器,其特征在于,所述服务器包括接收器和发送器,还包括:处理器,适于实现一条或多条指令;以及,计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1-4任一项所述的方法。
CN201910994392.0A 2019-10-18 2019-10-18 文本识别方法和相关产品 Active CN110795547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910994392.0A CN110795547B (zh) 2019-10-18 2019-10-18 文本识别方法和相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910994392.0A CN110795547B (zh) 2019-10-18 2019-10-18 文本识别方法和相关产品

Publications (2)

Publication Number Publication Date
CN110795547A CN110795547A (zh) 2020-02-14
CN110795547B true CN110795547B (zh) 2023-04-07

Family

ID=69440383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910994392.0A Active CN110795547B (zh) 2019-10-18 2019-10-18 文本识别方法和相关产品

Country Status (1)

Country Link
CN (1) CN110795547B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114860797B (zh) * 2022-03-16 2023-05-26 电子科技大学 一种数据的衍生处理方法
CN114936561A (zh) * 2022-04-11 2022-08-23 阿里巴巴(中国)有限公司 语音文本的处理方法和装置、存储介质和处理器
CN116956941B (zh) * 2023-09-21 2024-01-09 腾讯科技(深圳)有限公司 一种文本识别方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106941619A (zh) * 2017-03-16 2017-07-11 百度在线网络技术(北京)有限公司 基于人工智能的节目提醒方法、装置以及系统
CN109063221A (zh) * 2018-11-02 2018-12-21 北京百度网讯科技有限公司 基于混合策略的查询意图识别方法和装置
CN109408622A (zh) * 2018-10-31 2019-03-01 腾讯科技(深圳)有限公司 语句处理方法及其装置、设备和存储介质
US10229680B1 (en) * 2016-12-29 2019-03-12 Amazon Technologies, Inc. Contextual entity resolution
CN109753565A (zh) * 2018-12-27 2019-05-14 厦门智融合科技有限公司 知识产权智能服务方法及系统
CN110111787A (zh) * 2019-04-30 2019-08-09 华为技术有限公司 一种语义解析方法及服务器
CN110287209A (zh) * 2019-06-10 2019-09-27 北京百度网讯科技有限公司 问答处理方法、装置、设备和存储介质
CN110288985A (zh) * 2019-06-28 2019-09-27 北京猎户星空科技有限公司 语音数据处理方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007933B2 (en) * 2013-02-22 2018-06-26 Swoop Inc. Systems and methods for integrating dynamic content into electronic media

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229680B1 (en) * 2016-12-29 2019-03-12 Amazon Technologies, Inc. Contextual entity resolution
CN106941619A (zh) * 2017-03-16 2017-07-11 百度在线网络技术(北京)有限公司 基于人工智能的节目提醒方法、装置以及系统
CN109408622A (zh) * 2018-10-31 2019-03-01 腾讯科技(深圳)有限公司 语句处理方法及其装置、设备和存储介质
CN109063221A (zh) * 2018-11-02 2018-12-21 北京百度网讯科技有限公司 基于混合策略的查询意图识别方法和装置
CN109753565A (zh) * 2018-12-27 2019-05-14 厦门智融合科技有限公司 知识产权智能服务方法及系统
CN110111787A (zh) * 2019-04-30 2019-08-09 华为技术有限公司 一种语义解析方法及服务器
CN110287209A (zh) * 2019-06-10 2019-09-27 北京百度网讯科技有限公司 问答处理方法、装置、设备和存储介质
CN110288985A (zh) * 2019-06-28 2019-09-27 北京猎户星空科技有限公司 语音数据处理方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Zhanjun li等.Ontology-based design information extraction and retrieval.《Artificial Intelligence for Engineering Design Analysis and Manufacturing》.2007,137-154. *
赵军等.结合句法组成模板识别汉语基本名词短语的概率模型.计算机研究与发展.1999,(第11期),1384-1390. *

Also Published As

Publication number Publication date
CN110795547A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN109325040B (zh) 一种faq问答库泛化方法、装置及设备
Chatterjee et al. Intent mining from past conversations for conversational agent
CN110795547B (zh) 文本识别方法和相关产品
US20190347118A1 (en) Identifying parameter values and determining features for boosting rankings of relevant distributable digital assistant operations
CN112818092B (zh) 知识图谱查询语句生成方法、装置、设备及存储介质
CN111090727A (zh) 语言转换处理方法、装置及方言语音交互系统
CN112115232A (zh) 一种数据纠错方法、装置及服务器
CN118113836A (zh) 一种基于知识检索增强的大语言模型问答方法和装置
CN110795544B (zh) 内容搜索方法、装置、设备和存储介质
CN111274822A (zh) 语义匹配方法、装置、设备及存储介质
CN110807323A (zh) 情绪向量的生成方法及装置
CN116644168A (zh) 一种交互数据构建方法、装置、设备及存储介质
CN108334353A (zh) 技能开发系统及方法
CN113688636A (zh) 扩展问的推荐方法、装置、计算机设备和存储介质
Kim et al. Domainless adaptation by constrained decoding on a schema lattice
CN110807097A (zh) 分析数据的方法和装置
CN113408292A (zh) 语义识别方法、装置、电子设备及计算机可读存储介质
CN117609612A (zh) 资源推荐方法、装置、存储介质及电子设备
CN109165283B (zh) 资源推荐方法、装置、设备及存储介质
CN117708270A (zh) 企业数据查询方法、装置、设备及存储介质
CN117932022A (zh) 一种智能问答方法、装置、电子设备及存储介质
CN114036373B (zh) 搜索方法及装置、电子设备和存储介质
CN116340488A (zh) 面向开放域人机对话的技能推荐系统
CN116361428A (zh) 一种问答召回方法、装置和存储介质
CN115858780A (zh) 一种文本聚类方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022099

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant