CN115828915B - 实体消歧方法、装置、电子设备和存储介质 - Google Patents
实体消歧方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115828915B CN115828915B CN202211092241.4A CN202211092241A CN115828915B CN 115828915 B CN115828915 B CN 115828915B CN 202211092241 A CN202211092241 A CN 202211092241A CN 115828915 B CN115828915 B CN 115828915B
- Authority
- CN
- China
- Prior art keywords
- entity
- text
- determining
- word
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000013507 mapping Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 12
- 238000011144 upstream manufacturing Methods 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 36
- 230000000875 corresponding effect Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 16
- 238000002372 labelling Methods 0.000 description 14
- 239000013598 vector Substances 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种实体消歧方法、装置、电子设备和存储介质,涉及人工智能领域,具体涉及自然语言处理和知识图谱等技术领域,可应用于智能工业、智慧政务、搜索引擎和智能客服等场景。实体消歧方法的具体实现方案为:识别查询文本,得到查询文本中待消歧的实体词;确定根据查询文本查询得到的文本中的目标文本;根据实体词,确定与实体词对应的候选实体及候选实体的实体信息;其中,候选实体包括由相同实体词指示且彼此存在歧义的至少两个实体;以及根据目标文本和候选实体的实体信息,确定候选实体中实体词所指示的目标实体。
Description
技术领域
本公开涉及人工智能领域,具体涉及自然语言处理和知识图谱等技术领域,可应用于智能工业、智慧政务、搜索引擎和智能客服等场景。
背景技术
随着计算机技术和网络技术的发展,深度学习技术在众多领域得到了广泛应用。例如,可以采用深度学习技术来对查询文本(Query)进行自然语言处理,以提升搜索引擎的搜索质量和使用体验。在对查询文本进行自然语言处理的过程中,需要理解文本语义并判断出查询文本的意图需求。但由于查询文本常常包括有歧义的实体,因此存在判断出的意图需求不准确甚至错误的情况。
发明内容
本公开旨在提供一种实体消歧方法、装置、设备和介质,以通过实体的消歧,提高理解查询文本的文本语义的准确度,并因此提高判断出的文本的意图需求的精度。
根据本公开的一个方面,提供了一种实体消歧方法,包括:识别查询文本,得到查询文本中待消歧的实体词;确定根据查询文本查询得到的文本中的目标文本;根据实体词,确定与实体词对应的候选实体及候选实体的实体信息;其中,候选实体包括由相同实体词指示且彼此存在歧义的至少两个实体;以及根据目标文本和候选实体的实体信息,确定候选实体中实体词所指示的目标实体。
根据本公开的另一个方面,提供了一种实体消歧装置,包括:实体识别模块,用于识别查询文本,得到查询文本中待消歧实体的实体词;目标文本确定模块,用于确定根据查询文本查询得到的文本中的目标文本;候选实体确定模块,用于根据实体词,确定与实体词对应的候选实体及候选实体的实体信息;其中,候选实体包括由相同实体词指示且彼此存在歧义的至少两个实体;以及目标实体确定模块,用于根据目标文本和候选实体的实体信息,确定候选实体中实体词所指示的目标实体。
根据本公开的另一个方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开提供的实体消歧方法。
根据本公开的另一个方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行本公开提供的实体消歧方法。
根据本公开的另一个方面,提供了一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令在被处理器执行时实现本公开提供的实体消歧方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例的实体消歧方法和装置的应用场景示意图;
图2是根据本公开实施例的实体消歧方法的流程示意图;
图3是根据本公开实施例的实体消歧方法的原理示意图;
图4是根据本公开实施例的确定查询文本中待消歧实体词所指示实体的实体类型的原理示意图;
图5是根据本公开一实施例的确定目标文本的文本标题与候选实体的实体信息之间的相似度的原理示意图;
图6是根据本公开另一实施例的确定目标文本的文本标题与候选实体的实体信息之间的相似度的原理示意图;
图7是根据本公开实施例的实体消歧装置的结构框图;以及
图8是用来实施本公开实施例的实体消歧方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
搜索引擎接收的查询文本(Query)是千变万化的,这代表了用户多样化的需求。由于一词多义情况的存在,查询文本所表达的需求意图可能包括多个不同的意图。为了准确地确定查询文本所表达的需求意图,可以对表示多个实体的实体词进行消歧。例如,可以基于查询文本的上下文信息来确定查询文本中实体词所指示的实体,从而确定查询文本所表达的需求意图。但,在查询文本为短文本或者所表达的上下文信息有限的情况下,会导致消歧效果不佳,消歧后确定的实体词所指示的实体仍存在有歧义的情形。可以理解的是,搜索引擎可以为通常使用的网页版搜索引擎,也可以为智能客服场景下搜索答复文本时所使用的搜索引擎,也可以为智能工业或智慧政务等场景下搜索文本所使用的搜索引擎,本公开对此不做限定。
为了避免该情形,本公开提供了一种实体消歧方法、装置、电子设备和存储介质。
以下将结合图1对本公开提供的实体消歧的方法和装置的应用场景进行示意性描述。
如图1所示,该实施例的应用场景100可以包括电子设备110,该电子设备110可以为具有处理功能的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
该电子设备110例如可以安装有网页浏览器、搜索类应用、即时通信类应用和/或购物类应用等(仅为示例)多种类型的客户端应用。该电子设备110例如可以响应于接收到查询文本120,对查询文本120进行实体识别,确定查询文本中需要消歧的实体词。
在一实施例中,电子设备110还可以通过对查询文本120进行语义理解,来对需要消歧的实体词进行消歧,确定查询文本中实体词所指示的实体。在消歧后,电子设备110可以根据消歧后查询文本的语义,来确定响应于查询文本所得到的查询结果130,并将查询结果展示出来。
在一实施例中,电子设备110例如还可以先将查询文本120发送给服务器140,由服务器140根据该查询文本120从数据库150中获取与该查询文本120相关的信息,并将获取的信息作为初始查询结果反馈给电子设备110。该电子设备110可以根据接收到的初始查询结果和查询文本120来对需要消歧的实体词进行消歧,确定查询文本中实体词所指示的实体。随后,电子设备110可以将消歧后查询文本发送给服务器140,以使得服务器140根据该消歧后查询文本来从数据库150中获取与消歧后查询文本相关的信息,并将该与消歧后查询文本相关的信息作为查询结果反馈给电子设备110,以供电子设备110进行展示。
其中,电子设备110可以通过网络与服务器140通信连接。网络可以包括有线或无线通信链路。服务器140可以是支持电子设备110中设置的客户端应用运行的后台管理服务器。
在一实施例中,电子设备110还可以将查询文本120发送给服务器140,由服务器140对该查询文本120进行实体识别,确定查询文本120中需要消歧的实体词。同时,可以由服务器140对查询文本120进行语义理解,来对需要消歧的实体词进行消歧。
需要说明的是,本公开提供的实体消歧方法可以由电子设备110执行,或者可以由服务器140执行。相应地,本公开提供的实体消歧装置可以设置在电子设备110中,也可以设置在服务器140中。
应该理解,图1中的电子设备110、服务器140和数据库150的数目和类型仅仅是示意性的。根据实现需要,可以具有任意数目和类型的电子设备110、服务器140和数据库150。
以下将结合图2~图6对本公开提供的实体消歧方法进行详细描述。
图2是根据本公开实施例的实体消歧方法的流程示意图。
如图2所示,该实施例的实体消歧方法200可以包括操作S210~操作S240。
在操作S210,识别查询文本,得到查询文本中待消歧的实体词。
根据本公开的实施例,可以采用深度学习的方法来识别查询文本。例如,可以采用实体识别模型识别得到查询文本中的实体词,得到至少一个实体词。该实施例可以从该至少一个实体词中挑选需要消歧的实体词。其中,实体识别模型例如可以为由长短期记忆网络(Long-Short Term Memory,LSTM)和条件随机场构成的模型,也可以为由膨胀卷积网络(Iterated Dilated CNN,IDCNN)和条件随机场构成的模型。可以理解的是,上述实体识别模型的结构仅作为示例以利于理解本公开,本公开对此不做限定。
例如,本公开可以维护有由存在歧义的实体词构成的实体库。该实施例可以在得到至少一个实体词后,根据该至少一个实体词查询该实体库,确定至少一个实体词中属于实体库的实体词,将确定的实体词作为待消歧的实体词。
在一实施例中,该实施例可以根据查询文本的语法构成,来确定待消歧的实体词。例如,可以将查询文本中作为主语的实体词作为待消歧的实体词。
例如,该实施例可以采用序列标注模型来对查询文本中的待消歧的实体词进行标注。该实施例可以先对查询文本进行分字处理,得到字序列。随后,将该字序列输入序列标注模型,由序列标注模型输出针对字序列中各个字的标注信息。该标注信息例如可以包括表示B-I-O(Begin-Inside-Outside)分类的标注,该标注信息可以表示字序列中的各个字为待消歧的实体词的起始字(被标注为Begin)、待消歧的实体词中除起始字外的其他字(被标注为Inside)及除待消歧的实体词所包括的字外的其他字(被标注为Outside)中的哪个类别。该实施例可以将被标注为B和被标注为I的字拼接得到的词作为待消歧的实体词。其中,序列标注模型例如可以是基于Transformer的双向编码器表征网络(BERT)构建的模型,也可以是基于文心模型(ERNIE)构建的模型,本公开对此不做限定。
在操作S220,确定根据查询文本查询得到的文本中的目标文本。
根据本公开的实施例,可以以查询文本为依据,对预定数据库中的文本进行查询,将查询得到的文本中与查询文本的相关度最高的预定数量个文本作为目标文本。其中,预定数据库例如可以为针对搜索引擎而维护的知识数据库等。预定数据库中的文本可以包括纯文本、图文格式的文本和含有视频的文本等。查询得到的文本中的目标文本例如可以由文本标题来表示,文本标题通常为纯文本格式。该实施例可以由查询文本与预定数据库中文本的文本标题之间的相似度,来表示预定数据库中的文本与查询文本之间的相关度。
在操作S230,根据实体词,确定与实体词对应的候选实体及候选实体的实体信息。
上文描述的由存在歧义的实体词构成的实体库中,例如还可以维护有存在歧义的实体词所表示实体的实体信息,该实体信息例如可以为实体的属性信息和/或实体的描述信息等。例如,该实体库中可以维护有实体标识与实体词之间的映射关系,还维护有实体标识与实体信息之间的映射关系。由相同实体词表示的不同实体具有不同的实体标识。该实施例可以根据实体词搜索该实体库,确定与该实体词具有映射关系的实体标识,将具有该确定的实体标识的实体作为候选实体,将与该确定的实体标识具有映射关系的实体信息作为候选实体的实体信息。
根据本公开的实施例,在实体词指示两个不同的实体时,该实体词即为需要消歧的实体词。若通过搜索实体库确定的实体标识为至少两个,则可以确定查询文本中该实体词为需要消歧的实体词,则继续执行操作S240。若通过搜索实体库确定的实体标识仅为一个时,则可以确定无需对该查询文本中的实体词进行消歧,可以将具有该确定的实体标识的实体实体词所指示的目标实体。
在操作S240,根据目标文本和候选实体的实体信息,确定候选实体中实体词所指示的目标实体。
根据本公开的实施例,可以根据目标文本与候选实体的实体信息之间的相似度,来确定目标实体。例如,该实施例可以将与目标文本之间的相似度最高的候选实体作为目标实体。
在一实施例中,可以将目标文本和查询文本合并为一个文本,随后根据合并得到的文本与候选实体的实体信息之间的相似度,来确定目标实体。
其中,在确定文本与实体信息之间的相似度时,例如可以采用语义特征提取网络分别提取文本和实体信息的语义特征,将文本的语义特征与实体信息的语义特征之间的相似度,作为文本与实体信息之间的相似度。其中,语义特征提取网络例如可以为循环神经网络、Transformer的编码器或者预训练表征网络(例如BERT或ERNIE等)等,本公开对此不做限定。
本公开实施例在对查询文本中的实体词进行消歧时,先根据查询文本查询得到目标文本。随后再根据目标文本与实体词所表示的候选实体的实体信息,来进行实体词的消歧,可以为消歧过程增加有关查询文本的特征。尤其可以在查询文本为短文本或者查询文本所表达的信息不足的情况下,通过引入目标文本,可以弥补查询文本较少的上下文信息,利于提高消歧过程中对查询文本的表达能力,实现对存在歧义的实体词的完全消歧,提高消歧精度。这是由于,目标文本通常是对查询文本的扩展,目标文本在可以表示查询文本的基础上,还可以提供更为丰富的信息。
可以理解的是,操作S210中识别查询文本的操作,可以理解为是对实体提及进行识别的操作,即通过实体提及识别(Entity Mention Detection,EMD)来得到指示待消歧的实体词。其中,实体提及是指文本中用来表述某个实体的引用表达式(ReferringExpression)。实体提及识别任务的目的在于识别指定类型实体的所有提及,包括命名性提及、名词性提及还有代词性提及,并考虑实体提及之间的嵌套结构。
图3是根据本公开实施例的实体消歧方法的原理示意图。
根据本公开的实施例,在确定候选实体之前,例如还可以先确定查询文本中实体词所指示实体的实体类型,随后根据该实体类型和实体词,来确定候选实体。例如,可以将由查询文本中待消歧的实体词指示,且与查询文本中实体词所指示实体具有相同类型的实体作为候选实体。如此,可以减少确定的候选实体的数量,可以使得确定的候选实体更为贴合查询文本,为目标实体的确定提供更为可靠的基础,利于加快实体消歧效率。
例如,可以根据查询文本中待消歧的实体词的上下文信息,来确定查询文本中实体词所指示实体的实体类型。该实施例可以将查询文本输入到实体类型预测模型中,根据实体类型预测模型的输出来确定实体类型。其中,实体类型预测模型例如可以为由语义特征提取网络和全连接层构成的模型。
在一实施例中,可以结合目标文本和实体词,来确定查询文本中实体词所指示实体的实体类型。例如,可以根据目标文本的上下文信息,来确定查询文本中实体词所指示实体的实体类型。则由于目标文本通常是对查询文本的扩展,目标文本在可以表示查询文本的基础上,还可以提供更为丰富的信息,因此可以提高确定的实体类型的精度。
在此基础上,如图3所示,该实施例300的实体消歧方法的实现原理可以为:采用序列标注模型310来对查询文本301中的待消歧的实体词进行标注。同时,可以根据查询文本301查询知识数据库320,得到目标文本302。随后,可以根据目标文本302和待消歧的实体词303,采用实体类型预测模型330来确定待消歧的实体词303所指示实体的实体类型304。随后,可以根据实体类型304和实体词303查询实体库340,得到候选实体305及该候选实体305的实体信息306。最后,根据该实体信息306和目标文本302,来确定候选实体305中的目标实体307。
其中,以查询文本301为“XY是那个国家的”为例,序列标注模型输出的序列标注结果可以为“B I O O O O O O”,该序列标注结果中的八个标注符与查询文本301中的八个字一一对应,其中,B表示待消歧的实体词的起始字,I表示待消歧的实体词中除起始字外的字,O表示除待消歧的实体词包括的字外的其他字。则根据该标注结果可以确定待消歧的实体词303为词“XY”。可以理解的是,通过查询实体库340得到的候选实体305与实体信息306是一一对应的,在实体词指示至少两个实体时,候选实体305包括至少两个实体。
其中,在根据目标文本302和待消歧的实体词303,确定实体类型304时,例如可以先对目标文本302中待消歧的实体词303所在位置进行标注,将添加了标注的目标文本输入实体类型预测模型330,根据实体类型预测模型330的输出来确定实体类型304。例如,对于目标文本“XY,隶属于A国,人口总数为aaa,占地面积为bbb”,通过在待消歧的实体词“XY”处添加标注,可以得到文本“#XY#,XY,隶属于A国,人口总数为aaa,占地面积为bbb”。
该实施例在得到实体信息306与目标文本302后,可以根据每个候选实体的实体信息306与目标文本302之间的相似度,确定实体信息与目标文本302之间的相似度最高的候选实体,作为目标实体307。例如,可以采用相似度预测模型350来确定实体信息与目标文本302之间的相似度。其中,相似度预测模型350可以包括上文描述的语义特征提取网络,以提取实体信息和目标文本的语义特征。该相似度预测模型350例如可以为单塔模型或者双塔模型,本公开对此不做限定。
根据本公开的实施例,实体库340中例如可以维护有实体词与实体标识之间的映射关系,实体标识唯一对应一个实体。且实体库340中还可以维护有实体标识与实体标识所对应实体的实体信息之间的映射关系。该实施例在查询实体库340时,可以先以待消歧的实体词为查询依据,确定实体库340中与实体词303具有映射关系的实体标识所指示的实体,将该实体作为候选实体。可以理解的是,实体库中的每个实体标识例如还可以添加有该每个实体标识所表示实体的类型的标注信息。该实施例在确定实体库340中与实体词303具有映射关系的实体标识后,可以根据该具有映射关系的实体标识的标注信息,确定该具有映射关系的实体标识所对应实体的类型。随后将具有映射关系的实体标识所对应实体中类型与实体类型304一致的实体,作为候选实体305。随后,在确定了与实体词具有映射关系的实体标识后,可以确定实体库340中与该具有映射关系的实体标识具有映射关系的实体信息,作为该具有映射关系的实体标识所指示实体的实体信息。
根据本公开的实施例,实体库340中的映射关系例如可以是实时更新的,具体可以是根据上游应用中实体的更新而更新的。如此,在对线上查询文本中的实体词进行消歧时,可以结合上游应用所能提供的最新信息来对实体词进行消歧,可以提高消歧效果,并因此提高查询得到的推荐信息的准确度。例如,若查询文本是通过搜索引擎输入的文本,则上游应用可以为百科类应用等,本公开对此不做限定。其中,上游应用中实体的更新例如可以包括以下至少之一:实体的增加、实体的删除、实体信息的修改。
例如,该实施例可以采用流式计算框架来监听上游应用中实体的更新。流式计算框架可以包括Strorm、Spark、Flink等。例如,该流式计算框架可以用于监听消息队列(例如Kafka消息等),该消息队列中的消息为上游应用中的实体发生变更的消息。
该实施例可以基于rpc/http服务,采用主流框架gRPC、flask或springboot等来根据监听到的消息队列中实体发生变更的消息,修改实体库340中的映射信息,例如可以对实体库340中实体标识的映射关系进行增加、删除,或者修改与实体标识具有映射关系的实体信息。
示例性地,实体库340可以为键值(Key-value)数据库。例如,实体库340可以为Redis、Rawbase、LevelDB、RocksDB等数据库中的任意一种,本公开对此不做限定。
图4是根据本公开实施例的确定查询文本中待消歧实体词所指示实体的实体类型的原理示意图。
根据本公开的实施例,可以依据目标文本的文本标题来确定待消歧的实体词所指示实体的实体类型。这是由于文本的标题通常可以较为完整的表达文本,仅依据文本标题来确定实体类型,可以减小计算量。
在一实施例中,可以根据目标文本的文本标题,得到第一文本特征。例如,可以采用文本特征提取网络提取文本标题的文本特征,从而得到第一文本特征。随后,可以采用全连接层对该第一文本特征进行处理,由全连接层输出与多个预定类型对应的多个概率值构成的概率向量。该实施例可以将多个概率值中最大概率值所对应的预定类型作为实体类型。
如图4所示,在一实施例400中,设定目标文本的文本标题为“XY(a国主要城市之一)”,待消歧的实体词为“XY”。该实施例可以先在文本标题中待消歧的实体词所在的位置处添加标识,得到输入文本401“#XY#(a国主要城市之一)”。该实施例400可以对输入文本401进行分字处理,得到字序列402。随后,将字序列402的嵌入特征403输入实体类型预测模型包括的文本特征提取网络410,由文本特征提取网络410输出由特征序列表示的初始文本特征404。其中,特征序列中的特征可以与字序列402中的字一一对应。
随后,该实施例可以根据实体词在目标文本中的位置,从初始文本特征404中提取与实体词对应的文本子特征,得到第一文本特征405,随后根据该第一文本特征405来确定查询文本中实体词所指示实体的实体类型。例如,该实施例可以将初始文本特征404中与实体词对应的特征进行拼接,从而得到第一文本特征405。随后,可以将第一文本特征405输入实体类型预测模型包括的全连接层420,由全连接层420输出概率向量,根据该概率向量可以确定实体类型406。
该实施例在确定实体类型时,通过根据待消歧的实体词在目标文本的文本标题中的位置来从初始文本特征中提取对应的文本子特征,随后仅根据文本子特征来确定实体类型,可以在保证文本子特征能够充分表达待消歧的实体词的语义的基础上,尽可能减小确定实体类型时的计算量。
在一实施例中,在得到第一文本特征405时,例如可以不仅考虑文本标题,还考虑查询文本。以此,可以提高提取得到的第一文本特征405的表达能力,为实体类型的确定提供更为丰富的信息。
例如,该实施例可以先拼接查询文本和目标文本的文本标题,得到第一拼接文本。随后,提取第一拼接文本的文本特征,得到第一文本特征。提取第一拼接文本的文本特征得到第一文本特征的原理与实施例400中根据目标文本的文本标题得到第一文本特征405的原理类似,在此不再赘述。其中,例如查询文本为“XY是那个国家的”,目标文本的文本标题为“XY(a国主要城市之一)”,则拼接得到的第一拼接文本可以为“XY是那个国家的XY(a国主要城市之一)”。为了区分查询文本和文本标题,还可以在查询文本和文本标题之间添加分隔字符,或者在查询文本之前添加表示查询文本的标识,在文本标题与查询文本之间添加表示文本标题的标识,从而得到第一拼接文本。
根据本公开的实施例,通常目标文本包括多个文本,该实施例在确定实体类型时,可以根据多个文本中的每个文本,来确定待消歧的实体词所指示实体的类型信息,则根据多个文本可以得到多个类型信息。最后,该实施例可以根据该多个类型信息,来确定实体类型。其中,类型信息例如可以为与多个预定类型对应的多个概率值构成的概率向量。
例如,该实施例可以先根据每个类型信息确定一个实体类型,可以将概率向量中最大概率值对应的预定类型作为根据该每个类型信息确定的实体类型,总计得到多个实体类型。该实施例可以将多个实体类型中取值最多的类型作为查询文本中实体词所指示实体的实体类型。
在一实施例中,还可以预先为目标文本包括的多个文本分别分配预定权重。随后,根据与多个文本对应的多个预定权重和多个类型信息,来确定查询文本中实体词所指示实体的实体类型。例如,可以根据多个预定权重,对表示多个类型信息的多个概率向量进行加权,得到加权后概率向量。最后,将加权后概率向量中最大概率值所对应的预定类型作为查询文本中实体词所指示实体的实体类型。
其中,例如可以根据目标文本中的每个文本与查询文本之间的相关度,来为该每个文本分配预定权重,分配的预定权重例如可以与相关度正相关。或者,例如可以根据目标文本中的每个文本的访问数据,来为该每个文本分配预定权重。其中,访问数据例如可以包括阅读量、收藏量和/或点赞量等。例如,该预定权重可以与阅读量、收藏量和/或点赞量正相关。或者,例如可以根据每个文本在目标文本包括的多个文本中的排列顺序,来为该每个文本分配预定权重,排列顺序越靠前,则分配的预定权重越高。
该实施例通过为多个文本分配预定权重,并结合该预定权重来确定查询文本中实体词所指示实体的实体类型,可以在确定实体类型时更为关注根据可靠性高的文本确定的类型信息,从而可以提高确定的实体类型的精度,利于提高消歧效果和消歧效率。
根据本公开的实施例,与确定待消歧的实体词所指示实体的实体类型的原理类似,该实施例可以在确定目标实体时,考虑目标文本的文本标题,以此减小计算量。例如,该实施例可以先确定目标文本的文本标题与候选实体的实体信息之间的相似度,随后,确定候选实体中实体信息与目标文本的文本标题之间的相似度最高的实体为目标实体。
以下将结合图5~图6对确定目标文本的文本标题与实体信息之间的相似度的操作进行进一步扩展和限定。
图5是根据本公开一实施例的确定目标文本的文本标题与候选实体的实体信息之间的相似度的原理示意图。
根据本公开的实施例,可以采用目标文本的文本标题与实体信息之间的文本特征的相似度,来表示目标文本的文本标题与实体信息之间的相似度。
例如,该实施例可以先根据目标文本的文本标题,得到第二文本特征。在候选实体包括多个实体时,可以在得到第二文本特征的同时,提取候选实体中每个实体的实体信息的文本特征,得到第三文本特征。随后,根据该第二文本特征和第三文本特征,确定目标文本的文本标题与每个实体的实体信息之间的相似度。例如,可以将第二文本特征与第三文本特征之间的相似度,作为目标文本的文本标题与每个实体的实体信息之间的相似度。则针对候选实体包括的多个实体,可以得到与多个实体一一对应的多个相似度。该实施例可以将多个相似度中最大相似度对应的实体,作为目标实体。
根据本公开的实施例,如图5所示,可以采用双塔模型来确定目标文本的文本标题与候选实体的实体信息之间的相似度。该双塔模型可以包括并列设置的第一文本特征提取网络510和第二文本特征提取网络520、拼接网络530和全连接层540。
该实施例可以通过对目标文本的文本标题501进行分字处理和嵌入表示,得到第一文本特征提取网络510的输入。同理,对每个实体的实体信息502进行分字处理和嵌入表示,得到第二文本特征提取网络520的输入。由第一文本特征提取网络510输出第二文本特征503,由第二文本特征提取网络520输出第三文本特征504。可以理解的是,该第一文本特征提取网络510与第二文本特征提取网络520可以为网络结构相同,但网络参数不同的两个网络,也可以为网络结构类似的任意两个网络。该两个特征提取网络与上文描述的实体类型预测模型中的文本特征提取网络类似,在此不再赘述。
该实施例500可以将第二文本特征503和第三文本特征504作为拼接网络530的输入,由拼接网络530拼接第二文本特征503和第三文本特征504,得到特征505。随后,将特征505输入全连接层540,由全连接层540输出文本标题501与每个实体的实体信息502之间的相似度506。可以理解的是,拼接网络530的功能例如还可以集成于全连接层540中。
其中,在拼接第二文本特征503和第三文本特征504时,可以直接将表示第三文本特征504的特征向量拼接在表示第二文本特征503的特征向量之后。或者,为了区分拼接特征中的第二文本特征503和第三文本特征504,可以先在表示第二文本特征503的特征向量之后添加分割标识特征,随后再在分割标识特征之后拼接表示第三文本特征504的特征向量。其中,分割标识特征可以为任意标识符,本公开对此不做限定。
在一实施例中,如上文描述的得到第一文本特征的原理类似,在得到第二文本特征时,可以先拼接查询文本和目标文本的文本标题,得到第一拼接文本。随后,采用第一文本特征提取网络510提取第一拼接文本的文本特征,得到第二文本特征。以此,可以提高提取得到的第二文本特征的表达能力,为相似度的确定提供更为丰富的信息。
在一实施例中,可以将根据目标文本的文本标题得到的文本特征作为完整文本特征。即,将第一文本特征提取网络510输出的文本特征作为完整文本特征。随后,根据待消歧的实体词在目标文本中的位置,来确定完整文本特征中与实体词对应的子特征,将该子特征作为第二文本特征。可以理解的是,确定完整文本特征中与实体词对应的子特征的原理与上文描述的从第一文本特征中提取与实体词对应的文本子特征的原理类似,在此不再赘述。如此,该实施例可以在用于确定相似度的第二文本特征能够保证充分表达待消歧的实体词的语义的基础上,尽可能减小确定相似度时的计算量。
根据本公开的实施例,在目标文本包括多个文本的情况下,该实施例在确定相似度时,例如可以采用与上文根据为多个文本分配的预定权重来确定实体类型的原理类似的原理,先确定多个文本中每个文本的文本标题与候选实体的实体信息之间的相似度,得到与多个文本对应的多个初始相似度。随后,根据与多个文本对应的多个预定权重和多个初始相似度,来确定目标文本的文本标题与候选实体的实体信息之间的相似度。其中,预定权重的分配与上文描述的分配原理类似,在此不再赘述。该实施例可以根据多个预定权重,对多个初始相似度进行加权,将加权得到的相似度,作为目标文本的文本标题与候选实体的实体信息之间的相似度。在候选实体包括多个实体的情况下,可以针对每个实体均执行本实施例的操作,从而得到目标文本的文本标题与每个实体的实体信息之间的相似度。
图6是根据本公开另一实施例的确定目标文本的文本标题与候选实体的实体信息之间的相似度的原理示意图。
如图6所示,在实施例600中,可以采用单塔模型来确定目标文本的文本标题与每个实体的实体信息之间的相似度。其中,单塔模型可以包括文本特征提取网络610和全连接层620。
该实施例在确定相似度时,可以先拼接目标文本的文本标题601与每个实体的实体信息602,得到第二拼接文本603。随后,采用文本特征提取网络610提取第二拼接文本603的文本特征,得到第四文本特征604。随后,采用全连接层620,根据第四文本特征604来确定目标文本的文本标题601与每个实体的实体信息602之间的相似度605。
其中,在拼接文本标题601和实体信息602时,可以在文本标题601和实体信息602之前分别添加指示单个文本的标识信息。例如,可以在文本标题601之前添加标识信息“text_a”,在实体信息602之前添加标识信息“text_b”。随后,再将添加了标识信息的实体信息602拼接在添加了标识信息的文本标题601之后,从而得到第二拼接文本603。
可以理解的是,文本特征提取网络610与前文描述的各文本特征提取网络610的结构相同或类似。序列标注模型、实体类型预测模型和相似度预测模型中的文本特征提取网络可以具有相同的结构。在端到端的系统中,该三个模型中的文本特征提取网络可以共享网络参数。
在一实施例中,例如可以将预训练网络Bert与全连接层构成的模型作为基础模型,针对序列标注任务、实体类型预测任务和相似度预测任务分别训练基础模型,从而分别得到序列标注模型、实体类型预测模型和相似度预测模型。
在一实施例中,在得到第四文本特征的过程中,例如可以将文本特征提取网络提取得到的第二拼接文本的文本特征作为初始特征,随后根据待消歧的实体词在第二拼接文本中的位置,确定初始特征中与待消歧的实体词对应的子特征,将该提取得到的子特征作为第四文本特征。可以理解的是,提取子特征得到第四文本特征的原理与从提取子特征得到第一文本特征的原理类似,在此不再赘述。如此,可以在保证第四文本特征能够充分表达待消歧的实体词的语义的基础上,尽可能减小确定相似度时的计算量。
基于本公开提供的实体消歧方法,本公开还提供了一种实体消歧装置。以下将结合图7对该装置进行详细描述。
图7是根据本公开实施例的实体消歧装置的结构框图。
如图7所示,该实施例的实体消歧装置700可以包括实体识别模块710、目标文本确定模块720、候选实体确定模块730和目标实体确定模块740。
实体识别模块710用于识别查询文本,得到查询文本中待消歧的实体词。在一实施例中,实体识别模块710可以用于执行上文描述的操作S210,在此不再赘述。
目标文本确定模块720用于确定根据查询文本查询得到的文本中的目标文本。在一实施例中,目标文本确定模块720可以用于执行上文描述的操作S220,在此不再赘述。
候选实体确定模块730用于根据实体词,确定与实体词对应的候选实体及候选实体的实体信息。其中,候选实体包括由相同实体词指示且彼此存在歧义的至少两个实体。在一实施例中,候选实体确定模块730可以用于执行上文描述的操作S230,在此不再赘述。
目标实体确定模块740用于根据目标文本和候选实体的实体信息,确定候选实体中实体词所指示的目标实体。在一实施例中,目标实体确定模块740可以用于执行上文描述的操作S240,在此不再赘述。
根据本公开的实施例,装置700例如还可以包括类型确定模块,用于确定查询文本中实体词所指示实体的实体类型。其中,上述候选实体确定模块730具体可以用于根据实体词和实体类型,确定与实体词对应的候选实体及候选实体的实体信息,其中,候选实体的实体类型与实体词所指示实体的实体类型相同。
根据本公开的实施例,上述类型确定模块具体可以用于根据目标文本和实体词,确定查询文本中实体词所指示实体的实体类型。
根据本公开的实施例,上述类型确定模块可以包括:初始特征确定子模块,用于根据目标文本的文本标题,得到初始文本特征;特征提取子模块,用于根据实体词在文本标题中的位置,从初始文本特征中提取与实体词对应的文本子特征,得到第一文本特征;以及第一类型确定子模块,用于根据第一文本特征,确定查询文本中实体词所指示实体的实体类型。
根据本公开的实施例,初始特征确定子模块包括:第一文本拼接单元,用于拼接查询文本和目标文本的文本标题,得到第一拼接文本;以及第一特征提取单元,用于提取第一拼接文本的文本特征,得到初始文本特征。
根据本公开的实施例,目标文本包括多个文本,上述类型确定模块可以包括:类型信息获得子模块,用于根据多个文本中的每个文本和实体词,确定查询文本中实体词所指示实体的类型信息,得到与多个文本对应的多个类型信息;以及第二类型确定子模块,用于根据与多个文本对应的多个预定权重和多个类型信息,确定查询文本中实体词所指示实体的实体类型,其中,预定权重与以下信息中的至少之一相关:每个文本与查询文本之间的相关度;每个文本的访问数据。
根据本公开的实施例,上述目标实体确定模块740可以包括:相似度确定子模块,用于确定目标文本的文本标题与候选实体的实体信息之间的相似度;以及实体确定子模块,用于确定候选实体中实体信息与目标文本的文本标题之间的相似度最高的实体为目标实体。
根据本公开的实施例,上述相似度确定子模块包括:第二特征提取单元,用于根据目标文本的文本标题,得到第二文本特征;第三特征提取单元,用于提取候选实体中每个实体的实体信息的文本特征,得到第三文本特征;以及第一相似度确定单元,用于根据第二文本特征和第三文本特征,确定目标文本的文本标题与每个实体的实体信息之间的相似度。
根据本公开的实施例,上述第二特征提取单元包括:文本拼接子单元,用于拼接查询文本和目标文本的文本标题,得到第一拼接文本;以及第一特征提取子单元,用于提取第一拼接文本的文本特征,得到第二文本特征。
根据本公开的实施例,上述第二特征提取单元包括:完整特征确定子单元,用于根据目标文本的文本标题,得到完整文本特征;以及第二特征提取子单元,用于根据实体词在目标文本中的位置,提取完整文本特征中与实体词对应的文本子特征,作为第二文本特征。
根据本公开的实施例,上述相似度确定子模块可以包括:第二文本拼接单元,用于拼接目标文本的文本标题和候选实体中每个实体的实体信息,得到第二拼接文本;第四特征提取单元,用于提取第二拼接文本的文本特征,得到第四文本特征;以及第二相似度确定单元,用于根据第四文本特征,确定目标文本的文本标题与每个实体的实体信息之间的相似度。
根据本公开的实施例,上述第四特征提取单元具体用于:根据实体词在第二拼接文本中的位置,确定提取得到的第二拼接文本的文本特征中与实体词对应的子特征,作为第四文本特征。
根据本公开的实施例,目标文本包括多个文本。上述相似度确定子模块可以包括:第一相似度确定单元,用于确定多个文本中的每个文本的文本标题与候选实体的实体信息之间的相似度,得到与多个文本对应的多个初始相似度;以及第二相似度确定单元,用于根据与多个文本对应的多个预定权重和多个初始相似度,确定目标文本的文本标题与候选实体的实体信息之间的相似度,其中,预定权重与以下信息中的至少之一相关:每个文本与查询文本之间的相关度;每个文本的访问数据。
根据本公开的实施例,上述候选实体确定模块730可以包括候选实体确定子模块,用于确定预定实体库中与实体词具有映射关系的实体标识所指示的实体,作为候选实体;以及实体信息确定子模块,用于确定预定实体库中与实体标识具有映射关系的实体信息,作为实体标识所指示实体的实体信息,其中,实体库中的映射关系是通过监听上游应用中实体的更新而更新的;上游应用中实体的更新包括以下至少之一:实体的增加、实体的删除、实体信息的修改。
需要说明的是,本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开实施例的实体消歧方法的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如实体消歧方法。例如,在一些实施例中,实体消歧方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的实体消歧方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行实体消歧方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中,服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务(″Virtual Private Server″,或简称″VPS″)中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (17)
1.一种实体消歧方法,包括:
识别查询文本,得到所述查询文本中待消歧的实体词;
确定根据所述查询文本查询得到的文本中的目标文本;所述目标文本是所述查询文本的扩展文本;
根据所述实体词,确定与所述实体词对应的候选实体及所述候选实体的实体信息;其中,所述候选实体包括由相同实体词指示且彼此存在歧义的至少两个实体;以及
根据所述目标文本和所述候选实体的实体信息,确定所述候选实体中所述实体词所指示的目标实体;
其中,所述方法还包括:
确定所述查询文本中所述实体词所指示实体的实体类型;
其中,所述根据所述实体词,确定与所述实体词对应的候选实体及所述候选实体的实体信息包括:
根据所述实体词和所述实体类型,确定与所述实体词对应的候选实体及所述候选实体的实体信息,
其中,所述候选实体的实体类型与所述实体词所指示实体的实体类型相同。
2.根据权利要求1所述的方法,其中,所述确定所述查询文本中所述实体词所指示实体的实体类型包括:
根据所述目标文本和所述实体词,确定所述查询文本中所述实体词所指示实体的实体类型。
3.根据权利要求2所述的方法,其中,所述根据所述目标文本和所述实体词,确定所述查询文本中所述实体词所指示实体的实体类型包括:
根据所述目标文本的文本标题,得到初始文本特征;
根据所述实体词在所述文本标题中的位置,从所述初始文本特征中提取与所述实体词对应的文本子特征,得到第一文本特征;以及
根据所述第一文本特征,确定所述查询文本中所述实体词所指示实体的实体类型。
4.根据权利要求3所述的方法,其中,所述根据所述目标文本的文本标题,得到初始文本特征包括:
拼接所述查询文本和所述目标文本的文本标题,得到第一拼接文本;以及
提取所述第一拼接文本的文本特征,得到所述初始文本特征。
5.根据权利要求2~4中任一项所述的方法,其中,所述目标文本包括多个文本;所述根据所述目标文本和所述实体词,确定所述查询文本中所述实体词所指示实体的实体类型包括:
根据所述多个文本中的每个文本和所述实体词,确定所述查询文本中所述实体词所指示实体的类型信息,得到与所述多个文本对应的多个类型信息;以及
根据与所述多个文本对应的多个预定权重和所述多个类型信息,确定所述查询文本中所述实体词所指示实体的实体类型,
其中,预定权重与以下信息中的至少之一相关:每个文本与所述查询文本之间的相关度;每个文本的访问数据。
6.根据权利要求1所述的方法,其中,所述根据所述目标文本和所述候选实体的实体信息,确定所述候选实体中所述实体词所指示的目标实体包括:
确定所述目标文本的文本标题与所述候选实体的实体信息之间的相似度;以及
确定所述候选实体中实体信息与所述目标文本的文本标题之间的相似度最高的实体为所述目标实体。
7.根据权利要求6所述的方法,其中,所述确定所述目标文本的文本标题与所述候选实体的实体信息之间的相似度包括:
根据所述目标文本的文本标题,得到第二文本特征;
提取所述候选实体中每个实体的实体信息的文本特征,得到第三文本特征;以及
根据所述第二文本特征和所述第三文本特征,确定所述目标文本的文本标题与所述每个实体的实体信息之间的相似度。
8.根据权利要求7所述的方法,其中,所述根据所述目标文本的文本标题,得到第二文本特征包括:
拼接所述查询文本和目标文本的文本标题,得到第一拼接文本;以及
提取所述第一拼接文本的文本特征,得到所述第二文本特征。
9.根据权利要求7或8所述的方法,其中,所述根据所述目标文本的文本标题,得到第二文本特征包括:
根据所述目标文本的文本标题,得到完整文本特征;以及
根据所述实体词在所述目标文本中的位置,提取所述完整文本特征中与所述实体词对应的文本子特征,作为所述第二文本特征。
10.根据权利要求6所述的方法,其中,所述确定所述目标文本的文本标题与所述候选实体的实体信息之间的相似度包括:
拼接所述目标文本的文本标题和所述候选实体中每个实体的实体信息,得到第二拼接文本;
提取所述第二拼接文本的文本特征,得到第四文本特征;以及
根据所述第四文本特征,确定目标文本的文本标题与所述每个实体的实体信息之间的相似度。
11.根据权利要求10所述的方法,其中,所述提取所述第二拼接文本的文本特征,得到第四文本特征包括:
根据所述实体词在所述第二拼接文本中的位置,确定提取得到的所述第二拼接文本的文本特征中与所述实体词对应的子特征,作为所述第四文本特征。
12.根据权利要求6所述的方法,其中,所述目标文本包括多个文本;所述确定所述目标文本的文本标题与所述候选实体的实体信息之间的相似度包括:
确定所述多个文本中的每个文本的文本标题与所述候选实体的实体信息之间的相似度,得到与所述多个文本对应的多个初始相似度;以及
根据与所述多个文本对应的多个预定权重和所述多个初始相似度,确定所述目标文本的文本标题与所述候选实体的实体信息之间的相似度,
其中,预定权重与以下信息中的至少之一相关:每个文本与所述查询文本之间的相关度;每个文本的访问数据。
13.根据权利要求1所述的方法,其中,所述根据所述实体词,确定与所述实体词对应的候选实体及所述候选实体的实体信息包括:
确定预定实体库中与所述实体词具有映射关系的实体标识所指示的实体,作为所述候选实体;以及
确定所述预定实体库中与所述实体标识具有映射关系的实体信息,作为所述实体标识所指示的实体的实体信息,
其中,所述实体库中的映射关系是通过监听上游应用中实体的更新而更新的;所述上游应用中实体的更新包括以下至少之一:实体的增加、实体的删除、实体信息的修改。
14.一种实体消歧装置,包括:
实体识别模块,用于识别查询文本,得到所述查询文本中待消歧的实体词;
目标文本确定模块,用于确定根据所述查询文本查询得到的文本中的目标文本;所述目标文本是所述查询文本的扩展文本;
候选实体确定模块,用于根据所述实体词,确定与所述实体词对应的候选实体及所述候选实体的实体信息;其中,所述候选实体包括由相同实体词指示且彼此存在歧义的至少两个实体;以及
目标实体确定模块,用于根据所述目标文本和所述候选实体的实体信息,确定所述候选实体中所述实体词所指示的目标实体;
其中,所述装置还包括类型确定模块,用于确定所述查询文本中所述实体词所指示实体的实体类型;
所述候选实体确定模块用于:根据所述实体词和所述实体类型,确定与所述实体词对应的候选实体及所述候选实体的实体信息,
其中,所述候选实体的实体类型与所述实体词所指示实体的实体类型相同。
15.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1~13中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1~13中任一项所述的方法。
17.一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上,所述计算机程序/指令在被处理器执行时实现根据权利要求1~13中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211092241.4A CN115828915B (zh) | 2022-09-07 | 2022-09-07 | 实体消歧方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211092241.4A CN115828915B (zh) | 2022-09-07 | 2022-09-07 | 实体消歧方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115828915A CN115828915A (zh) | 2023-03-21 |
CN115828915B true CN115828915B (zh) | 2023-08-22 |
Family
ID=85523446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211092241.4A Active CN115828915B (zh) | 2022-09-07 | 2022-09-07 | 实体消歧方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115828915B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108280061A (zh) * | 2018-01-17 | 2018-07-13 | 北京百度网讯科技有限公司 | 基于歧义实体词的文本处理方法和装置 |
CN110555208A (zh) * | 2018-06-04 | 2019-12-10 | 北京三快在线科技有限公司 | 一种信息查询中的歧义消除方法、装置及电子设备 |
CN114021570A (zh) * | 2021-11-05 | 2022-02-08 | 平安普惠企业管理有限公司 | 实体消歧方法、装置、设备及存储介质 |
CN114625889A (zh) * | 2022-03-25 | 2022-06-14 | 达而观信息科技(上海)有限公司 | 一种语义消歧方法、装置、电子设备及存储介质 |
-
2022
- 2022-09-07 CN CN202211092241.4A patent/CN115828915B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108280061A (zh) * | 2018-01-17 | 2018-07-13 | 北京百度网讯科技有限公司 | 基于歧义实体词的文本处理方法和装置 |
CN110555208A (zh) * | 2018-06-04 | 2019-12-10 | 北京三快在线科技有限公司 | 一种信息查询中的歧义消除方法、装置及电子设备 |
CN114021570A (zh) * | 2021-11-05 | 2022-02-08 | 平安普惠企业管理有限公司 | 实体消歧方法、装置、设备及存储介质 |
CN114625889A (zh) * | 2022-03-25 | 2022-06-14 | 达而观信息科技(上海)有限公司 | 一种语义消歧方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115828915A (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI729472B (zh) | 特徵詞的確定方法、裝置和伺服器 | |
EP3933657A1 (en) | Conference minutes generation method and apparatus, electronic device, and computer-readable storage medium | |
EP3851975A1 (en) | Method and apparatus for generating text topics, and electronic device | |
CN107992585B (zh) | 通用标签挖掘方法、装置、服务器及介质 | |
US10796224B2 (en) | Image processing engine component generation method, search method, terminal, and system | |
US20220318275A1 (en) | Search method, electronic device and storage medium | |
CN111797216B (zh) | 检索项改写方法、装置、设备以及存储介质 | |
KR20210091076A (ko) | 비디오를 처리하기 위한 방법, 장치, 전자기기, 매체 및 컴퓨터 프로그램 | |
CN114861889B (zh) | 深度学习模型的训练方法、目标对象检测方法和装置 | |
JP2022191412A (ja) | マルチターゲット画像テキストマッチングモデルのトレーニング方法、画像テキスト検索方法と装置 | |
CN113660541B (zh) | 新闻视频的摘要生成方法及装置 | |
CN114116997A (zh) | 知识问答方法、装置、电子设备及存储介质 | |
CN112559717B (zh) | 搜索匹配方法、装置、电子设备以及存储介质 | |
CN115098729A (zh) | 视频处理方法、样本生成方法、模型训练方法及装置 | |
CN112948573B (zh) | 文本标签的提取方法、装置、设备和计算机存储介质 | |
CN112989066A (zh) | 数据处理方法和装置、电子设备、计算机可读介质 | |
CN112926297A (zh) | 处理信息的方法、装置、设备和存储介质 | |
CN116955856A (zh) | 信息展示方法、装置、电子设备以及存储介质 | |
CN116597443A (zh) | 素材标签处理方法、装置、电子设备及介质 | |
CN116049370A (zh) | 信息查询方法和信息生成模型的训练方法、装置 | |
CN116166814A (zh) | 事件检测方法、装置、设备以及存储介质 | |
CN114444514B (zh) | 语义匹配模型训练、语义匹配方法及相关装置 | |
CN114201622B (zh) | 获取事件信息的方法、装置、电子设备和存储介质 | |
CN115828915B (zh) | 实体消歧方法、装置、电子设备和存储介质 | |
CN112784600B (zh) | 信息排序方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |