CN104408191A - 关键词的关联关键词的获取方法和装置 - Google Patents
关键词的关联关键词的获取方法和装置 Download PDFInfo
- Publication number
- CN104408191A CN104408191A CN201410779363.XA CN201410779363A CN104408191A CN 104408191 A CN104408191 A CN 104408191A CN 201410779363 A CN201410779363 A CN 201410779363A CN 104408191 A CN104408191 A CN 104408191A
- Authority
- CN
- China
- Prior art keywords
- keyword
- association
- keywords
- multidimensional numerical
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000002596 correlated effect Effects 0.000 title abstract 7
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000010801 machine learning Methods 0.000 claims abstract description 18
- 238000007621 cluster analysis Methods 0.000 claims description 21
- 230000001143 conditioned effect Effects 0.000 claims description 17
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 abstract 3
- 238000003491 array Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 7
- 238000012163 sequencing technique Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 210000003323 beak Anatomy 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 230000019552 anatomical structure morphogenesis Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种关键词的关联关键词的获取方法和装置。其中，该获取方法包括：接收用于获取关联关键词的获取请求；对文本信息进行分词处理，得到包括多个关键词的词库；通过机器学习方法获取词库中各个关键词对应文本信息的多维数组；基于各个关键词对应的多维数组对多个关键词进行聚类分析，得到多个词语集合；确定包含目标关键词的词语集合；计算目标关键词与第二关键词之间的距离，其中，第二关键词为包含目标关键词的词语集合中除目标关键词之外的关键词；将符合预设条件的距离对应的第二关键词作为关联关键词。通过本发明，解决了现有技术中获取关键词的关联关键词的速度慢的问题，实现了提高获取关联关键词的速度的效果。
Description
技术领域
本发明涉及数据处理领域，具体而言，涉及一种关键词的关联关键词的获取方法和装置。
背景技术
对于人们关注的主题，如果给定一个关键词，需要解决的问题是如何快速有效的找到文本中与给定关键词的关联性最强的关键词，如，给定关键词为“天安门”，由于经常与“天安门”同时出现的词语包括“天安门城楼”、“故宫”或者“天安门广场”等，那么与给定关键词“天安门”相关的关键词就包括“天安门城楼”、“故宫”以及“天安门广场”。为解决上述的问题，现有的解决方案主要有两种：一种是基于给定关键词的文本匹配相似度查找关联关键词；一种是基于给定关键词在语句中的共现概率去计算或查找关联关键词。
具体地，通过文本匹配相似度查找关联关键词，即在文本中查找与给定关键词所包含的文字相似的关键词，如，若给定关键词为“天安门”，那么通过文本匹配相似度的方法查找关联关键词，将认为“地安门”与“天安门”极为相似，即认为“地安门”为给定关键词“天安门”的一个关联关键词，但是实际上，通常与“天安门”同时出现的词语是“天安门城楼”、“故宫”或者“天安门广场”等，而不是“地安门”。
进一步地，通过共现概率计算或查找关联关键词，即将文本的所有语句划分为最小关键词(即切分为最小词组或单字)，计算任意两个最小关键词在每个语句中共同出现的概率，得到这两个最小关键词的共现概率。根据预先设定的概率阈值，共现概率大于概率阈值的两个词语即为关联性词语，共现概率越高的两个词语的关联性越高。
由于现有的解决方案运用遍历法查找关键词，在计算和存储数据时耗费的计算机资源都比较大，导致了对于大量的自然语言的处理速度非常慢。
针对相关技术中获取关键词的关联关键词的速度慢的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种关键词的关联关键词的获取方法和装置，以解决相关技术中获取关键词的关联关键词的速度慢的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种关键词的关联关键词的获取方法。
根据本发明的获取方法包括：接收用于获取关联关键词的获取请求，其中，获取请求中携带有目标关键词和包含目标关键词的文本信息；对文本信息进行分词处理，得到包括多个关键词的词库，其中，关键词包括目标关键词；通过机器学习方法获取词库中各个关键词对应文本信息的多维数组；基于各个关键词对应的多维数组对多个关键词进行聚类分析，得到多个词语集合；确定包含目标关键词的词语集合；计算目标关键词与第二关键词之间的距离，其中，第二关键词为包含目标关键词的词语集合中除目标关键词之外的关键词；将符合预设条件的距离对应的第二关键词作为关联关键词。
进一步地，基于各个关键词对应的多维数组对多个关键词进行聚类分析，得到多个词语集合包括：使用各个多维数组对多个关键词进行聚类，得到多个词语集合，其中，多维数组中的一维数据用于描述关键词的一个属性信息。
进一步地，计算目标关键词与第二关键词之间的距离包括：计算目标关键词的第一多维数组与第二关键词的第二多维数组之间的欧式距离；将符合预设条件的距离对应的第二关键词作为关联关键词包括：对计算得到的欧式距离进行倒序排序，得到距离排序表；将距离排序表中排序前N位的欧式距离的第二关键词作为关联关键词，其中，N为自然数。
进一步地，计算目标关键词与第二关键词之间的距离包括：计算目标关键词的第一多维数组与第二关键词的第二多维数组之间的欧式距离；将符合预设条件的距离对应的第二关键词作为关联关键词包括：将不大于预设阈值的欧式距离的第二关键词作为关联关键词。
进一步地，对文本信息进行分词处理，得到包括多个关键词的词库包括：按照预设词汇组合将文本信息拆分为多个关键词；保存多个关键词得到词库。
为了实现上述目的，根据本发明的另一方面，提供了一种关键词的关联关键词的获取装置。
根据本发明的获取装置包括：第一获取模块，用于接收用于获取关联关键词的获取请求，其中，获取请求中携带有目标关键词和包含目标关键词的文本信息；分词模块，用于对文本信息进行分词处理，得到包括多个关键词的词库，其中，关键词包括目标关键词；第二获取模块，用于通过机器学习方法获取词库中各个关键词对应文本信息的多维数组；聚类模块，用于基于各个关键词对应的多维数组对多个关键词进行聚类分析，得到多个词语集合；第一确定模块，用于确定包含目标关键词的词语集合；计算模块，用于计算目标关键词与第二关键词之间的距离，其中，第二关键词为包含目标关键词的词语集合中除目标关键词之外的关键词；第二确定模块，用于确定将符合预设条件的距离对应的第二关键词作为关联关键词。
进一步地，聚类模块包括：聚类子模块，用于使用各个多维数组对多个关键词进行聚类，得到多个词语集合，其中，多维数组中的一维数据用于描述关键词的一个属性信息。
进一步地，计算模块包括：计算子模块，用于计算目标关键词的第一多维数组与第二关键词的第二多维数组之间的欧式距离；第二确定模块包括：排序模块，用于对计算得到的欧式距离进行倒序排序，得到距离排序表；第一确定子模块，用于确定将距离排序表中排序前N位的欧式距离的第二关键词作为关联关键词，其中，N为自然数。
进一步地，计算模块包括：计算子模块，用于计算目标关键词的第一多维数组与第二关键词的第二多维数组之间的欧式距离；第二确定模块包括：第二确定子模块，用于确定将不大于预设阈值的欧式距离的第二关键词作为关联关键词。
进一步地，分词模块包括：拆分模块，用于按照预设词汇组合将文本信息拆分为多个关键词；保存模块，用于保存多个关键词得到词库。
采用本发明实施例，在接收到获取请求之后，对获取请求中携带的包含目标关键词的文本信息进行分词，得到包含多个关键词的词库，基于机器学习方法训练词库，得到每个关键词对应的多维数组，然后基于各个关键词对应的多维数组对多个关键词进行聚类分析得到多个词语集合，在确定目标关键词的所在的词语集合之后，计算该词语集合中目标关键词和其他关键词之间的距离，并将符合预设条件的距离所对应的第二关键词作为关联关键词。在本发明实施例中，将对文本信息进行分词处理得到的多个关键词进行聚类分析，得到多个词语集合，在获取关键词(即上述实施例中的目标关键词)的关联关键词时，仅需在目标关键词所在的词语集合中查找即可，无需遍历整个文本信息以获取关联关键词，提高了获取关联关键词的速度。通过本发明实施例，解决了现有技术中获取关键词的关联关键词的速度慢的问题，实现了提高获取关联关键词的速度的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的关键词的关联关键词的获取方法的流程图；
图2是根据本发明实施例的一种可选的关键词的关联关键词的获取方法的流程图；以及
图3是根据本发明实施例的关键词的关联关键词的获取装置的示意图。
具体实施方式
首先，在对本发明实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
机器学习是通过从数据里提取规则或模式来把数据转换成信息的一种方法，主要的机器学习方法有归纳学习法和分析学习法。在机器学习过程中，数据首先被预处理，形成特征，然后根据特征创建某种模型；机器学习算法分析收集到的数据，分配权重、阈值和其他参数达到学习目的。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是根据本发明实施例的关键词的关联关键词的获取方法的流程图，如图1所示，该获取方法可以包括如下的步骤：
步骤S102，接收用于获取关联关键词的获取请求。
其中，获取请求中携带有目标关键词和包含目标关键词的文本信息。
步骤S104，对文本信息进行分词处理，得到包括多个关键词的词库。
其中，对文本信息进行分词处理得到的关键词中包括目标关键词。
步骤S106，通过机器学习方法获取词库中各个关键词对应文本信息的多维数组。
在本发明实施例中，多维数组可以为属性数组。
步骤S108，基于各个关键词对应的多维数组对多个关键词进行聚类分析，得到多个词语集合。
步骤S110，确定包含目标关键词的词语集合。
步骤S112，计算目标关键词与第二关键词之间的距离。
其中，第二关键词为包含目标关键词的词语集合中除目标关键词之外的关键词。
步骤S114，将符合预设条件的距离对应的第二关键词作为关联关键词。
采用本发明实施例，在接收到获取请求之后，对获取请求中携带的包含目标关键词的文本信息进行分词，得到包含多个关键词的词库，基于机器学习方法训练词库，得到每个关键词对应的多维数组，然后基于各个关键词对应的多维数组对多个关键词进行聚类分析得到多个词语集合，在确定目标关键词的所在的词语集合之后，计算该词语集合中目标关键词和其他关键词之间的距离，并将符合预设条件的距离所对应的第二关键词作为关联关键词。在本发明实施例中，将对文本信息进行分词处理得到的多个关键词进行聚类分析，得到多个词语集合，在获取关键词(即上述实施例中的目标关键词)的关联关键词时，仅需在目标关键词所在的词语集合中查找即可，无需遍历整个文本信息以获取关联关键词，提高了获取关联关键词的速度。通过本发明实施例，解决了现有技术中获取关键词的关联关键词的速度慢的问题，实现了提高获取关联关键词的速度的效果。
在上述实施例中，文本信息可以为从互联网中获取的文本(如，一条新闻或者一篇文博评论)，也可以是通过扫描或输入纸质文件的内容得到的电子文本，还可以是用户通过终端输入的电子文本等。可选地，文本信息可以段落的形式存在于文本信息中，如，一条新闻或一个评论为一个段落。
根据本发明上述的实施例，基于各个关键词对应的多维数组对多个关键词进行聚类分析，得到多个词语集合可以包括：使用各个多维数组对多个关键词进行聚类，得到多个词语集合，其中，多维数组中的一维数据用于描述关键词的一个属性信息。例如，多维数组的一维数据对应的属性信息可以用于描述目标关键词与文本信息的位置关系。
具体地，在获取到各个关键词的多维数组之后，使用各个多维数组对多个关键词进行聚类分析，得到包含一个或多个关键词的多个词语集合。
进一步地，获取各个关键词对应文本信息的多维数组可以通过机器学习的方法来实现。可选地，该实施例中的多维数组可以为500维的数组，在该实施例中采用500维的数组可以保证终端运行效率和运行结果准确性。
在本发明的上述实施例，可以使用kmeans聚类方法对多个关键词进行聚类Kmeans聚类是常用的数组聚类方法。
通过本发明上述的实施例，使用多维数组对文本信息中的关键词进行聚类分析，得到多个词语集合，在获取关联关键词时，只需计算目标关键词所在的词语集合中的第二关键词与该目标关键词的距离，无需逐一遍历文本信息中的所有词语，节省了存储关键词和文本信息所需的空间，在文本信息的数据量较大时，能够快速准确地获取目标关键词的关联关键词。
在本发明的上述实施例中，计算目标关键词与第二关键词之间的距离可以包括：计算目标关键词的第一多维数组与第二关键词的第二多维数组之间的欧式距离。
具体地，可以按照下述公式计算欧式距离d：d＝||X-Y||2，其中，X为目标关键词的第一多维数组，Y为第二关键词的第二多维数组。
在本发明一个可选的实施例中，将符合预设条件的距离对应的第二关键词作为关联关键词可以包括：对计算得到的欧式距离进行倒序排序，得到距离排序表；将距离排序表中排序前N位的欧式距离的第二关键词作为关联关键词，其中，N为自然数。
在本发明的另一个可选的实施例中，将符合预设条件的距离对应的第二关键词作为关联关键词可以包括：将不大于预设阈值的欧式距离的第二关键词作为关联关键词。
具体地，在计算目标关键词的第一多维数组与第二关键词的第二多维数组之间的欧式距离之后，可以将计算得到的欧式距离进行倒序排序得到距离排序表，并将距离排序表中排序前N位的欧式距离的第二关键词作为关联关键词；还可以将不大于预设阈值的欧式距离的第二关键词作为关联关键词。
其中，N和预设阈值可以根据获取请求而确定。
通过本发明上述实施例，使用数组标识关键词，在获取目标关键词的关联关键词时，通过多维数组之间的距离来客观地表示文本信息中关键词的相似度，增加了获取到的关联关键词的精确度。在上述实施例中，通过简单的数据处理即可获取关联关键词，提升了获取关键词的关联关键词的速度。
需要进一步说明的是，对文本信息进行分词处理，得到包括多个关键词的词库可以包括：按照预设词汇组合将文本信息拆分为多个关键词；保存多个关键词得到词库。
具体地，可以从词语数据库中获取预设词汇组合，并将文本信息中的关键词与词语数据库中的预设词汇组合进行匹配，若文本信息中的关键词与预设词汇组合相同，则将该关键词从文本信息中划分出来，得到多个关键词，保存得到的多个关键词得到词库。
可选地，可以使用分词工具对文本信息进行分词处理。
例如，若文本信息为“今天天气很好”，在使用分词工具对该文本信息进行分词处理之后，得到的关键词可以为“今天”、“天气”、“很”以及“好”。
本发明上述实施例中的获取方法可以通过如图2所示的方法实现。如图2所示，该方法可以包括：
步骤S202，从互联网上获取文本训练样本。
其中，文本训练样本即为本发明上述实施例中的包含目标关键词的文本信息。
步骤S204，对文本训练样本进行分词处理，得到多个关键词。
步骤S206，通过机器学习得到每个关键词对应的多维数组。
步骤S208，基于每个关键词的唯一数组对关键词进行聚类，得到多个类。
其中，每个类中包括多个关键词；在该实施例中的类即为本发明上述实施例中的词语集合。
步骤S210，获取一个或多个关键词，查找关键词所在的类。
步骤S212，计算关键词的多维数组与类中其他关键词的多维数组之间的欧式距离。
步骤S214，将得到的欧式距离进行倒序排序，得到该关键词的关联关键词排序表。
其中，关联关键词排序表中包括该关键词的多个关联关键词及对应的欧式距离。
在本发明的上述实施例中，在得到该关键词的关联关键词排序表之后，从关联关键词排序表中读取前N位的关键词，作为该关键词的关联关键词。其中，N为预先设定的自然数。
在该实施例中，关联关键词排序表即为上述实施例中的距离排序表。
通过本发明上述实施例，使用数组标识关键词，在计算关键词与其他关键词的关联性时，无需逐一匹配文本训练样本中的所有词语，只需进行简单的数学计算即可获得关键词的关联关键词排序表，并可从表中读取符合预设条件的关联关键词，加快了计算关联关键词的速度；并且由于使用数组客观标识关键词，使得计算得到的结果更加客观准确，避免了现有技术中获取到的关联关键词不准确的问题。
采用本发明上述实施例，在获取关键词“天安门”的关联关键词时，不会认为“地安门”是该关键词的关联关键词，而会获得如“天安门广场”、“故宫”和“城楼”等关键词，而采用现有技术，将会认为“地安门”为“天安门”的关联关键词。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图3是根据本发明的关键词的关联关键词的获取装置的示意图，如图3所示，该获取装置可以包括：第一获取模块10，用于接收用于获取关联关键词的获取请求，其中，获取请求中携带有目标关键词和包含目标关键词的文本信息；分词模块30，用于对文本信息进行分词处理，得到包括多个关键词的词库，其中，关键词包括目标关键词；第二获取模块50，用于通过机器学习方法获取词库中各个关键词对应文本信息的多维数组；聚类模块70，用于基于各个关键词对应的多维数组对多个关键词进行聚类分析，得到多个词语集合；第一确定模块90，用于确定包含目标关键词的词语集合；计算模块110，用于计算目标关键词与第二关键词之间的距离，其中，第二关键词为包含目标关键词的词语集合中除目标关键词之外的关键词；第二确定模块130，用于确定将符合预设条件的距离对应的第二关键词作为关联关键词。
采用本发明实施例，在接收到获取请求之后，对获取请求中携带的包含目标关键词的文本信息进行分词，得到包含多个关键词的词库，基于机器学习方法训练词库，得到每个关键词对应的多维数组，然后基于各个关键词对应的多维数组对多个关键词进行聚类分析得到多个词语集合，在确定目标关键词的所在的词语集合之后，计算该词语集合中目标关键词和其他关键词之间的距离，并将符合预设条件的距离所对应的第二关键词作为关联关键词。在本发明实施例中，将对文本信息进行分词处理得到的多个关键词进行聚类分析，得到多个词语集合，在获取关键词(即上述实施例中的目标关键词)的关联关键词时，仅需在目标关键词所在的词语集合中查找即可，无需遍历整个文本信息以获取关联关键词，提高了获取关联关键词的速度。通过本发明实施例，解决了现有技术中获取关键词的关联关键词的速度慢的问题，实现了提高获取关联关键词的速度的效果。
在上述实施例中，文本信息可以为从互联网中获取的文本(如，一条新闻或者一篇文博评论)，也可以是通过扫描或输入纸质文件的内容得到的电子文本，还可以是用户通过终端输入的电子文本等。可选地，文本信息可以段落的形式存在于文本信息中，如，一条新闻或一个评论为一个段落。
根据本发明上述的实施例，聚类模块可以包括：聚类子模块，用于使用各个多维数组对多个关键词进行聚类，得到多个词语集合，其中，多维数组中的一维数据用于描述关键词的一个属性信息。例如，多维数组的一维数据对应的属性信息可以用于描述目标关键词与文本信息的位置关系。
具体地，在获取到各个关键词的多维数组之后，使用各个多维数组对多个关键词进行聚类分析，得到包含一个或多个关键词的多个词语集合。
进一步地，获取各个关键词对应文本信息的多维数组可以通过机器学习的方法来实现。可选地，该实施例中的多维数组可以为500维的数组，在该实施例中采用500维的数组可以保证终端运行效率和运行结果准确性。
在本发明的上述实施例，可以使用kmeans聚类方法对多个关键词进行聚类Kmeans聚类是常用的数组聚类方法。
通过本发明上述的实施例，使用多维数组对文本信息中的关键词进行聚类分析，得到多个词语集合，在获取关联关键词时，只需计算目标关键词所在的词语集合中的第二关键词与该目标关键词的距离，无需逐一遍历文本信息中的所有词语，节省了存储关键词和文本信息所需的空间，在文本信息的数据量较大时，能够快速准确地获取目标关键词的关联关键词。
在本发明的上述实施例中，计算模块可以包括：计算子模块，用于计算目标关键词的第一多维数组与第二关键词的第二多维数组之间的欧式距离。
具体地，可以按照下述公式计算欧式距离d：d＝||X-Y||2，其中，X为目标关键词的第一多维数组，Y为第二关键词的第二多维数组。
在本发明一个可选的实施例中，第二确定模块可以包括：排序模块，用于对计算得到的欧式距离进行倒序排序，得到距离排序表；第一确定子模块，用于确定将距离排序表中排序前N位的欧式距离的第二关键词作为关联关键词，其中，N为自然数。
在本发明的另一个可选的实施例中，第二确定模块可以包括：第二确定子模块，用于确定将不大于预设阈值的欧式距离的第二关键词作为关联关键词。
具体地，在计算目标关键词的第一多维数组与第二关键词的第二多维数组之间的欧式距离之后，可以将计算得到的欧式距离进行倒序排序得到距离排序表，并将距离排序表中排序前N位的欧式距离的第二关键词作为关联关键词；还可以将不大于预设阈值的欧式距离的第二关键词作为关联关键词。
其中，N和预设阈值可以根据获取请求而确定。
通过本发明上述实施例，使用数组标识关键词，在获取目标关键词的关联关键词时，通过多维数组之间的距离来客观地表示文本信息中关键词的相似度，增加了获取到的关联关键词的精确度。在上述实施例中，通过简单的数据处理即可获取关联关键词，提升了获取关键词的关联关键词的速度。
需要进一步说明的是，分词模块可以包括：拆分模块，用于按照预设词汇组合将文本信息拆分为多个关键词；保存模块，用于保存多个关键词得到词库。
具体地，可以从词语数据库中获取预设词汇组合，并将文本信息中的关键词与词语数据库中的预设词汇组合进行匹配，若文本信息中的关键词与预设词汇组合相同，则将该关键词从文本信息中划分出来，得到多个关键词，保存得到的多个关键词得到词库。
可选地，可以使用分词工具对文本信息进行分词处理。
本实施例中所提供的各个模块与方法实施例对应步骤所提供的使用方法相同、应用场景也可以相同。当然，需要注意的是，上述模块涉及的方案可以不限于上述实施例中的内容和场景，且上述模块可以运行在计算机终端或移动终端，可以通过软件或硬件实现。
从以上的描述中，可以看出，本发明实现了如下技术效果：
采用本发明实施例，在接收到获取请求之后，对获取请求中携带的包含目标关键词的文本信息进行分词，得到包含多个关键词的词库，基于机器学习方法训练词库，得到每个关键词对应的多维数组，然后基于各个关键词对应的多维数组对多个关键词进行聚类分析得到多个词语集合，在确定目标关键词的所在的词语集合之后，计算该词语集合中目标关键词和其他关键词之间的距离，并将符合预设条件的距离所对应的第二关键词作为关联关键词。在本发明实施例中，将对文本信息进行分词处理得到的多个关键词进行聚类分析，得到多个词语集合，在获取关键词(即上述实施例中的目标关键词)的关联关键词时，仅需在目标关键词所在的词语集合中查找即可，无需遍历整个文本信息以获取关联关键词，提高了获取关联关键词的速度。通过本发明实施例，解决了现有技术中获取关键词的关联关键词的速度慢的问题，实现了提高获取关联关键词的速度的效果。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种关键词的关联关键词的获取方法，其特征在于，包括：
接收用于获取关联关键词的获取请求，其中，所述获取请求中携带有目标关键词和包含所述目标关键词的文本信息；
对所述文本信息进行分词处理，得到包括多个关键词的词库，其中，所述关键词包括所述目标关键词；
通过机器学习方法获取所述词库中各个所述关键词对应所述文本信息的多维数组；
基于各个所述关键词对应的所述多维数组对所述多个关键词进行聚类分析，得到多个词语集合；
确定包含所述目标关键词的所述词语集合；
计算所述目标关键词与第二关键词之间的距离，其中，所述第二关键词为包含所述目标关键词的所述词语集合中除所述目标关键词之外的关键词；
将符合预设条件的所述距离对应的所述第二关键词作为所述关联关键词。
2.根据权利要求1所述的获取方法，其特征在于，基于各个所述关键词对应的所述多维数组对所述多个关键词进行聚类分析，得到多个词语集合包括：
使用各个所述多维数组对多个所述关键词进行聚类，得到多个所述词语集合，其中，所述多维数组中的一维数据用于描述所述关键词的一个属性信息。
3.根据权利要求2所述的获取方法，其特征在于，
计算所述目标关键词与第二关键词之间的距离包括：计算所述目标关键词的第一多维数组与所述第二关键词的第二多维数组之间的欧式距离；
将符合预设条件的所述距离对应的所述第二关键词作为所述关联关键词包括：
对计算得到的所述欧式距离进行倒序排序，得到距离排序表；
将所述距离排序表中排序前N位的所述欧式距离的所述第二关键词作为所述关联关键词，其中，N为自然数。
4.根据权利要求2所述的获取方法，其特征在于，
计算所述目标关键词与第二关键词之间的距离包括：计算所述目标关键词的第一多维数组与所述第二关键词的第二多维数组之间的欧式距离；
将符合预设条件的所述距离对应的所述第二关键词作为所述关联关键词包括：
将不大于预设阈值的所述欧式距离的所述第二关键词作为所述关联关键词。
5.根据权利要求1至4中任意一项所述的获取方法，其特征在于，对所述文本信息进行分词处理，得到包括多个关键词的词库包括：
按照预设词汇组合将所述文本信息拆分为所述多个关键词；
保存所述多个关键词得到所述词库。
6.一种关键词的关联关键词的获取装置，其特征在于，包括：
第一获取模块，用于接收用于获取关联关键词的获取请求，其中，所述获取请求中携带有目标关键词和包含所述目标关键词的文本信息；
分词模块，用于对所述文本信息进行分词处理，得到包括多个关键词的词库，其中，所述关键词包括所述目标关键词；
第二获取模块，用于通过机器学习方法获取所述词库中各个所述关键词对应所述文本信息的多维数组；
聚类模块，用于基于各个所述关键词对应的所述多维数组对所述多个关键词进行聚类分析，得到多个词语集合；
第一确定模块，用于确定包含所述目标关键词的所述词语集合；
计算模块，用于计算所述目标关键词与第二关键词之间的距离，其中，所述第二关键词为包含所述目标关键词的所述词语集合中除所述目标关键词之外的关键词；
第二确定模块，用于确定将符合预设条件的所述距离对应的所述第二关键词作为所述关联关键词。
7.根据权利要求6所述的获取装置，其特征在于，所述聚类模块包括：
聚类子模块，用于使用各个所述多维数组对多个所述关键词进行聚类，得到多个所述词语集合，其中，所述多维数组中的一维数据用于描述所述关键词的一个属性信息。
8.根据权利要求7所述的获取装置，其特征在于，
所述计算模块包括：计算子模块，用于计算所述目标关键词的第一多维数组与所述第二关键词的第二多维数组之间的欧式距离；
所述第二确定模块包括：
排序模块，用于对计算得到的所述欧式距离进行倒序排序，得到距离排序表；
第一确定子模块，用于确定将所述距离排序表中排序前N位的所述欧式距离的所述第二关键词作为所述关联关键词，其中，N为自然数。
9.根据权利要求7所述的获取装置，其特征在于，
所述计算模块包括：计算子模块，用于计算所述目标关键词的第一多维数组与所述第二关键词的第二多维数组之间的欧式距离；
所述第二确定模块包括：
第二确定子模块，用于确定将不大于预设阈值的所述欧式距离的所述第二关键词作为所述关联关键词。
10.根据权利要求6至9中任意一项所述的获取装置，其特征在于，所述分词模块包括：
拆分模块，用于按照预设词汇组合将所述文本信息拆分为所述多个关键词；
保存模块，用于保存所述多个关键词得到所述词库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410779363.XA CN104408191B (zh) | 2014-12-15 | 2014-12-15 | 关键词的关联关键词的获取方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410779363.XA CN104408191B (zh) | 2014-12-15 | 2014-12-15 | 关键词的关联关键词的获取方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104408191A true CN104408191A (zh) | 2015-03-11 |
| CN104408191B CN104408191B (zh) | 2017-11-21 |
Family
ID=52645822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410779363.XA Active CN104408191B (zh) | 2014-12-15 | 2014-12-15 | 关键词的关联关键词的获取方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104408191B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105184616A (zh) * | 2015-09-29 | 2015-12-23 | 北京奇艺世纪科技有限公司 | 一种业务对象定向投放的方法和装置 |
| CN105260419A (zh) * | 2015-09-25 | 2016-01-20 | 广州亿码科技有限公司 | 一种相关关键词推荐方法及装置 |
| CN106649334A (zh) * | 2015-10-29 | 2017-05-10 | 北京国双科技有限公司 | 关联词语集合的处理方法及装置 |
| CN106933912A (zh) * | 2015-12-31 | 2017-07-07 | 北京国双科技有限公司 | 关键词的获取方法和装置 |
| CN107665222A (zh) * | 2016-07-29 | 2018-02-06 | 北京国双科技有限公司 | 关键词的拓展方法和装置 |
| CN107748745A (zh) * | 2017-11-08 | 2018-03-02 | 厦门美亚商鼎信息科技有限公司 | 一种企业名称关键字提取方法 |
| CN107784478A (zh) * | 2016-08-31 | 2018-03-09 | 北京国双科技有限公司 | 行政机构信息的处理方法和装置 |
| CN107909388A (zh) * | 2017-10-30 | 2018-04-13 | 北京奇艺世纪科技有限公司 | 一种基于广告主买词行为的关键词关联扩展方法和装置 |
| CN108256044A (zh) * | 2018-01-12 | 2018-07-06 | 武汉斗鱼网络科技有限公司 | 直播间推荐方法、装置及电子设备 |
| CN108304484A (zh) * | 2017-12-29 | 2018-07-20 | 北京城市网邻信息技术有限公司 | 关键词匹配方法及装置、电子设备和可读存储介质 |
| CN108647309A (zh) * | 2018-05-09 | 2018-10-12 | 达而观信息科技（上海）有限公司 | 基于敏感词的聊天内容审核方法及系统 |
| CN109635286A (zh) * | 2018-11-26 | 2019-04-16 | 平安科技（深圳）有限公司 | 政策热点分析的方法、装置、计算机设备和存储介质 |
| CN110704578A (zh) * | 2019-10-09 | 2020-01-17 | 精硕科技（北京）股份有限公司 | 关联关系确定方法、装置、电子设备及可读存储介质 |
| CN112596646A (zh) * | 2020-12-21 | 2021-04-02 | 维沃移动通信有限公司 | 信息显示方法、装置及电子设备 |
| CN113779259A (zh) * | 2021-11-15 | 2021-12-10 | 太平金融科技服务（上海）有限公司 | 文本分类方法、装置、计算机设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063469A (zh) * | 2010-12-03 | 2011-05-18 | 百度在线网络技术（北京）有限公司 | 一种用于获取相关关键词信息的方法、装置和计算机设备 |
| CN103514191A (zh) * | 2012-06-20 | 2014-01-15 | 百度在线网络技术（北京）有限公司 | 用于确定目标推广信息的关键词匹配模式的方法和设备 |
| CN103577490A (zh) * | 2012-08-08 | 2014-02-12 | 百度在线网络技术（北京）有限公司 | 一种网页浏览历史展现方法及装置 |
| CN103679218A (zh) * | 2013-11-19 | 2014-03-26 | 华东师范大学 | 一种手写体关键词检测方法 |
| US8782082B1 (en) * | 2011-11-07 | 2014-07-15 | Trend Micro Incorporated | Methods and apparatus for multiple-keyword matching |
| US8843494B1 (en) * | 2012-03-28 | 2014-09-23 | Emc Corporation | Method and system for using keywords to merge document clusters |
-
2014
- 2014-12-15 CN CN201410779363.XA patent/CN104408191B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102063469A (zh) * | 2010-12-03 | 2011-05-18 | 百度在线网络技术（北京）有限公司 | 一种用于获取相关关键词信息的方法、装置和计算机设备 |
| US8782082B1 (en) * | 2011-11-07 | 2014-07-15 | Trend Micro Incorporated | Methods and apparatus for multiple-keyword matching |
| US8843494B1 (en) * | 2012-03-28 | 2014-09-23 | Emc Corporation | Method and system for using keywords to merge document clusters |
| CN103514191A (zh) * | 2012-06-20 | 2014-01-15 | 百度在线网络技术（北京）有限公司 | 用于确定目标推广信息的关键词匹配模式的方法和设备 |
| CN103577490A (zh) * | 2012-08-08 | 2014-02-12 | 百度在线网络技术（北京）有限公司 | 一种网页浏览历史展现方法及装置 |
| CN103679218A (zh) * | 2013-11-19 | 2014-03-26 | 华东师范大学 | 一种手写体关键词检测方法 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105260419A (zh) * | 2015-09-25 | 2016-01-20 | 广州亿码科技有限公司 | 一种相关关键词推荐方法及装置 |
| CN105184616B (zh) * | 2015-09-29 | 2020-06-19 | 北京奇艺世纪科技有限公司 | 一种业务对象定向投放的方法和装置 |
| CN105184616A (zh) * | 2015-09-29 | 2015-12-23 | 北京奇艺世纪科技有限公司 | 一种业务对象定向投放的方法和装置 |
| CN106649334A (zh) * | 2015-10-29 | 2017-05-10 | 北京国双科技有限公司 | 关联词语集合的处理方法及装置 |
| CN106933912A (zh) * | 2015-12-31 | 2017-07-07 | 北京国双科技有限公司 | 关键词的获取方法和装置 |
| CN106933912B (zh) * | 2015-12-31 | 2020-07-03 | 北京国双科技有限公司 | 关键词的获取方法和装置 |
| CN107665222A (zh) * | 2016-07-29 | 2018-02-06 | 北京国双科技有限公司 | 关键词的拓展方法和装置 |
| CN107665222B (zh) * | 2016-07-29 | 2020-11-06 | 北京国双科技有限公司 | 关键词的拓展方法和装置 |
| CN107784478A (zh) * | 2016-08-31 | 2018-03-09 | 北京国双科技有限公司 | 行政机构信息的处理方法和装置 |
| CN107784478B (zh) * | 2016-08-31 | 2020-09-15 | 北京国双科技有限公司 | 行政机构信息的处理方法和装置 |
| CN107909388A (zh) * | 2017-10-30 | 2018-04-13 | 北京奇艺世纪科技有限公司 | 一种基于广告主买词行为的关键词关联扩展方法和装置 |
| CN107748745B (zh) * | 2017-11-08 | 2021-08-03 | 厦门美亚商鼎信息科技有限公司 | 一种企业名称关键字提取方法 |
| CN107748745A (zh) * | 2017-11-08 | 2018-03-02 | 厦门美亚商鼎信息科技有限公司 | 一种企业名称关键字提取方法 |
| CN108304484A (zh) * | 2017-12-29 | 2018-07-20 | 北京城市网邻信息技术有限公司 | 关键词匹配方法及装置、电子设备和可读存储介质 |
| CN108256044A (zh) * | 2018-01-12 | 2018-07-06 | 武汉斗鱼网络科技有限公司 | 直播间推荐方法、装置及电子设备 |
| CN108647309A (zh) * | 2018-05-09 | 2018-10-12 | 达而观信息科技（上海）有限公司 | 基于敏感词的聊天内容审核方法及系统 |
| CN108647309B (zh) * | 2018-05-09 | 2021-08-10 | 达而观信息科技（上海）有限公司 | 基于敏感词的聊天内容审核方法及系统 |
| CN109635286A (zh) * | 2018-11-26 | 2019-04-16 | 平安科技（深圳）有限公司 | 政策热点分析的方法、装置、计算机设备和存储介质 |
| CN109635286B (zh) * | 2018-11-26 | 2022-04-12 | 平安科技（深圳）有限公司 | 政策热点分析的方法、装置、计算机设备和存储介质 |
| CN110704578A (zh) * | 2019-10-09 | 2020-01-17 | 精硕科技（北京）股份有限公司 | 关联关系确定方法、装置、电子设备及可读存储介质 |
| CN110704578B (zh) * | 2019-10-09 | 2022-08-09 | 北京秒针人工智能科技有限公司 | 关联关系确定方法、装置、电子设备及可读存储介质 |
| CN112596646A (zh) * | 2020-12-21 | 2021-04-02 | 维沃移动通信有限公司 | 信息显示方法、装置及电子设备 |
| CN112596646B (zh) * | 2020-12-21 | 2022-05-20 | 维沃移动通信有限公司 | 信息显示方法、装置及电子设备 |
| CN113779259A (zh) * | 2021-11-15 | 2021-12-10 | 太平金融科技服务（上海）有限公司 | 文本分类方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104408191B (zh) | 2017-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104408191A (zh) | 关键词的关联关键词的获取方法和装置 | |
| US10503828B2 (en) | System and method for answering natural language question | |
| CN107168954B (zh) | 文本关键词生成方法及装置和电子设备及可读存储介质 | |
| WO2015149533A1 (zh) | 一种基于网页内容分类进行分词处理的方法和装置 | |
| CN108763321B (zh) | 一种基于大规模相关实体网络的相关实体推荐方法 | |
| CN106776574B (zh) | 用户评论文本挖掘方法及装置 | |
| CN110543595B (zh) | 一种站内搜索系统及方法 | |
| CN106033416A (zh) | 一种字符串处理方法及装置 | |
| US10565253B2 (en) | Model generation method, word weighting method, device, apparatus, and computer storage medium | |
| CN111159363A (zh) | 一种基于知识库的问题答案确定方法及装置 | |
| CN110362678A (zh) | 一种自动提取中文文本关键词的方法与装置 | |
| CN107330057B (zh) | 一种ElasticSearch搜索相关度算法优化方法及系统 | |
| CN112633000B (zh) | 一种文本中实体的关联方法、装置、电子设备及存储介质 | |
| CN110134777B (zh) | 问题去重方法、装置、电子设备和计算机可读存储介质 | |
| CN111324801B (zh) | 基于热点词的司法领域热点事件发现方法 | |
| CN104951435A (zh) | 聊天过程中智能显示关键词的方法及装置 | |
| CN106844482B (zh) | 一种基于搜索引擎的检索信息匹配方法及装置 | |
| CN108959329A (zh) | 一种文本分类方法、装置、介质及设备 | |
| CN118035416A (zh) | 一种流式问答配图方法及系统 | |
| CN110532569B (zh) | 一种基于中文分词的数据碰撞方法及系统 | |
| CN110705285B (zh) | 一种政务文本主题词库构建方法、装置、服务器及可读存储介质 | |
| CN104462439A (zh) | 事件的识别方法和装置 | |
| CN104462065B (zh) | 事件情感类型的分析方法和装置 | |
| CN106407332B (zh) | 基于人工智能的搜索方法和装置 | |
| CN113761104A (zh) | 知识图谱中实体关系的检测方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method and device for obtaining correlated keywords of keywords Effective date of registration: 20190531 Granted publication date: 20171121 Pledgee: Shenzhen Black Horse World Investment Consulting Co.,Ltd. Pledgor: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Registration number: 2019990000503 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| CP02 | Change in the address of a patent holder |
Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Patentee after: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A Patentee before: BEIJING GRIDSUM TECHNOLOGY Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20240604 Granted publication date: 20171121 |
|
| PP01 | Preservation of patent right |