Nothing Special   »   [go: up one dir, main page]

CN112579841B - 一种多模态数据库建立方法、检索方法及系统 - Google Patents

一种多模态数据库建立方法、检索方法及系统 Download PDF

Info

Publication number
CN112579841B
CN112579841B CN202011542924.6A CN202011542924A CN112579841B CN 112579841 B CN112579841 B CN 112579841B CN 202011542924 A CN202011542924 A CN 202011542924A CN 112579841 B CN112579841 B CN 112579841B
Authority
CN
China
Prior art keywords
data
mode
mode data
database
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011542924.6A
Other languages
English (en)
Other versions
CN112579841A (zh
Inventor
贾红
李植民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011542924.6A priority Critical patent/CN112579841B/zh
Publication of CN112579841A publication Critical patent/CN112579841A/zh
Application granted granted Critical
Publication of CN112579841B publication Critical patent/CN112579841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种多模态数据库建立方法、检索方法及系统，该建立方法通过获取混合模态数据；从混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集；根据预设标签类别数目范围，对混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及混合模态数据对应的总标签；分别计算不同预设标签类别数目下总标签对应的预设聚类评价指标的评分值以确定目标标签类别数目，并根据目标标签类别数目下各模态数据对应的子标签及混合模态数据对应的总标签建立多模态数据库。实现了建立的数据库中既有基于全局的总标签，也有基于局部的每个模态下的子标签，提高了对数据进行细节检索的准确性，具有良好的通用性。

Description

一种多模态数据库建立方法、检索方法及系统
技术领域
本发明涉及计算机技术领域，具体涉及一种多模态数据库建立方法、检索方法及系统。
背景技术
多模态数据是指在多种不同设备或场景下采集到的数据。现实世界中的数据集往往是多模态的，例如：一个的故事可以由文本叙述也能用图像或者音频来描述；一个文档可以由多种不同的语言表示也能用用户评价来表示等等。多模态数据库的建立旨在通过分析和处理多模态数据得到其重要特征和代表性检索标签，并以此为基础建立便于后续数据检索的数据库。
由于多模态数据库能充分利用多模态之间的互补性，剔除模态间的冗余性，与传统单模态数据库相比更能全面的体现数据的真实性，使得建立多模态数据库的需求非常迫切。但是，现有的多模态数据库在数据层上一般都属于相同数据类型，例如：全部数据均为图像数据或者均为音频数据等，并且在多模态数据建立标签时，将每个模态下的子标签的类别数目设置为与总标签的类别数目一致。但是，这种设置方式忽略了不同模态数据自身的数据特征信息，影响了对多模态数据库中的数据进行细节检索的准确性。
发明内容
有鉴于此，本发明实施例提供了一种多模态数据库建立方法、检索方法及系统，以克服现有技术中多模态数据库的建立方法忽略了不同模态数据自身的数据特征信息，造成多模态数据库细节检索准确性低的问题。
本发明实施例提供了一种多模态数据库建立方法，包括：
获取混合模态数据，所述混合模态数据包括不同数据类型的多模态数据；
从所述混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集；
根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签；
分别计算不同预设标签类别数目下总标签对应的预设聚类评价指标的评分值；
基于所述评分值确定目标标签类别数目，并根据所述目标标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签建立多模态数据库。
可选地，所述从所述混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集，包括：
基于数据类型，对所述混合模态数据进行分类，得到各单模态数据；
获取各单模态数据的预设特征提取参数，并根据所述预设特征提取参数对各单模态数据进行特征提取，得到各单模态数据对应的特征数据；
基于各单模态数据对应的特征数据，构建所述混合模态特征集。
可选地，所述根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签，包括：
获取当前预设标签类别数目；
分别对各单模态数据对应的特征数据进行聚类，得到各单模态数据对应的当前子标签；
基于所述当前预设标签类别数目对各模态数据对应的当前子标签进行聚类，得到所述混合模态数据的当前总标签。
可选地，所述根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签，还包括：
基于所述当前总标签，分别计算各当前子标签的调整兰德系数值；
对不满足预设调整兰德系数值的各当前子标签对应的特征数据进行降维更新，并重新对更新后的特征数据进行聚类，以对各单模态数据对应的当前子标签进行更新。
可选地，所述基于所述评分值确定目标标签类别数目，并根据所述目标标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签建立多模态数据库，包括：
对各预设标签类别数目对应的评分值进行排序；
将所述评分值最大预设标签类别数目确定为所述目标标签类别数目；
分别对各模态数据添加总标签及其对应的子标签，建立所述混合模态数据的多模态数据库。
本发明实施例还提供了一种多模态数据库检索方法，包括：
获取检索标签集合，所述检索标签集合包括多个检索标签；
基于所述检索标签集合，在所述多模态数据库中进行检索，得到所述检索标签集合对应的检索结果，所述多模态数据库为采用如本发明另一实施例所述的多模态数据库建立方法建立的多模态数据库。
本发明实施例还提供了一种多模态数据库建立系统，包括：
第一获取模块，用于获取混合模态数据，所述混合模态数据包括不同数据类型的多模态数据；
第一处理模块，用于从所述混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集；
第二处理模块，用于根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签；
第三处理模块，用于分别计算不同预设标签类别数目下总标签对应的预设聚类评价指标的评分值；
第四处理模块，用于基于所述评分值确定目标标签类别数目，并根据所述目标标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签建立多模态数据库。
本发明实施例还提供了一种多模态数据库检索系统，其特征在于，包括：
第二获取模块，用于获取检索标签集合，所述检索标签集合包括多个检索标签；
第五处理模块，用于基于所述检索标签集合，在所述多模态数据库中进行检索，得到所述检索标签集合对应的检索结果，所述多模态数据库为采用本发明另一实施例所述的多模态数据库建立系统建立的多模态数据库。
本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例提供的多模态数据库建立方法，或者执行本发明实施例提供的多模态数据库检索方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行本发明实施例提供的多模态数据库建立方法，或者执行本发明实施例提供的多模态数据库检索方法。
本发明技术方案，具有如下优点：
本发明实施例提供了一种多模态数据库建立方法及系统，通过获取混合模态数据，混合模态数据包括不同数据类型的多模态数据；从混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集；根据预设标签类别数目范围，对混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及混合模态数据对应的总标签；分别计算不同预设标签类别数目下总标签对应的预设聚类评价指标的评分值；基于评分值确定目标标签类别数目，并根据目标标签类别数目下各模态数据对应的子标签及混合模态数据对应的总标签建立多模态数据库。从而通过对不同预设标签类别数目范围内各数据类型的模态数据进行数据特征提取，然后以特征聚类的方式构建各模态数据对应子标签和混合模态数据的总标签，然后通过计算不同预设标签类别数下对应的预设聚类评价指标的评分值确定各模态数据的子标签和总标签建立多模态数据库，进而使得数据库中既有基于全局的总标签，也有基于局部的每个模态下的子标签，可以用来对数据进行二次标签，提高了对数据进行细节检索的准确性，并且通用性好，可建立包括各种不同数据类型的数据库。
本发明实施例提供了一种多模态数据库检索方法及系统，通过获取检索标签集合，基于检索标签集合，在采用本发明另一实施例提供的多模态数据库建立方法建立的多模态数据库中进行检索，得到检索标签集合对应的检索结果。从而利用既有基于全局的总标签，也有基于局部的每个模态下的子标签的多模态数据库进行检索标签集合的检索，有利于进行数据库中所存储数据的细节检索，提高了检索结果的准确性，进而提高了多模态数据库的应用范围。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的多模态数据库建立方法的流程图；
图2为本发明实施例中的标签生成过程的示意图；
图3为本发明实施例中建立的多模态数据库的示意图；
图4为本发明实施例中的多模态数据库检索方法的流程图
图5为本发明实施例中的多模态数据库建立系统的结构示意图；
图6为本发明实施例中的多模态数据库检索系统的结构示意图；
图7为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
由于多模态数据库能充分利用多模态之间的互补性，剔除模态间的冗余性，与传统单模态数据库相比更能全面的体现数据的真实性，使得建立多模态数据库的需求非常迫切。但是，现有的多模态数据库在数据层上一般都属于相同数据类型，例如：全部数据均为图像数据或者均为音频数据等，并且在多模态数据建立标签时，将每个模态下的子标签的类别数目设置为与总标签的类别数目一致。但是，这种设置方式忽略了不同模态数据自身的数据特征信息，影响了对多模态数据库中的数据进行细节检索的准确性。
基于上述问题，本发明实施例提供了一种专门针对不同数据类型的多模态数据的多模态数据库建立方法，如图1所示，该多模态数据库建立方法主要包括如下步骤：
步骤S101：获取混合模态数据。
其中，混合模态数据包括不同数据类型的多模态数据，在本发明实施例中，是以该混合模态数据为由图像、文本、用户评价和音频组成的多模态数据为例进行的说明，仅以此为例，并不以此为限。
步骤S102：从混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集。
其中，不同模态数据包含有不同类型的数据信息，该数据特征为反映该类型数据的典型特征，具体提取的特征类型可以根据实际需要进行设置，本发明并不以此为限。在本发明实施例中，针对图像数据所提取的数据特征包括颜色分布、纹理、边缘、方向梯度直方图等，针对文本数据所提取的数据特征为词频特征，针对用户评价数据所提取的数据特征为关键词的频率，针对音频数据所提取的数据特征为频谱特征等。
步骤S103：根据预设标签类别数目范围，对混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及混合模态数据对应的总标签。
其中，预设标签类别数目范围为根据多模态数据库的建立需求，所确定的数据库包含总标签数量的大概范围，如：预设标签类别数目范围为(5，10)，则表明该多模态数据库中所有数据划分的总标签数量为5到10个。
步骤S104：分别计算不同预设标签类别数目下总标签对应的预设聚类评价指标的评分值。
其中，该预设聚类评价指标用于评价不同预设标签类别数目下多模态数据的分类结果的准确性，在本发明实施例中选择轮廓系数(Calinski－Harabasz Index，简称CH系数)作为预设聚类评价指标，在实际应用中，也可以选择其他聚类评价指标如CalinskiHarabaz指数等，本发明并不以此为限。
步骤S105：基于评分值确定目标标签类别数目，并根据目标标签类别数目下各模态数据对应的子标签及混合模态数据对应的总标签建立多模态数据库。
具体地，通过为不同模态数据按照目标标签类别数目下的标签结果，分别设置子标签和总标签后，以子标签作为序号对混合模态数据进行存储，得到混合模态数据对应的多模态数据库
通过上述步骤S101至步骤S105，本发明实施例提供的多模态数据库建立方法，通过对不同预设标签类别数目范围内各数据类型的模态数据进行数据特征提取，然后以特征聚类的方式构建各模态数据对应子标签和混合模态数据的总标签，然后通过计算不同预设标签类别数下对应的预设聚类评价指标的评分值确定各模态数据的子标签和总标签建立多模态数据库，进而使得数据库中既有基于全局的总标签，也有基于局部的每个模态下的子标签，可以用来对数据进行二次标签，提高了对数据进行细节检索的准确性，并且通用性好，可建立包括各种不同数据类型的数据库。
具体地，在一实施例中，上述的步骤S102具体包括如下步骤：
步骤S201：基于数据类型，对混合模态数据进行分类，得到各单模态数据。
具体地，通过将混合模态数据按照数据类型进行分类，得到各个单模态数据，每一种单模态数据表示一个数据类型，如：按照图像、文本、音频及用户评价这几个数据类型对混合模态数据进行分类。
步骤S202：获取各单模态数据的预设特征提取参数，并根据预设特征提取参数对各单模态数据进行特征提取，得到各单模态数据对应的特征数据。
步骤S203：基于各单模态数据对应的特征数据，构建混合模态特征集。
其中，通过将单模态数据以特征数据进行表示，构建混合模态特征集，如：假设单模态数据为图像数据，则提取图像数据中的颜色分布、纹理、边缘、方向梯度直方图等特征作为表征该图像数据的单模态数据。通过特征提取的方式简化了单模态数据的数据量，有利于后续聚类分析，提高计算速率，得到各个模态数据对应的子标签。
具体地，在一实施例中，上述的步骤S103具体包括如下步骤：
步骤S301：获取当前预设标签类别数目。
其中，该当前预设标签类别数目k属于上述预设标签类别数目范围k∈[Min_k-Max_k]。
步骤S302：分别对各单模态数据对应的特征数据进行聚类，得到各单模态数据对应的当前子标签。
具体地，对每一个单模态数据进行单视图聚类算法，得到每一个模态的子标签L1 -4。在实际应用中，聚类算法可以根据单模态数据的数据类型进行选择，本发明并不以此为限。在本发明实施例中，对于图像和音频使用基于距离的聚类算法，对文本和用户评价使用基于余弦相似度的聚类算法。每个模态下子标签的类别数目选取为上述预设标签类别数目范围[Min_k-Max_k]内的随机值。
步骤S303：基于当前预设标签类别数目对各模态数据对应的当前子标签进行聚类，得到混合模态数据的当前总标签。
具体地，通过将每个模态的子标签L1-4作为输入，使用多视图聚类算法，得到一个整体的总标签L，其中总标签L的类别数目为当前预设标签类别数目k。在本发明实施例中，使用基于共生矩阵的多视图聚类算法，得到总标签L，在实际应用中，多视图聚类算法可以根据实际需要从现有技术中进行选择，本发明并不以此为限。
步骤S304：基于当前总标签，分别计算各当前子标签的调整兰德系数值。
步骤S305：对不满足预设调整兰德系数值的各当前子标签对应的特征数据进行降维更新，并重新对更新后的特征数据进行聚类，以对各单模态数据对应的当前子标签进行更新。
具体地，基于当前的总标签L对各个子标签L1-4进行协同学习。具体实现方式是基于L对子标签的调整兰德系数指标低于平均值的单模态数据进行有监督线性降维，得到新的单模态数据并重新进行聚类分析，得到新的子标签。直到满足停止准则，即特征数据样本间的类关系不再发生变化，此时得到的即为该次循环结果对应的子标签和总标签。然后重复上述步骤，直到总标签的类别数目k历遍[Min_k-Max_k]，图2为上述标签生成过程的示意图。
具体地，在一实施例中，上述的步骤S105具体包括如下步骤：
步骤S501：对各预设标签类别数目对应的评分值进行排序。
步骤S502：将评分值最大预设标签类别数目确定为目标标签类别数目。
具体地，对每个预设标签类别数目对应循环结果的总标签进行CH系数计算，并将CH系数作为纵坐标，[Min_k-Max_k]作为横坐标，画出折线图；运用‘肘’方法(Elbowmethod)，即在图中选取‘拐点’处的k值，它所对应得到的子标签和总标签即为最终结果。
步骤S503：分别对各模态数据添加总标签及其对应的子标签，建立混合模态数据的多模态数据库。
具体地，通过存储混合模态数据，并为每条数据储存上总标签，在每条数据的每个模态下也储存上各自的子标签，至此多模态数据库建立完成，图3为本发明实施例建立的多模态数据库的示意图。通过设置预设标签类别数目范围，并利用子标签与总标签之间进行协同学习的过程，从而提高了多模态数据库中数据子标签及总标签分类的准确性，进而在对建立的多模态数据库进行标签检索时，提高了检索结果准确性。
在实际应用中，假设所建立的多模态数据库包括上万条数据，每一条数据都有对应的图像模态和文本模态；假设数据库的总标签是指向6个不同的人，即类别数目为6，对于单模态下的图像数据，它的子标签可能是指向7类表情，即类别数目为7，对单模态下的文本数据，它的子标签可能就是8类主题；所以在这个数据库中，如果一条数据，它的总标签是‘李明’，同时它在图像模态下的子标签可能就是‘开心’，在文本模态下的子标签就是‘游玩’。由此可见，本发明实施例所建立的多模态数据库中的标签既有基于全局的总标签，也有基于局部的每个模态下的子标签，可以用来对数据进行二次标签，利于以后进行数据的二次检索。并且本发明实施例所得到的单模态数据的子标签个数是不定数目的，更符合现实意义。此外，本发明实施例所建立的多模态数据库的通用性好，可以用于各种不同类型的数据，文本、图像、视频等数据都能适用。
本发明实施例还通过了一种多模态数据库的检索方法，如图4所示，该多模态数据库检索方法包括如下步骤：
步骤S1：获取检索标签集合，检索标签集合包括多个检索标签。
具体地，该检索标签集合由一个一级标签(相当于多模态数据库中数据对应的总标签)和若干二级标签(多模态数据库中数据对应的子标签)构成。
步骤S2：基于检索标签集合，在多模态数据库中进行检索，得到检索标签集合对应的检索结果，多模态数据库为本发明另一实施例提供的多模态数据库建立方法建立的多模态数据库。
具体地，在本发明另一实施例所建立的多模态数据库中，每一条数据都包含有总标签和子标签，从而可以通过利用检索标签集合从多模态数据库中对数据进行二次检索，即得到各个子标签对应的数据，提高用户使用体验。
通过执行上述步骤，本发明实施例提供的多模态数据库的检索方法，通过利用既有基于全局的总标签，也有基于局部的每个模态下的子标签的多模态数据库进行检索标签集合的检索，有利于进行数据库中所存储数据的细节检索，提高了检索结果的准确性，进而提高了多模态数据库的应用范围。
本发明实施例还提供了一种多模态数据库建立系统，如图5所示，该多模态数据库建立系统包括：
第一获取模块101，用于获取混合模态数据，混合模态数据包括不同数据类型的多模态数据。详细内容参见上述方法实施例中步骤S101的相关描述。
第一处理模块102，用于从混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集。详细内容参见上述方法实施例中步骤S102的相关描述。
第二处理模块103，用于根据预设标签类别数目范围，对混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及混合模态数据对应的总标签。详细内容参见上述方法实施例中步骤S103的相关描述。
第三处理模块104，用于分别计算不同预设标签类别数目下总标签对应的预设聚类评价指标的评分值。详细内容参见上述方法实施例中步骤S104的相关描述。
第四处理模块105，用于基于评分值确定目标标签类别数目，并根据目标标签类别数目下各模态数据对应的子标签及混合模态数据对应的总标签建立多模态数据库。详细内容参见上述方法实施例中步骤S105的相关描述。
通过上述各个组成部分的协同合作，本发明实施例提供的多模态数据库建立系统，通过对不同预设标签类别数目范围内各数据类型的模态数据进行数据特征提取，然后以特征聚类的方式构建各模态数据对应子标签和混合模态数据的总标签，然后通过计算不同预设标签类别数下对应的预设聚类评价指标的评分值确定各模态数据的子标签和总标签建立多模态数据库，进而使得数据库中既有基于全局的总标签，也有基于局部的每个模态下的子标签，可以用来对数据进行二次标签，提高了对数据进行细节检索的准确性，并且通用性好，可建立包括各种不同数据类型的数据库。
本发明实施例还提供了一种多模态数据库检索系统，如图6所示，该多模态数据库检索系统包括：
第二获取模块1，用于获取检索标签集合，检索标签集合包括多个检索标签。详细内容参见上述方法实施例中步骤S1的相关描述。
第五处理模块2，用于基于检索标签集合，在多模态数据库中进行检索，得到检索标签集合对应的检索结果，多模态数据库为采用本发明另一实施例提供的多模态数据库建立系统建立的多模态数据库。详细内容参见上述方法实施例中步骤S2的相关描述。
通过上述各个组成部分的协同合作，本发明实施例提供的多模态数据库的检索系统，通过利用既有基于全局的总标签，也有基于局部的每个模态下的子标签的多模态数据库进行检索标签集合的检索，有利于进行数据库中所存储数据的细节检索，提高了检索结果的准确性，进而提高了多模态数据库的应用范围。
根据本发明实施例还提供了一种电子设备，如图7所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图7中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (9)

1.一种多模态数据库建立方法，其特征在于，包括：
获取混合模态数据，所述混合模态数据包括不同数据类型的多模态数据；
从所述混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集；
根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签；
分别计算不同预设标签类别数目下总标签对应的预设聚类评价指标的评分值；
基于所述评分值确定目标标签类别数目，并根据所述目标标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签建立多模态数据库；
所述从所述混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集，包括：
基于数据类型，对所述混合模态数据进行分类，得到各单模态数据；
获取各单模态数据的预设特征提取参数，并根据所述预设特征提取参数对各单模态数据进行特征提取，得到各单模态数据对应的特征数据；
基于各单模态数据对应的特征数据，构建所述混合模态特征集。
2.根据权利要求1所述的方法，其特征在于，所述根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签，包括：
获取当前预设标签类别数目；
分别对各单模态数据对应的特征数据进行聚类，得到各单模态数据对应的当前子标签；
基于所述当前预设标签类别数目对各模态数据对应的当前子标签进行聚类，得到所述混合模态数据的当前总标签。
3.根据权利要求2所述的方法，其特征在于，所述根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签，还包括：
基于所述当前总标签，分别计算各当前子标签的调整兰德系数值；
对不满足预设调整兰德系数值的各当前子标签对应的特征数据进行降维更新，并重新对更新后的特征数据进行聚类，以对各单模态数据对应的当前子标签进行更新。
4.根据权利要求1所述的方法，其特征在于，所述基于所述评分值确定目标标签类别数目，并根据所述目标标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签建立多模态数据库，包括：
对各预设标签类别数目对应的评分值进行排序；
将所述评分值最大预设标签类别数目确定为所述目标标签类别数目；
分别对各模态数据添加总标签及其对应的子标签，建立所述混合模态数据的多模态数据库。
5.一种多模态数据库检索方法，其特征在于，包括：
获取检索标签集合，所述检索标签集合包括多个检索标签；
基于所述检索标签集合，在所述多模态数据库中进行检索，得到所述检索标签集合对应的检索结果，所述多模态数据库为采用如权利要求1－4任一项所述的多模态数据库建立方法建立的多模态数据库。
6.一种多模态数据库建立系统，其特征在于，包括：
第一获取模块，用于获取混合模态数据，所述混合模态数据包括不同数据类型的多模态数据；
第一处理模块，用于从所述混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集；所述从所述混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集，包括：基于数据类型，对所述混合模态数据进行分类，得到各单模态数据；获取各单模态数据的预设特征提取参数，并根据所述预设特征提取参数对各单模态数据进行特征提取，得到各单模态数据对应的特征数据；基于各单模态数据对应的特征数据，构建所述混合模态特征集；
第二处理模块，用于根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签；
第三处理模块，用于分别计算不同预设标签类别数目下总标签对应的预设聚类评价指标的评分值；
第四处理模块，用于基于所述评分值确定目标标签类别数目，并根据所述目标标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签建立多模态数据库。
7.一种多模态数据库检索系统，其特征在于，包括：
第二获取模块，用于获取检索标签集合，所述检索标签集合包括多个检索标签；
第五处理模块，用于基于所述检索标签集合，在所述多模态数据库中进行检索，得到所述检索标签集合对应的检索结果，所述多模态数据库为采用如权利要求6所述的多模态数据库建立系统建立的多模态数据库。
8.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1－4任一项所述的方法，或者执行权利要求5所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机从而执行权利要求1－4任一项所述的方法，或者执行权利要求5所述的方法。
CN202011542924.6A 2020-12-23 2020-12-23 一种多模态数据库建立方法、检索方法及系统 Active CN112579841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011542924.6A CN112579841B (zh) 2020-12-23 2020-12-23 一种多模态数据库建立方法、检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011542924.6A CN112579841B (zh) 2020-12-23 2020-12-23 一种多模态数据库建立方法、检索方法及系统

Publications (2)

Publication Number Publication Date
CN112579841A CN112579841A (zh) 2021-03-30
CN112579841B true CN112579841B (zh) 2024-01-05

Family

ID=75139237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011542924.6A Active CN112579841B (zh) 2020-12-23 2020-12-23 一种多模态数据库建立方法、检索方法及系统

Country Status (1)

Country Link
CN (1) CN112579841B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202281A (zh) * 2016-06-28 2016-12-07 广东工业大学 一种多模态数据表示学习方法及系统
CN110597878A (zh) * 2019-09-16 2019-12-20 广东工业大学 一种多模态数据的跨模态检索方法、装置、设备及介质
CN110990596A (zh) * 2019-12-04 2020-04-10 山东师范大学 一种基于自适应量化多模态哈希检索方法及系统
CN112001438A (zh) * 2020-08-19 2020-11-27 四川大学 聚类数目自动选择的多模态数据聚类方法
CN112015923A (zh) * 2020-09-04 2020-12-01 平安科技（深圳）有限公司 一种多模态数据检索方法、系统、终端及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170038769A1 (en) * 2015-07-27 2017-02-09 Shohei Hidaka Method and system of dimensional clustering
US11204966B2 (en) * 2019-02-01 2021-12-21 EMC IP Holding Company LLC Contextual image-assisted search

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202281A (zh) * 2016-06-28 2016-12-07 广东工业大学 一种多模态数据表示学习方法及系统
CN110597878A (zh) * 2019-09-16 2019-12-20 广东工业大学 一种多模态数据的跨模态检索方法、装置、设备及介质
CN110990596A (zh) * 2019-12-04 2020-04-10 山东师范大学 一种基于自适应量化多模态哈希检索方法及系统
CN112001438A (zh) * 2020-08-19 2020-11-27 四川大学 聚类数目自动选择的多模态数据聚类方法
CN112015923A (zh) * 2020-09-04 2020-12-01 平安科技（深圳）有限公司 一种多模态数据检索方法、系统、终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多模态情感识别研究进展;何俊，刘跃，何忠文;《计算机应用研究》;第第35卷卷(第第11期期);正文 *

Also Published As

Publication number Publication date
CN112579841A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
WO2022068196A1 (zh) 跨模态的数据处理方法、装置、存储介质以及电子装置
CN108804641B (zh) 一种文本相似度的计算方法、装置、设备和存储介质
US10740678B2 (en) Concept hierarchies
CN109189991B (zh) 重复视频识别方法、装置、终端及计算机可读存储介质
WO2021093755A1 (zh) 问题的匹配方法及装置、问题的回复方法及装置
CN110019732B (zh) 一种智能问答方法以及相关装置
WO2021139262A1 (zh) 文献主题词聚合方法、装置、计算机设备及可读存储介质
CN106844341B (zh) 基于人工智能的新闻摘要提取方法及装置
CN108154198B (zh) 知识库实体归一方法、系统、终端和计算机可读存储介质
CN102902821A (zh) 基于网络热点话题的图像高级语义标注、检索方法及装置
US8583669B2 (en) Query suggestion for efficient legal E-discovery
CN114780746A (zh) 基于知识图谱的文档检索方法及其相关设备
CN113806582B (zh) 图像检索方法、装置、电子设备和存储介质
CN114329029B (zh) 对象检索方法、装置、设备及计算机存储介质
CN111538903B (zh) 搜索推荐词确定方法、装置、电子设备及计算机可读介质
KR101472451B1 (ko) 디지털 콘텐츠 관리 시스템 및 방법
CN112836029A (zh) 一种基于图的文档检索方法、系统及其相关组件
CN115203421A (zh) 一种长文本的标签生成方法、装置、设备及存储介质
CN112183102A (zh) 基于注意力机制与图注意力网络的命名实体识别方法
CN115455249A (zh) 双引擎驱动的多模态数据检索方法、设备及系统
CN113569118B (zh) 自媒体推送方法、装置、计算机设备及存储介质
CN108241650B (zh) 训练分类标准的训练方法和装置
CN112579841B (zh) 一种多模态数据库建立方法、检索方法及系统
CN117609418A (zh) 文档处理方法、装置、电子设备及存储介质
CN108733702B (zh) 用户查询上下位关系提取的方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant