Nothing Special   »   [go: up one dir, main page]

CN103699612A - 一种图像检索排序的方法及装置 - Google Patents

一种图像检索排序的方法及装置 Download PDF

Info

Publication number
CN103699612A
CN103699612A CN201310690505.0A CN201310690505A CN103699612A CN 103699612 A CN103699612 A CN 103699612A CN 201310690505 A CN201310690505 A CN 201310690505A CN 103699612 A CN103699612 A CN 103699612A
Authority
CN
China
Prior art keywords
image
image set
class
msub
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310690505.0A
Other languages
English (en)
Other versions
CN103699612B (zh
Inventor
陈世峰
曹琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201310690505.0A priority Critical patent/CN103699612B/zh
Publication of CN103699612A publication Critical patent/CN103699612A/zh
Application granted granted Critical
Publication of CN103699612B publication Critical patent/CN103699612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像检索排序的方法及装置，所述方法包括：根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，以特征聚类的方式分别对所述图像集进行去噪处理得到对应的类图像集；将所述类图像集与所述网络图像数据库中根据已建立的其他类图像集分别两两之间进行类间优化处理，通过类间优化处理对所述类图像集中的图像进行第二次去噪处理得到优化图像集；根据置信分数对优化图像集进行加权计算并获取高密度图像集，按照线性排序模型对所述高密度图像集进行排序，得到所述图像排序结果。所述装置包括：聚类去噪模块、类间优化模块和排序模块。通过三层检索排序提高了检索排序的精准性。

Description

一种图像检索排序的方法及装置
技术领域
本发明涉及图像处理领域，特别涉及一种图像检索排序的方法及装置。
背景技术
网络图像检索通常采用基于文字关键词的搜索方法。当前，搜索引擎通过匹配搜索关键词和图像的文字标签，以确定检索图像的排序。然而，由于网络图像存在许多错误的文字标签，检索结果的精确度难以令人满意。鉴于网络图像检索在用户需求方面的不确定性。穷举所有关键词并预先存储排序结果是不可能完成的任务。同时，许多应用依赖于收集大量分门别类的图像，用户手工标定辅助排序的方法也会变得耗费人力。因此，理想的图像检索排序技术应当不依赖于任何预先存储和人工标定，并能达到精确而高效的排序结果。
当前，较为常用的方式为：用户辅助选择法。这种方法要求搜索引擎的用户针对初始结果选择自己认为最正确的一幅图像，其它图像则会根据与用户选择图像的视觉特征相似度进行重新排序。此方法能较为准确地表现用户的检索意图。然而，当面对海量不同类别关键词检索或需要自动检索的场景时，该方法则变得无能为力。
此外，一系列对检索排序的深入研究聚焦在训练机器学习模型。聚类模型依据初始检索图像集的特征相似度，将图像聚成几类，取图像数量最多、特征密度最大的类作为检索的目标图像。这种方法假设与检索关键词有关和无关的图像都能各自成类，难以符合真实的数据分布。主题模型运用概率网络学习图像中潜在的主题并计算主题出现的频率。当图像中的主题大部分是高频出现的主题时，这样的图像被当成与检索关键词最相关的图像排在前列。并且需要针对每个检索关键词做离线训练和验证，从而不适合即时的图像检索。分类模型通过结合图像的视觉特征和文本元数据，离线对标定数据训练分类器。此方法要求标定准确，离线训练过程耗时，性能还受到过拟合问题的影响。
发明人在发明本申请的过程中，至少发现现有技术中存在如下技术问题：
1、现有方法假设在图像集的特征空间中，目标图像紧密地分布在一起，而噪声图像则各自离散分布。然而各种方法设计的选择高密度数据的算法却有时会选择到离散的数据点，从而导致检索到的图像不精确。2、上一点提到现有方法对图像分布的假设本身，难以符合真实数据分布的特性，由此选择的高密度数据仍是目标和噪声的混合。3、即使能获得少量较精确的标定数据，对整个图像集的半监督学习仍会因为噪声图像破坏数据集的流型结构并导致传导不准确的结果，并未考虑如何消除这部分噪声。
发明内容
为了解决现有技术存在的检索图像不精确的问题，本发明实施例提供了一种图像检索排序的方法及装置。所述技术方案如下：
第一方面，本发明提供了一种图像检索排序的方法，所述方法包括：
根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，以特征聚类的方式分别对所述图像集进行去噪处理得到对应的类图像集；
将所述类图像集与所述网络图像数据库中根据已建立的其他类图像集分别两两之间进行类间优化处理，通过类间优化处理对所述类图像集中的图像进行第二次去噪处理得到优化图像集；
根据置信分数对优化图像集进行加权计算并获取高密度图像集，按照线性排序模型对所述高密度图像集进行排序，得到所述图像排序结果。
优选地，所述根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，以特征聚类的方式分别对所述图像集进行去噪处理得到对应的类图像集，包括：
根据用户输入的关键词检索得到图像集
Figure BDA0000437338100000021
其中d代表图像视觉特征的维度；
将所述图像集按照映射g(·)从原始的欧式特征空间投射到新的特征空间，使得特征空间中位于同一流形结构内的数据和离散分布的噪声图像数据分别聚合成m类{X1，…，Xc，…，Xm}∈X；
根据预设判断条件筛选出m类中离散点组成的类，并将所述离散点组成的类滤去得到类图像集。
优选地，所述映射g(·)的构造方法，具体包括：
以图像集
Figure BDA0000437338100000031
中的数据为节点构造两两连接的无向有权图，其中，节点xi和xj的边的权重Wij为：(1)当i≠j时，
Figure BDA0000437338100000032
(2)当i＝j时，Wii＝0；
将所述权重Wij组成n×n矩阵W，对矩阵W的归一化处理得到S＝D-1/2WD-1/2，其中D为对角矩阵
Figure BDA0000437338100000033
构造对归一化矩阵S的拉普拉斯求逆矩阵F，得到映射映射g(·)为g：X→Rn，
Figure BDA0000437338100000034
其中，F＝(I-S)-1。
优选地，所述根据预设判断条件筛选出m类中离散点组成的类，并将所述离散点组成的类滤去得到类图像集，具体包括：
当类Xo满足不等式时，则表示所述类Xc为离散点组成的类，其中，所述不等式为：
Figure BDA0000437338100000035
其中，S[g(xi)]为映射特征g(xi)各维度之和，
Figure BDA0000437338100000036
为求平均算符，为第一阈值。
优选地，所述根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，具体为：根据用户输入一个或多个关键词从网络图像数据库中搜索分别得到每个关键词对应的图像集。
优选地，所述将所述类图像集与所述网络图像数据库中根据已建立的其他类图像集分别两两之间进行类间优化处理，通过类间优化处理对类图像集中的图像进行第二次去噪处理得到优化图像集，具体包括：
从所述网络图像数据库中已建立的其他类图像集获取由r个关键词{q1，…，qs，…，qr}检索形成的类图像集{X(1)，…X(s)，…，X(r)}，
运用预设的
Figure BDA0000437338100000041
模型对图像集X(s)和图像集X(t)进行两两训练，计算关键词qs检索的某一图像
Figure BDA0000437338100000042
的置信分数
Figure BDA0000437338100000043
并将所述置信分数
Figure BDA0000437338100000044
小于第二阈值的图像数据滤去得到优化图像集合；其中，所述表示对X(s)和X(t)训练模型，测试数据属于qs类的概率函数，根据所述置信分数
Figure BDA0000437338100000046
确定所述图像
Figure BDA0000437338100000047
在语义上与关键词qs的相关性，
优选地，所述运用预设的
Figure BDA0000437338100000049
模型对图像集X(s)和图像集X(t)进行两两训练，计算关键词qs检索的某一图像
Figure BDA00004373381000000410
的置信分数并将所述置信分数小于第二阈值的图像数据滤去得到优化图像集合；其中，根据所述置信分数
Figure BDA00004373381000000413
确定所述图像
Figure BDA00004373381000000414
在语义上与关键词qs的相关性，
Figure BDA00004373381000000416
具体包括：
计算训练中图像集X(s)的数据未被模型分到图像集X(t)的概率值，判断所述激活条件是否等于1；其中，
Figure BDA00004373381000000418
表示在训练中X(s)的数据未被模型分到X(t)类的比率；
当所述激活条件
Figure BDA00004373381000000419
等于1时，则计算关键词qs检索的某一图像
Figure BDA00004373381000000420
的置信分数
Figure BDA00004373381000000421
并将所述置信分数
Figure BDA00004373381000000422
小于第二阈值的图像数据滤去得到优化图像集合；
当所述激活条件
Figure BDA00004373381000000423
不等于1时，则确定所述图像集X(s)与所述图像集X(t)为同义词，则直接将所述图像数据滤去得到优化图像集合。
优选地，按照线性排序模型对所述高密度图像集进行排序，具体包括：
按照线性排序模型f(x；w，b)＝wTx+b对所述高密度图像集进行排序，其中w和b为待学习的模型参数，参数的学习过程是求解弹性网络支持向量机回归问题 min w , b 1 n Σ i = 1 n | w T x i + b - y i | + λ 1 | | w | | 1 + λ 2 2 w T w , yi为xi的先验权重，λ1，λ2为正则项的平衡因子。
第二方面，提供了一种图像检索排序的装置，所述装置包括：
聚类去噪模块，用于根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，以特征聚类的方式分别对所述图像集进行去噪处理得到对应的类图像集；
类间优化模块，用于将所述类图像集与所述网络图像数据库中根据已建立的其他类图像集分别两两之间进行类间优化处理，通过类间优化处理对所述类图像集中的图像进行第二次去噪处理得到优化图像集；
排序模块，用于根据置信分数对优化图像集进行加权计算并获取高密度图像集，按照线性排序模型对所述高密度图像集进行排序，得到所述图像排序结果。
优选地，所述聚类去噪模块包括：检索单元、映射单元和筛选单元，
所述搜索单元，用于根据用户输入的关键词检索得到图像集
Figure BDA0000437338100000052
Figure BDA0000437338100000053
其中d代表图像视觉特征的维度；
所述映射单元，用于将所述图像集按照映射g(·)从原始的欧式特征空间投射到新的特征空间，使得特征空间中位于同一流形结构内的数据和离散分布的噪声图像数据分别聚合成m类{X1，…，Xc，…，Xm}∈X；
所述筛选单元，用于根据预设判断条件筛选出m类中离散点组成的类，并将所述离散点组成的类滤去得到类图像集。
优选地，所述映射g(·)的构造方法，具体包括：
以图像集中的数据为节点构造两两连接的无向有权图，其中，节点xi和xj的边的权重Wij为：(1)当i≠j时，
Figure BDA0000437338100000055
(2)当i＝j时，Wii＝0；
将所述权重Wij组成n×n矩阵W，对矩阵W的归一化处理得到S＝D-1/2WD-1/2，其中D为对角矩阵
Figure BDA0000437338100000061
构造对归一化矩阵S的拉普拉斯求逆矩阵F，得到映射映射g(·)为g：X→Rn，其中，F＝(I-S)-1。
优选地，所述筛选单元具体用于当类Xo满足不等式时，则表示所述类Xc为离散点组成的类，其中，所述不等式为：
Figure BDA0000437338100000063
Figure BDA0000437338100000064
其中，S[g(xi)]为映射特征g(xi)各维度之和，
Figure BDA0000437338100000065
为求平均算符，β为第一阈值。
优选地，所述根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，具体为：根据用户输入一个或多个关键词从网络图像数据库中搜索分别得到每个关键词对应的图像集。
优选地，所述类间优化模块包括获取单元和训练单元，
所述获取单元，用于从所述网络图像数据库中已建立的其他类图像集获取由r个关键词{q1，…，qs，…，qr}检索形成的类图像集{X(1)，…X(s)，…，X(r)}，
所述训练单元，用于运用预设的
Figure BDA0000437338100000066
模型对图像集X(s)和图像集X(t)进行两两训练，计算关键词qs检索的某一图像的置信分数
Figure BDA0000437338100000068
并将所述置信分数小于第二阈值的图像数据滤去得到优化图像集合；其中，所述
Figure BDA00004373381000000610
表示对X(s)和X(t)训练模型，测试数据属于qs类的概率函数，根据所述置信分数
Figure BDA00004373381000000611
确定所述图像在语义上与关键词qs的相关性，
Figure BDA00004373381000000613
Figure BDA00004373381000000614
优选地，所述训练单元具体用于计算训练中图像集X(s)的数据未被模型分到图像集X(t)的概率值，判断所述激活条件
Figure BDA00004373381000000615
是否等于1；其中，表示在训练中X(s)的数据未被模型分到X(t)类的比率；
用于当所述激活条件
Figure BDA00004373381000000617
等于1时，则计算关键词qs检索的某一图像
Figure BDA00004373381000000618
的置信分数
Figure BDA00004373381000000619
并将所述置信分数
Figure BDA00004373381000000620
小于第二阈值的图像数据滤去得到优化图像集合；
用于当所述激活条件
Figure BDA0000437338100000071
不等于1时，则确定所述图像集X(s)与所述图像集X(t)为同义词，则直接将所述图像数据滤去得到优化图像集合。
优选地，所述排序模块具体用于按照线性排序模型f(X；w，b)＝wTx+b对所述高密度图像集进行排序，其中w和b为待学习的模型参数，参数的学习过程是求解弹性网络支持向量机回归问题
Figure BDA0000437338100000072
Figure BDA0000437338100000073
yi为xi的先验权重，λ1，λ2为正则项的平衡因子。
本发明提供的技术方案带来的有益效果是：
采用本发明提供的图像检排序方法对根据关键词获取的图像集在特征聚类层进行谱图去噪，实现离散噪声和重复图像的消除；再将去噪后的图像集在数据集层进行类间优化得到优化图像集，实现数据集层分类难的噪声数据的清除；然后将所述优化图像集在关键词类别层进行无监督排序，得到排序结果，实现不依赖人工标定及其他特征信息实现无监督网络图像排序。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是方法实施例提供的一种图像检索排序的方法流程图；
图2是装置实施例提供的一种图像检索排序的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明提供的方法包括：根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，以特征聚类的方式分别对所述图像集进行去噪处理得到对应的类图像集；将所述类图像集与所述网络图像数据库中根据已建立的其他类图像集分别两两之间进行类间优化处理，通过类间优化处理对所述类图像集中的图像进行第二次去噪处理得到优化图像集；根据置信分数对优化图像集进行加权计算并获取高密度图像集，按照线性排序模型对所述高密度图像集进行排序，得到所述图像排序结果。
参见图1，本发明实施例中提供的一种图像检排序的方法流程图，本发明实施例的执行主体为计算机，参见图1，该方法包括：
101：根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集。
具体地，本实施例中，根据用户输入的关键词检索得到图像集
Figure BDA0000437338100000082
其中d代表图像视觉特征的维度；
其中，在本实施例中，还可以根据用户输入一个或多个关键词从网络图像数据库中搜索分别得到每个关键词对应的图像集；当关键词为r个时，分别得到相对应的图像集，例如用Q＝{q1，…，qs，…，qr}表示对r个关键词进行网络图像检索，其检索结果为ns幅图像的集合
Figure BDA0000437338100000083
其中d代表图像视觉特征的维度。
102：以特征聚类的方式分别对所述图像集进行去噪处理得到对应的类图像集。
具体地，在本实施例中，所述特征聚类的方式是指按照映射g(·)从原始的欧式特征空间投射到新的特征空间；
本实施例中，步骤102具体包括：
102-1：将所述图像集按照映射g(·)从原始的欧式特征空间投射到新的特征空间，使得特征空间中位于同一流形结构内的数据和离散分布的噪声图像数据分别聚合成m类{X1，…，Xc，…，Xm}∈X；
其中，同一流形结构内的数据点语义同类的；
优选地，本实施例中，所述映射g(·)的构造方法，具体包括：
A-1：以图像集
Figure BDA0000437338100000091
中的数据为节点构造两两连接的无向有权图，其中，节点xi和xj的边的权重Wij为：(1)当i≠j时， W ij = exp ( - | | x i - x j | | 2 2 σ 2 ) , (2)当i＝j时，Wii＝0；
A-2：将所述权重Wij组成n×n矩阵W，对矩阵W的归一化处理得到S＝D-1/2WD-1/2，其中D为对角矩阵
Figure BDA0000437338100000093
A-3：构造对归一化矩阵S的拉普拉斯求逆矩阵F，得到映射g(·)为g：X→Rn，
Figure BDA0000437338100000094
其中，F＝(I-S)-1。
其中，I为单位矩阵，F(i，·)表示F的第i行向量。
102-2：根据预设判断条件筛选出m类中离散点组成的类，并将所述离散点组成的类滤去得到类图像集。
具体地，在本实施例中，所述根据预设判断条件筛选出m类中离散点组成的类，并将所述离散点组成的类滤去得到类图像集，具体包括：
当类Xo满足不等式时，则表示所述类Xc为离散点组成的类，其中，所述不等式为：
Figure BDA0000437338100000095
其中，S[g(xi)]为映射特征g(xi)各维度之和，
Figure BDA0000437338100000096
为求平均算符，β为第一阈值。
其中，由于，离散点的映射特征g(xi)各维度之和较小，所以可以通过设置第一阈值将离散点数据滤去。
103：将所述类图像集与所述网络图像数据库中根据已建立的其他类图像集分别两两之间进行类间优化处理，通过类间优化处理对所述类图像集中的图像进行第二次去噪处理得到优化图像集。
本实施例中，步骤103具体包括：
103-1：所述类图像集于所述网络图像数据库中已建立的其他类图像集表示成由r个关键词{q1，…，qs，…，qr}检索形成的类图像集{X(1)，…X(s)，…，X(r)}，
103-2：运用预设的
Figure BDA0000437338100000101
模型对图像集X(s)和图像集X(t)进行两两训练，计算关键词qs检索的某一图像
Figure BDA0000437338100000102
的置信分数
Figure BDA0000437338100000103
并将所述置信分数
Figure BDA0000437338100000104
小于第二阈值的图像数据滤去得到优化图像集合。
其中，所述
Figure BDA0000437338100000105
表示对X(s)和X(t)训练模型，测试数据属于qs类的概率函数，根据所述置信分数确定所述图像
Figure BDA0000437338100000107
在语义上与关键词qs的相关性，
Figure BDA0000437338100000108
具体地，在本实施例中，所述步骤103-2包括：
B-1：计算训练中图像集X(s)的数据未被模型分到图像集X(t)的概率值，判断所述激活条件
Figure BDA0000437338100000109
是否等于1；其中，
Figure BDA00004373381000001010
表示在训练中X(s)的数据未被模型分到X(t)类的比率；
B-2：当所述激活条件
Figure BDA00004373381000001011
等于1时，则计算关键词qs检索的某一图像
Figure BDA00004373381000001012
的置信分数
Figure BDA00004373381000001013
并将所述置信分数
Figure BDA00004373381000001014
小于第二阈值的图像数据滤去得到优化图像集合；
B-3：当所述激活条件
Figure BDA00004373381000001015
不等于1时，则确定所述图像集X(s)与所述图像集X(t)为同义词，则直接将所述图像数据滤去得到优化图像集合。
104：根据置信分数对优化图像集进行加权计算并获取高密度图像集。
105：按照线性排序模型对所述高密度图像集进行排序，得到所述图像排序结果。
按照线性排序模型f(x；w，b)＝wTx+b对所述高密度图像集进行排序，其中w和b为待学习的模型参数，参数的学习过程是求解弹性网络支持向量机回归问题 min w , b 1 n Σ i = 1 n | w T x i + b - y i | + λ 1 | | w | | 1 + λ 2 2 w T w , yi为xi的先验权重，λ1，λ2为正则项的平衡因子。
优选地，本实施例中，所述排序为无监督排序；采用减少过拟合的软间隔回归模型进行排序处理。
本实施例中通过采用本发明提供的图像检排序方法对根据关键词获取的图像集在特征聚类层进行谱图去噪，实现离散噪声和重复图像的消除；再将去噪后的图像集在数据集层进行类间优化得到优化图像集，实现数据集层分类难的噪声数据的清除；然后将所述优化图像集在关键词类别层进行无监督排序，得到排序结果，实现不依赖人工标定及其他特征信息实现无监督网络图像排序。
图2是本发明实施例中提供的一种图像显著性物体检测装置的结构示意图，参见图2，该装置包括：
聚类去噪模块201，用于根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，以特征聚类的方式分别对所述图像集进行去噪处理得到对应的类图像集；
类间优化模块202，用于将所述类图像集与所述网络图像数据库中根据已建立的其他类图像集分别两两之间进行类间优化处理，通过类间优化处理对所述类图像集中的图像进行第二次去噪处理得到优化图像集；
排序模块203，用于根据置信分数对优化图像集进行加权计算并获取高密度图像集，按照线性排序模型对所述高密度图像集进行排序，得到所述图像排序结果。
结合上述装置，所述聚类去噪模块包括：检索单元2011、映射单元2012和筛选单元2013，
所述搜索单元2011，用于根据用户输入的关键词检索得到图像集
Figure BDA0000437338100000111
其中d代表图像视觉特征的维度；
其中，所述映射g(·)的构造方法，具体包括：
以图像集
Figure BDA0000437338100000112
中的数据为节点构造两两连接的无向有权图，其中，节点xi和xj的边的权重Wij为：(1)当i≠j时，
Figure BDA0000437338100000113
(2)当i＝j时，Wii＝0；
将所述权重Wij组成n×n矩阵W，对矩阵W的归一化处理得到S＝D-1/2WD-1/2，其中D为对角矩阵
Figure BDA0000437338100000121
构造对归一化矩阵S的拉普拉斯求逆矩阵F，得到映射映射g(·)为g：X→Rn，
Figure BDA0000437338100000122
其中，F＝(I-S)-1。
所述映射单元2012，用于将所述图像集按照映射g(·)从原始的欧式特征空间投射到新的特征空间，使得特征空间中位于同一流形结构内的数据和离散分布的噪声图像数据分别聚合成m类{X1，…，Xc，…，Xm}∈X；
所述筛选单元2013，用于根据预设判断条件筛选出m类中离散点组成的类，并将所述离散点组成的类滤去得到类图像集。
更进一步地，所述筛选单元具体用于当类Xo满足不等式时，则表示所述类Xc为离散点组成的类，其中，所述不等式为：
Figure BDA0000437338100000123
Figure BDA0000437338100000124
其中，S[g(xi)]为映射特征g(xi)各维度之和，
Figure BDA0000437338100000125
为求平均算符，β为第一阈值。
结合上述任一装置，所述根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，具体为：根据用户输入一个或多个关键词从网络图像数据库中搜索分别得到每个关键词对应的图像集。
所述类间优化模块202包括获取单元2021和训练单元2022，
所述获取单元2021，用于从所述网络图像数据库中已建立的其他类图像集获取由r个关键词{q1，…，qs，…，qr}检索形成的类图像集{X(1)，…X(s)，…，X(r)}，
所述训练单元2022，用于运用预设的
Figure BDA0000437338100000126
模型对图像集X(s)和图像集X(t)进行两两训练，计算关键词qs检索的某一图像
Figure BDA0000437338100000127
的置信分数
Figure BDA0000437338100000128
并将所述置信分数小于第二阈值的图像数据滤去得到优化图像集合；
其中，所述
Figure BDA00004373381000001210
表示对X(s)和X(t)训练模型，测试数据属于qs类的概率函数，根据所述置信分数确定所述图像
Figure BDA00004373381000001212
在语义上与关键词qs的相关性，
Figure BDA00004373381000001213
优选地，所述训练单元2022具体用于计算训练中图像集X(s)的数据未被模型分到图像集X(t)的概率值，判断所述激活条件
Figure BDA0000437338100000131
是否等于1；其中，
Figure BDA0000437338100000132
表示在训练中X(s)的数据未被模型分到X(t)类的比率；
还用于当所述激活条件
Figure BDA0000437338100000133
等于1时，则计算关键词qs检索的某一图像
Figure BDA0000437338100000134
的置信分数
Figure BDA0000437338100000135
并将所述置信分数
Figure BDA0000437338100000136
小于第二阈值的图像数据滤去得到优化图像集合；
还用于当所述激活条件
Figure BDA0000437338100000137
不等于1时，则确定所述图像集X(s)与所述图像集X(t)为同义词，则直接将所述图像数据滤去得到优化图像集合。
结合上述装置，所述排序模块203具体用于按照线性排序模型f(x；w，b)＝wTx+b对所述高密度图像集进行排序，其中w和b为待学习的模型参数，参数的学习过程是求解弹性网络支持向量机回归问题
Figure BDA0000437338100000138
Figure BDA0000437338100000139
yi为xi的先验权重，λ1，λ2为正则项的平衡因子。
本实施例中通过采用本发明提供的图像检排序的装置对根据关键词获取的图像集在特征聚类层进行谱图去噪，实现离散噪声和重复图像的消除；再将去噪后的图像集在数据集层进行类间优化得到优化图像集，实现数据集层分类难的噪声数据的清除；然后将所述优化图像集在关键词类别层进行无监督排序，得到排序结果，实现不依赖人工标定及其他特征信息实现无监督网络图像排序。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种图像检索排序的方法，其特征在于，所述方法包括：
根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，以特征聚类的方式分别对所述图像集进行去噪处理得到对应的类图像集；
将所述类图像集与所述网络图像数据库中根据已建立的其他类图像集分别两两之间进行类间优化处理，通过类间优化处理对所述类图像集中的图像进行第二次去噪处理得到优化图像集；
根据置信分数对优化图像集进行加权计算并获取高密度图像集，按照线性排序模型对所述高密度图像集进行排序，得到所述图像排序结果。
2.根据权利要求1所述的方法，其特征在于，所述根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，以特征聚类的方式分别对所述图像集进行去噪处理得到对应的类图像集，包括：
根据用户输入的关键词检索得到图像集
Figure FDA0000437338090000011
其中d代表图像视觉特征的维度；
将所述图像集按照映射g(·)从原始的欧式特征空间投射到新的特征空间，使得特征空间中位于同一流形结构内的数据和离散分布的噪声图像数据分别聚合成m类{X1，…，Xc，…，Xm}∈X；
根据预设判断条件筛选出m类中离散点组成的类，并将所述离散点组成的类滤去得到类图像集。
3.根据权利要求2所述的方法，其特征在于，所述映射g(·)的构造方法，具体包括：
以图像集
Figure FDA0000437338090000012
中的数据为节点构造两两连接的无向有权图，其中，节点xi和xj的边的权重Wij为：(1)当i≠j时，
Figure FDA0000437338090000013
(2)当i＝j时，Wii＝0；
将所述权重Wij组成n×n矩阵W，对矩阵W的归一化处理得到S＝D-1/2WD-1/2，其中D为对角矩阵
Figure FDA0000437338090000021
构造对归一化矩阵S的拉普拉斯求逆矩阵F，得到映射映射g(·)为g：X→Rn，其中，F＝(I-S)-1。
4.根据权利要求2所述的方法，其特征在于，所述根据预设判断条件筛选出m类中离散点组成的类，并将所述离散点组成的类滤去得到类图像集，具体包括：
当类Xo满足不等式时，则表示所述类Xc为离散点组成的类，其中，所述不等式为：
Figure FDA0000437338090000023
其中，S[g(xi)]为映射特征g(xi)各维度之和，
Figure FDA0000437338090000024
为求平均算符，β为第一阈值。
5.根据权利要求1-4所述的方法，其特征在于，所述根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，具体为：根据用户输入一个或多个关键词从网络图像数据库中搜索分别得到每个关键词对应的图像集。
6.根据权利要求1所述的方法，其特征在于，所述将所述类图像集与所述网络图像数据库中根据已建立的其他类图像集分别两两之间进行类间优化处理，通过类间优化处理对类图像集中的图像进行第二次去噪处理得到优化图像集，具体包括：
从所述网络图像数据库中已建立的其他类图像集获取由r个关键词{q1，…，qs，…，qr}检索形成的类图像集{X(1)，…X(s)，…，X(r)}，
运用预设的
Figure FDA0000437338090000025
模型对图像集X(s)和图像集X(t)进行两两训练，计算关键词qs检索的某一图像的置信分数
Figure FDA0000437338090000027
并将所述置信分数
Figure FDA0000437338090000028
小于第二阈值的图像数据滤去得到优化图像集合；其中，所述
Figure FDA0000437338090000029
表示对X(s)和X(t)训练模型，测试数据属于qs类的概率函数，根据所述置信分数
Figure FDA00004373380900000210
确定所述图像
Figure FDA00004373380900000211
在语义上与关键词qs的相关性，
Figure FDA00004373380900000212
7.根据权利要求6所述的方法，其特征在于，所述运用预设的
Figure FDA0000437338090000031
模型对图像集X(s)和图像集X(t)进行两两训练，计算关键词qs检索的某一图像
Figure FDA0000437338090000032
的置信分数
Figure FDA0000437338090000033
并将所述置信分数
Figure FDA0000437338090000034
小于第二阈值的图像数据滤去得到优化图像集合；其中，根据所述置信分数
Figure FDA0000437338090000035
确定所述图像
Figure FDA0000437338090000036
在语义上与关键词qs的相关性，
Figure FDA0000437338090000037
具体包括：
计算训练中图像集X(s)的数据未被模型分到图像集X(t)的概率值，判断所述激活条件
Figure FDA0000437338090000038
是否等于1；其中，
Figure FDA0000437338090000039
表示在训练中X(s)的数据未被模型分到X(t)类的比率；
当所述激活条件
Figure FDA00004373380900000310
等于1时，则计算关键词qs检索的某一图像
Figure FDA00004373380900000311
的置信分数
Figure FDA00004373380900000312
并将所述置信分数
Figure FDA00004373380900000313
小于第二阈值的图像数据滤去得到优化图像集合；
当所述激活条件
Figure FDA00004373380900000314
不等于1时，则确定所述图像集SX(s)与所述图像集X(t)为同义词，则直接将所述图像数据滤去得到优化图像集合。
8.根据权利要求1所述的方法，其特征在于，按照线性排序模型对所述高密度图像集进行排序，具体包括：
按照线性排序模型f(x；w，b)＝wTx+b对所述高密度图像集进行排序，其中w和b为待学习的模型参数，参数的学习过程是求解弹性网络支持向量机回归问题 min w , b 1 n Σ i = 1 n | w T x i + b - y i | + λ 1 | | w | | 1 + λ 2 2 w T w , yi为xi的先验权重，λ1，λ2为正则项的平衡因子。
9.一种图像检索排序的装置，其特征在于，所述装置包括：
聚类去噪模块，用于根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，以特征聚类的方式分别对所述图像集进行去噪处理得到对应的类图像集；
类间优化模块，用于将所述类图像集与所述网络图像数据库中根据已建立的其他类图像集分别两两之间进行类间优化处理，通过类间优化处理对所述类图像集中的图像进行第二次去噪处理得到优化图像集；
排序模块，用于根据置信分数对优化图像集进行加权计算并获取高密度图像集，按照线性排序模型对所述高密度图像集进行排序，得到所述图像排序结果。
10.根据权利要求9所述的装置，其特征在于，所述聚类去噪模块包括：检索单元、映射单元和筛选单元，
所述搜索单元，用于根据用户输入的关键词检索得到图像集
Figure FDA0000437338090000041
Figure FDA0000437338090000042
其中d代表图像视觉特征的维度；
所述映射单元，用于将所述图像集按照映射g(·)从原始的欧式特征空间投射到新的特征空间，使得特征空间中位于同一流形结构内的数据和离散分布的噪声图像数据分别聚合成m类{X1，…，Xc，…，Xm}∈X；
所述筛选单元，用于根据预设判断条件筛选出m类中离散点组成的类，并将所述离散点组成的类滤去得到类图像集。
11.根据权利要求10所述的装置，其特征在于，所述映射g(·)的构造方法，具体包括：
以图像集
Figure FDA0000437338090000047
中的数据为节点构造两两连接的无向有权图，其中，节点xi和xj的边的权重Wij为：(1)当i≠j时，
Figure FDA0000437338090000043
(2)当i＝j时，Wii＝0；
将所述权重Wij组成n×n矩阵W，对矩阵W的归一化处理得到S＝D-1/2WD-1/2，其中D为对角矩阵
Figure FDA0000437338090000044
构造对归一化矩阵S的拉普拉斯求逆矩阵F，得到映射映射g(·)为g：X→Rn，
Figure FDA0000437338090000045
其中，F＝(I-S)-1。
12.根据权利要求10所述的装置，其特征在于，所述筛选单元具体用于当类Xo满足不等式时，则表示所述类Xc为离散点组成的类，其中，所述不等式为：其中，S[g(xi)]为映射特征g(xi)各维度之和，
Figure FDA0000437338090000051
为求平均算符，β为第一阈值。
13.根据权利要求9-12所述的装置，其特征在于，所述根据用户输入的关键词从网络图像数据库中搜索得到关键词对应的图像集，具体为：根据用户输入一个或多个关键词从网络图像数据库中搜索分别得到每个关键词对应的图像集。
14.根据权利要求9所述的装置，其特征在于，所述类间优化模块包括获取单元和训练单元，
所述获取单元，用于从所述网络图像数据库中已建立的其他类图像集获取由r个关键词{q1，…，qs，…，qr}检索形成的类图像集{X(1)，…X(s)，…，X(r)}，
所述训练单元，用于运用预设的
Figure FDA0000437338090000052
模型对图像集X(s)和图像集X(t)进行两两训练，计算关键词qs检索的某一图像
Figure FDA0000437338090000053
的置信分数
Figure FDA0000437338090000054
并将所述置信分数
Figure FDA0000437338090000055
小于第二阈值的图像数据滤去得到优化图像集合；其中，所述
Figure FDA0000437338090000056
表示对X(s)和X(t)训练模型，测试数据属于qs类的概率函数，根据所述置信分数
Figure FDA0000437338090000057
确定所述图像
Figure FDA0000437338090000058
在语义上与关键词qs的相关性，
Figure FDA0000437338090000059
Figure FDA00004373380900000510
15.根据权利要求14所述的装置，其特征在于，所述训练单元具体用于计算训练中图像集X(s)的数据未被模型分到图像集X(t)的概率值，判断所述激活条件
Figure FDA00004373380900000511
是否等于1；其中，
Figure FDA00004373380900000512
表示在训练中X(s)的数据未被模型分到X(t)类的比率；
用于当所述激活条件
Figure FDA00004373380900000513
等于1时，则计算关键词qs检索的某一图像
Figure FDA00004373380900000514
的置信分数
Figure FDA00004373380900000515
并将所述置信分数
Figure FDA00004373380900000516
小于第二阈值的图像数据滤去得到优化图像集合；
用于当所述激活条件
Figure FDA00004373380900000517
不等于1时，则确定所述图像集X(s)与所述图像集X(t)为同义词，则直接将所述图像数据滤去得到优化图像集合。
16.根据权利要求9所述的装置，其特征在于，所述排序模块具体用于按照线性排序模型f(x；w，b)＝wTx+b对所述高密度图像集进行排序，其中w和b为待学习的模型参数，参数的学习过程是求解弹性网络支持向量机回归问题 min w , b 1 n Σ i = 1 n | w T x i + b - y i | + λ 1 | | w | | 1 + λ 2 2 w T w , yi为xi的先验权重，λ1，λ2为正则项的平衡因子。
CN201310690505.0A 2013-12-13 2013-12-13 一种图像检索排序的方法及装置 Active CN103699612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310690505.0A CN103699612B (zh) 2013-12-13 2013-12-13 一种图像检索排序的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310690505.0A CN103699612B (zh) 2013-12-13 2013-12-13 一种图像检索排序的方法及装置

Publications (2)

Publication Number Publication Date
CN103699612A true CN103699612A (zh) 2014-04-02
CN103699612B CN103699612B (zh) 2017-10-13

Family

ID=50361140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310690505.0A Active CN103699612B (zh) 2013-12-13 2013-12-13 一种图像检索排序的方法及装置

Country Status (1)

Country Link
CN (1) CN103699612B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995857A (zh) * 2014-05-14 2014-08-20 北京奇虎科技有限公司 一种实现图像搜索排序的方法和装置
CN107004140A (zh) * 2014-12-05 2017-08-01 星球智能有限责任公司 文本识别方法和计算机程序产品
CN109934194A (zh) * 2019-03-20 2019-06-25 深圳市网心科技有限公司 图片分类方法、边缘设备、系统及存储介质
CN111046209A (zh) * 2019-12-09 2020-04-21 中国科学院自动化研究所 图像聚类检索系统
CN111382295A (zh) * 2018-12-27 2020-07-07 北京搜狗科技发展有限公司 一种图像搜索结果的排序方法和装置
CN114676279A (zh) * 2022-05-25 2022-06-28 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130013591A1 (en) * 2011-07-08 2013-01-10 Microsoft Corporation Image re-rank based on image annotations
CN103020265A (zh) * 2012-12-25 2013-04-03 深圳先进技术研究院 图像检索的方法和系统
CN103064941A (zh) * 2012-12-25 2013-04-24 深圳先进技术研究院 图像检索方法和装置
CN103064939A (zh) * 2012-12-25 2013-04-24 深圳先进技术研究院 数据重排序方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130013591A1 (en) * 2011-07-08 2013-01-10 Microsoft Corporation Image re-rank based on image annotations
CN103020265A (zh) * 2012-12-25 2013-04-03 深圳先进技术研究院 图像检索的方法和系统
CN103064941A (zh) * 2012-12-25 2013-04-24 深圳先进技术研究院 图像检索方法和装置
CN103064939A (zh) * 2012-12-25 2013-04-24 深圳先进技术研究院 数据重排序方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN CAO,SHIFENG CHEN,CHANGQING ZOU,JIANZHUANG LIU: "Locating High-density Clusters with Noisy Queries", 《INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION 2012》 *
CHEN CAO,SHIFENG CHEN,YUHONG LI: "Online Non-feedback Image Re-ranking via Dominant Data Selection", 《ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA 2012》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995857A (zh) * 2014-05-14 2014-08-20 北京奇虎科技有限公司 一种实现图像搜索排序的方法和装置
CN107004140A (zh) * 2014-12-05 2017-08-01 星球智能有限责任公司 文本识别方法和计算机程序产品
CN107004140B (zh) * 2014-12-05 2021-01-12 星球智能有限责任公司 文本识别方法和计算机程序产品
CN111382295A (zh) * 2018-12-27 2020-07-07 北京搜狗科技发展有限公司 一种图像搜索结果的排序方法和装置
CN111382295B (zh) * 2018-12-27 2024-04-30 北京搜狗科技发展有限公司 一种图像搜索结果的排序方法和装置
CN109934194A (zh) * 2019-03-20 2019-06-25 深圳市网心科技有限公司 图片分类方法、边缘设备、系统及存储介质
CN111046209A (zh) * 2019-12-09 2020-04-21 中国科学院自动化研究所 图像聚类检索系统
CN114676279A (zh) * 2022-05-25 2022-06-28 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN114676279B (zh) * 2022-05-25 2022-09-02 腾讯科技（深圳）有限公司 图像检索方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN103699612B (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
US11604822B2 (en) Multi-modal differential search with real-time focus adaptation
USRE47340E1 (en) Image retrieval apparatus
CN103699612B (zh) 一种图像检索排序的方法及装置
CN106021362B (zh) 查询式的图片特征表示的生成、图片搜索方法和装置
CN103559504B (zh) 图像目标类别识别方法及装置
CN110472082B (zh) 数据处理方法、装置、存储介质及电子设备
Li et al. Harvesting social images for bi-concept search
WO2019015246A1 (zh) 图像特征获取
US20160217158A1 (en) Image search method, image search system, and information recording medium
CN110674407A (zh) 基于图卷积神经网络的混合推荐方法
CN104573130B (zh) 基于群体计算的实体解析方法及装置
WO2015165372A1 (en) Method and apparatus for classifying object based on social networking service, and storage medium
CN104166684A (zh) 一种基于统一稀疏表示的跨媒体检索方法
CN108388639B (zh) 一种基于子空间学习与半监督正则化的跨媒体检索方法
CN112347352A (zh) 一种课程推荐方法、装置及存储介质
Yin et al. Long-term cross-session relevance feedback using virtual features
Zhang et al. Latent tree analysis
CN112765362A (zh) 基于改进自编码器的知识图谱实体对齐方法及相关设备
Zhu et al. Multimodal sparse linear integration for content-based item recommendation
Mironica et al. Fisher kernel based relevance feedback for multimodal video retrieval
Moran et al. Optimal Tag Sets for Automatic Image Annotation.
CN108510080A (zh) 一种基于dwh模型对多关系型数据的多角度度量学习方法
CN117112784B (zh) 一种文献识别与技术路径演化的实现方法
CN102368266A (zh) 一种用于网络搜索的无标注图片的排序方法
CN109241146B (zh) 集群环境下的学生智助方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant