CN107423294A - 一种社群图像检索方法及系统 - Google Patents

Abstract

本发明属于社群图像检索领域，提出一种社群图像检索方法，包括步骤一、图像局部特征提取，步骤二、图像全局上下文特征提取，步骤三、通过视觉单词训练，获得局部特征视觉字典与全局上下文特征视觉字典，步骤四、图像特征量化，步骤五、生成倒排序索引文件，步骤六、图像检索。提出一种社群图像检索系统，包括图像局部特征提取模块、图像全局特征提取模块、获取视觉字典模块、图像特征量化模块、排序索引文件模块、图像检索模块。采用本发明方法及系统提高了图像检索的准确率与召回率。

Description

一种社群图像检索方法及系统

技术领域

本发明涉及互联网社群图像检索技术领域，尤其涉及一种社群图像检索方法及系统。

背景技术

随着互联网技术的不断发展，尤其是web2.0的快速发展，各种类型的多媒体信息资源急剧增长，要从这个茫茫的信息海洋中快速、有效的找到自己所需要的资源，变得越来越困难。近几年来，社交媒体网站Facebook，Yahoo的社交图像分享网站Flicker等等，每天都会产生容量相当大的图像数据，如何有效的处理与利用这些海量的图像信息，成为当前计算机视觉领域的一个研究热点，而从海量图像数据信息当中，快速准确地检索到满足用户检索意图的图像信息，更是信息检索领域一项重要的研究课题。

丰富的多媒体信息出现，极大的推动了大规模信息检索系统的发展。目前比较常用的图像检索系统大致分为两类：一、基于关键字的图像检索(Text-based imageretrieval,TBIR)，比如天津大学硕士毕业论文，基于双关键字的图像检索模型及系统。二、基于内容的图像检索(Content-based image retrieval,CBIR)。其中基于关键字的图像检索仅仅利用网络用户标注的信息进行检索，由于大部分网络用户没有受过专门的图像信息标注训练，同时也受到其个人的文化背景、个人因素等影响，故图像存在标注信息与图像本身相关度不大等问题，并且标注的信息相关性、重要性等方面，不能够由现有的标注信息次序所反映。而基于内容的图像检索主要是利用图像的局部信息或者图像的全局信息进行描述，图像的全局信息描述的图像的局部特征分布，并不能反映图像的整体信息。

发明内容

本发明需要解决的技术问题是：针对上述技术缺陷，本发明提出了一种社群图像检索方法，包括如下步骤：

步骤一、图像局部特征提取，

步骤二、图像全局上下文特征提取，

步骤三、通过视觉单词训练，获得局部特征视觉字典与全局上下文特征视觉字典，

步骤四、图像特征量化，

步骤五、生成倒排序索引文件，

步骤六、图像检索。

优选的是，所述步骤一中采用SIFT特征提取方法提取图像局部特征。

上述任一实施方式中优选的是，所述步骤二中图像全局上下文特征提取包括：

(1)图像边缘检测；

(2)全局上下文区域选取；

(3)全局上下文形状特征描述。

上述任一实施方式中优选的是，所述步骤(1)中图像边缘检测是采用canny边缘检测算法检测图像的边缘信息。

上述任一实施方式中优选的是，所述步骤(2)中全局上下文区域选取具体方法如下：

以步骤(1)中检测到的特征点X＝(x,y)^T为基准，则降采样后的坐标点为以圆心，画一个半径为r＝k*σ的圆，以所述圆作为特征点X＝(x,y)^T的上下文区域，其中σ为特征点的尺度信息,k控制半径的大小，同时以特征点的方向为基准，将k*σ的圆划分成60个区域，角度方向划分成12等份，则每个角的大小为半径方向分成5个区间，以特征点为圆心，半径以进行增长。

上述任一实施方式中优选的是，所述步骤(3)中全局上下文形状特征描述是在步骤(2)划分的每个区域中，统计每个区域边缘点的个数。

上述任一实施方式中优选的是，所述步骤四中图像特征量化中局部特征量化过程为：

s.t.Wl_i∈Wl

其中，Local_j是图像的第j个局部特征。

上述任一实施方式中优选的是，所述步骤四中图像特征量化中全局特征量化过程为：

s.t.Wg_i∈Wg

其中，Global_j是图像的第j个全局特征。

上述任一实施方式中优选的是，所述步骤五中生成倒排序索引文件过程中描述视觉单词重要程度如下：

其中N表示图像的数量，||LWordList_i||₀表示局部特征索引列表，LWordList_i包含实体的数量，||GWordList_i||₀表示全局特征索引列表，GWordList_i包含实体的数量。

上述任一实施方式中优选的是，所述步骤六中图像检索是计算查询图像与图像库中图像之间的相似度。

上述任一实施方式中优选的是，所述查询图像与图像库中图像之间的相似度为：

score＝λ*scoreGlobal_ji+(1-λ)*scoreLocal_ji,λ∈(0,1]

其中，λ表示全局特征的权重，scoreLocal为局部特征相似度，scoreGlobal全局上下文特征相似度。。

本发明又提出了一种社群图像检索系统，包括图像局部特征提取模块，其特征在于：还包括图像全局特征提取模块、获取视觉字典模块、图像特征量化模块、排序索引文件模块、图像检索模块；所述图像局部特征提取模块用于提取图像的局部特征，所述图像全局特征提取模块用于提取图像全局上下文特征，所述获取视觉字典模块通过视觉单词训练，获得局部特征视觉字典与全局上下文特征视觉字典，所述图像特征量化模块用于找到与每一个局部特征、全局上下文特征最相近的视觉单词，所述排序索引文件模块用于描述图像信息，所述图像检索模块用于计算查询图像与图像库中图像之间的相似度。

上述任一实施方式中优选的是，所述图像局部特征提取模块采用SIFT特征提取方法提取图像局部特征。

上述任一实施方式中优选的是，所述图像全局特征提取模块通过图像边缘检测、全局上下文区域选取、全局上下文形状特征描述获取图像全局上下文特征。

上述任一实施方式中优选的是，所述图像检索模块中查询图像与图像库中图像之间的相似度为：

score＝λ*scoreGlobal_ji+(1-λ)*scoreLocal_ji,λ∈(0,1]

其中，λ表示全局特征的权重，scoreLocal为局部特征相似度，scoreGlobal全局上下文特征相似度。

与现有的图像检索方法及相比，本发明具有以下明显优势：

(1)相对于传统的图像检索方法，基于视觉内容的图像检索，从图像本身包含的语义信息出发，更能精确的描述图像；

(2)本发明融合了多种特征，不仅考虑了图像的局部信息，而且考虑了图像的全局上下文形状信息。图像的全局特征正好可以弥补局部特征不能反映图像的整体信息这个缺陷，所以本发明提高了图像检索的准确率与召回率。

(3)利用多个视觉词袋对图像特征进行描述，以及倒排序索引文件方法，并不影响图像的检索速率。

附图说明

图1是按照本发明社群图像检索方法在实施例中示出的流程图。

图2是按照本发明社群图像检索方法中提取的图像局部特征点示意图。

图3是按照本发明社群图像检索方法中图像全局上下文信息示意图。

图4是按照本发明社群图像检索方法中倒排序索引文件结构图。

具体实施方式

下面结合附图对本发明作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本发明进行进一步的说明，不能理解为对本发明保护范围的限制，该领域的技术人员可以根据上述发明内容对本发明作出一些非本质的改进和调整。

本发明所述方法的流程图如图1所示，包括以下步骤：

步骤1，图像局部特征提取。

利用现有的SIFT(Scale Invariant Feature Transform)特征提取方法，通过构建尺度空间，检测极值点，获得尺度不变性，特征点过滤并进行精确定位得到极值点的精确坐标与尺度，为特征点分配主方向，生成128维的特征描述子，得到图像的局部特征。

假设图像库中的N图像可表示为对于每一幅图像I_i，利用SIFT提取算法得到图像的局部信息d_i表示第i幅图像特征的数目，特征向量Local_j包括特征点的坐标、尺度、角度、特征描述子信息，一共132维信息，如图2所示。

步骤2，图像全局上下文特征提取。

步骤2.1，图像边缘检测

利用canny边缘检测算法检测图像的边缘信息，同时为了提高后续全局上下文形状特征的效率，将得到的边缘图像降采样到原来的factor倍，factor一般可取值也可以视图像的大小来决定降采样因子。

步骤2.2，全局上下文区域选取

以步骤1中检测到的特征点X＝(x,y)^T为基准，则降采样后的坐标点为以圆心，画一个半径为r＝k*σ的圆，以这个圆作为特征点X＝(x,y)^T的上下文区域，其中σ为特征点的尺度信息,k控制半径的大小。同时以特征点的方向为基准，将k*σ的圆划分成60个区域。如图3所示，角度方向划分成12等份，则每个角的大小为半径方向分成5个区间，以特征点为圆心，半径以进行增长。即以半径方向，第一个区域的半径取值范围为第二个区域的半径取值范围为以此类推，最后一个区域的半径取值范围为

步骤2.3，全局上下文形状特征描述

在步骤2.2划分的每个区域中，统计每个区域边缘点的个数，即为特征点的全局上下文形状特征。假设某个边缘点的坐标可以表示为X′＝(x′,y′)^T，则角度的索引值可以通过以下公式计算得到：

其中θ为特征点的角度信息。

半径方向的索引值为：

其中r表示步骤2.2中选定的半径大小。

统计每个区域边缘点的个数，得到直方图H_angle,d，并进行归一化维度为60。归一化之后的特征H即为特征点X＝(x,y)^T相对应的全局上下文特征，从而对于每一个局部特征都可以提取的相对应的全局上下文特征

步骤3，通过视觉单词训练，获得局部特征视觉字典与全局上下文特征视觉字典。

对于上述提取的局部特征以及全局上下文形状信息，利用两个视觉词典对其进行描述。为了提高视觉单词的通用性，从独立图像库Flickr60k中提取的局部特征以及全局上下文形状信息进行训练。对于上述提取的局部特征与全局上下文特征，利用两个视觉词袋模型对其进行描述。对视觉单词的训练可以利用k-means聚类方法，但是传统的k-means聚类方法随着特征点数目的增加，耗费的时间也越来越长，因此，利用FLANN算法对视觉单词进行训练，得到两个视觉字典，分别为局部特征视觉字典Wl＝{Wl₁,Wl₂,Wl₃,......,Wl_{k_local}}，与全局上下文特征视觉字典Wg＝{Wg₁,Wg₂,Wg₃,......,Wg_{k_global}}，其中k_local表示局部特征字典的个数，k_global表示全局上下文特征视觉单词的数量。词典的每一个元素代表一个视觉词汇，也就是特征点的聚类中心。

步骤4，图像特征量化编码。

此步骤中主要利用步骤3得到的两个视觉单词对检索图像库中的图像局部特征与全局上下文特征进行编码，即找到与每一个局部特征Local_j、全局上下文特征Global_j最相近的视觉单词Wl^*，Wg^*。局部特征量化过程可表示为，

s.t.Wl_i∈Wl

对于全局特征量化过程可以表示为，

s.t.Wg_i∈Wg

利用最相近的视觉单词描述特征点的局部特征以及全局上下文特征，量化之后的特征可以描述为

步骤5，生成倒排序索引文件。

利用视觉单词直方图描述得到的信息，往往较为稀疏，因此，可以利用倒排序索引文件描述图像信息，其中M表示视觉词典的大小，WordList_i表示视觉单词Word_i对应的特征索引列表，这样既节省了后续图像检索的速率，而且避免了直方图信息描述的稀疏性。对于每一个特征索引列表WordList_i表示为WordList_i＝{imgID,Tf,othermeta}ⁿ，其中imgID记录该特征点来自于哪一幅图像，Tf表示此特征点在imgID图像中出现的次数，othermeta表示其他元素信息，可以为特征点的坐标信息，汉明编码信息等等。具体结构信息如图4所示。

对于图像库中的每一幅图像，利用倒排序索引文件对图像的特征点进行描述，对于两个视觉字典Wg＝{Wg₁,Wg₂,Wg₃,......,Wg_{k_global}}、Wl＝{Wl₁,Wl₂,Wl₃,......,Wl_{k_local}}，建立两个倒排序索引文件，分别为：同时根据InvertedFileLocal与InvertedFileGlobal倒排序索引文件，可以得到Wl_i、Wg_i逆词频，用来描述单词Wl_i、Wg_i在图像中的描述能力:

其中N表示图像的数量，而||LWordList_i||₀表示局部特征索引列表LWordList_i包含实体的数量，||GWordList_i||₀表示全局特征索引列表GWordList_i包含实体的数量。

步骤6，图像检索。

对于查询图像表示为利用步骤1、步骤2提取查询图像局部特征信息与全局上下文形状信息，同时利用步骤4得到量化之后的局部特征与全局上下文特征，对于每一个局部特征与全局上下文特征找到相对应的特征索引列表，并通过特征索引列表中存的imgID信息，以及Tf信息，计算查询图像query_j与图像库中图像之间的相似度。

假设一幅查询图像query，与图像库中任意一副图像I的局部特征的相似度可以描述为：

其中||h_query||₂、||h_I||₂分别为图像query、I相对应的视觉单词频率直方图h_query、h_I的二范数，分别表示图像query、I中的某一个量化之后的局部特征点。

类似地全局上下文特征相似度得分可以得到：

最终局部特征得到的相似度为全局上下文特征得到的相似度为则查询图像query_j与图像库中图像最终的相似度为

score＝λ*scoreGlobal_ji+(1-λ)*scoreLocal_ji,λ∈(0,1]

其中λ表示全局特征的权重，scoreLocal为局部特征相似度，scoreGlobal全局上下文特征相似度。

本发明的一种社群图像检索系统，包括图像局部特征提取模块、图像全局特征提取模块、获取视觉字典模块、图像特征量化模块、排序索引文件模块、图像检索模块；所述图像局部特征提取模块用于提取图像的局部特征，所述图像全局特征提取模块用于提取图像全局上下文特征，所述获取视觉字典模块通过视觉单词训练，获得局部特征视觉字典与全局上下文特征视觉字典，所述图像特征量化模块用于找到与每一个局部特征、全局上下文特征最相近的视觉单词，所述排序索引文件模块用于描述图像信息，所述图像检索模块用于计算查询图像与图像库中图像之间的相似度。

所述图像局部特征提取模块采用SIFT特征提取方法提取图像局部特征。

所述图像全局特征提取模块通过图像边缘检测、全局上下文区域选取、全局上下文形状特征描述获取图像全局上下文特征。其中，图像边缘检测中利用canny边缘检测算法检测图像的边缘信息，同时为了提高后续全局上下文形状特征的效率，将得到的边缘图像降采样到原来的factor倍，factor一般可取值也可以视图像的大小来决定降采样因子。全局上下文区域选取中以检测到的特征点X＝(x,y)^T为基准，则降采样后的坐标点为以圆心，画一个半径为r＝k*σ的圆，以这个圆作为特征点X＝(x,y)^T的上下文区域，其中σ为特征点的尺度信息,k控制半径的大小。同时以特征点的方向为基准，将k*σ的圆划分成60个区域。如图3所示，角度方向划分成12等份，则每个角的大小为半径方向分成5个区间，以特征点为圆心，半径以进行增长。即以半径方向，第一个区域的半径取值范围为第二个区域的半径取值范围为以此类推，最后一个区域的半径取值范围为

所述图像检索模块中查询图像与图像库中图像之间的相似度为：

score＝λ*scoreGlobal_ji+(1-λ)*scoreLocal_ji,λ∈(0,1]

其中，λ表示全局特征的权重，scoreLocal为局部特征相似度，scoreGlobal全局上下文特征相似度。

Claims (10)

1.一种社群图像检索方法，包括步骤一、图像局部特征提取，其特征在于：还包括以下步骤：

步骤二、图像全局上下文特征提取，

步骤三、通过视觉单词训练，获得局部特征视觉字典与全局上下文特征视觉字典，

步骤四、图像特征量化，

步骤五、生成倒排序索引文件，

步骤六、图像检索。

2.根据权利要求1所述的社群图像检索方法，其特征在于：所述步骤一中采用SIFT特征提取方法提取图像局部特征。

3.根据权利要求1所述的社群图像检索方法，其特征在于：所述步骤二中图像全局上下文特征提取包括：

(1)图像边缘检测；

(2)全局上下文区域选取；

(3)全局上下文形状特征描述。

4.根据权利要求3所述的社群图像检索方法，其特征在于：所述步骤(1)中图像边缘检测是采用canny边缘检测算法检测图像的边缘信息。

5.根据权利要求3所述的社群图像检索方法，其特征在于：所述步骤(2)中全局上下文区域选取包括：

以步骤(1)中检测到的特征点X＝(x,y)^T为基准，则降采样后的坐标点为以圆心，画一个半径为r＝k*σ的圆，以所述圆作为特征点X＝(x,y)^T的上下文区域，其中σ为特征点的尺度信息,k控制半径的大小，同时以特征点的方向为基准，将k*σ的圆划分成60个区域，角度方向划分成12等份，则每个角的大小为半径方向分成5个区间，以特征点为圆心，半径以进行增长。

6.根据权利要求3所述的社群图像检索方法，其特征在于：所述步骤(3)中全局上下文形状特征描述是在步骤(2)划分的每个区域中，统计每个区域边缘点的个数。

7.根据权利要求1所述的社群图像检索方法，其特征在于：所述步骤四中图像特征量化中局部特征量化过程为：

<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>i</mi> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>Local</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>Wl</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow>

s.t.Wl_i∈Wl

其中，Local_j是图像的第j个局部特征。

8.根据权利要求1所述的社群图像检索方法，其特征在于：所述步骤四中图像特征量化中全局特征量化过程为：

<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>i</mi> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>Global</mi> <mi>j</mi> </msub> <mo>-</mo> <msub> <mi>Wg</mi> <mi>i</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow>

s.t.Wg_i∈Wg

其中，Global_j是图像的第j个全局特征。

9.根据权利要求1所述的社群图像检索方法，其特征在于：所述步骤五中生成倒排序索引文件过程中描述视觉单词重要程度如下：

<mrow> <mi>I</mi> <mi>D</mi> <mi>F</mi> <mo>_</mo> <msub> <mi>Wl</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mfrac> <mi>N</mi> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>LWordList</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>0</mn> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>,</mo> <mi>I</mi> <mi>D</mi> <mi>F</mi> <mo>_</mo> <msub> <mi>Wg</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mrow> <mo>(</mo> <mfrac> <mi>N</mi> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>GWordList</mi> <mi>i</mi> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>0</mn> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>

其中N表示图像的数量，||LWordList_i||₀表示局部特征索引列表，LWordList_i包含实体的数量，||GWordList_i||₀表示全局特征索引列表，GWordList_i包含实体的数量。

10.根据权利要求1所述的社群图像检索方法，其特征在于：所述步骤六中图像检索是计算查询图像与图像库中图像之间的相似度。