CN102521618A - 局部描述子的提取方法、图片检索方法及图像匹配方法 - Google Patents
局部描述子的提取方法、图片检索方法及图像匹配方法 Download PDFInfo
- Publication number
- CN102521618A CN102521618A CN2011103581811A CN201110358181A CN102521618A CN 102521618 A CN102521618 A CN 102521618A CN 2011103581811 A CN2011103581811 A CN 2011103581811A CN 201110358181 A CN201110358181 A CN 201110358181A CN 102521618 A CN102521618 A CN 102521618A
- Authority
- CN
- China
- Prior art keywords
- sub
- dictionary
- interest
- local description
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000011002 quantification Methods 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 19
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 5
- 244000188472 Ilex paraguariensis Species 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种局部描述子的提取方法、图片检索方法及图像匹配方法,其中,提取方法包括:获取预检索的目标图片的一个以上的兴趣点;获取所述目标图片中与每一兴趣点对应的N个子扇区;针对每一兴趣点,根据N个子扇区中每一子扇区内部的像素建立像素梯度方向直方图,得到与N个子扇区对应的N个多维原始子局部描述子;将每一多维原始子局部描述子与预置权重相乘,得到N个多维加权子局部描述子;在预置的量化词典中查找与所述多维加权子局部描述子相似的视觉单词,得到与每一兴趣点对应的N个视觉单词;将查找的所有兴趣点的所有视觉单词组成所述目标图片的局部描述子。上述提取方法获取的局部描述子具有较好的判决力。
Description
技术领域
本发明涉及图像检索技术,尤其涉及一种紧凑性的局部描述子的提取方法及使用提取方法的图片检索方法、图像匹配方法。
背景技术
现有技术中的图像检索方法包括:第一步,客户端获取待查询目标图片的局部描述子;第二步,客户端将局部描述子发送至服务端;第三步,服务端根据局部描述子在服务端内的数据库中查找相似图片,并将查找的相似图片发送至客户端。
为保证局部描述子能够正确表示目标图片,现有技术中在客户端获取的局部描述子为尺度不变描述子(Scale Invariant Feature Transform,简称:SIFT)或快速鲁棒的尺度不变特征(Speeded Up Robust Features,简称:SURF)。然而,上述SIFT和SURF均为多维向量的局部描述子,该局部描述子占用的空间比较大,由于网络带宽的限制,客户端无法较快的将上述局部描述子发送至服务端。进一步地,服务端根据占用空间较大的局部描述子查找相似图片也非常迟缓,进而严重影响了检索系统的查询响应时间,降低了查询效率。
为此,业内人士改进了上述的局部描述子,采用线性判别分析方法将上述高维向量的SIFT转化为低维向量的主成分分析尺度不变描述子(Principal Component Analysis-SIFT,简称:PCA-SIFT)。然而,经由多次实验验证,该PCA-SIFT降低了局部描述子的区分能力,其查找的相似图片的匹配度低,结果不准确。
发明内容
本发明提供一种局部描述子的提取方法,该提取方法获取的局部描述子相对于现有技术中的局部描述子具有较高的区分能力。
本发明还提供一种图片检索方法,用于解决现有技术中检索系统的查询响应时间长、查询效率低的问题。
本发明还提供一种图像匹配方法,用于较准确的查找与目标图片匹配的图像。
为实现上述第一个目的,本发明提供的局部描述子的提取方法,包括:
获取预检索的目标图片的一个以上的兴趣点;
根据预置规则获取所述目标图片中与每一兴趣点对应的N个子扇区,N为整数,且大于等于3;
针对每一兴趣点,根据所述N个子扇区中每一子扇区内部的像素建立像素梯度方向直方图,得到与所述N个子扇区对应的N个多维原始子局部描述子;
将每一多维原始子局部描述子与预置权重相乘,得到N个多维加权子局部描述子,所述预置权重为多维向量,所述预置权重的维数与所述多维原始子局部描述子的维数相同;
在预置的量化词典中查找与所述多维加权子局部描述子相似的视觉单词,得到与每一兴趣点对应的N个视觉单词;
将查找的所有兴趣点的所有视觉单词组成所述目标图片的局部描述子。
由上述技术方案可知,本发明的局部描述子的提取方法,针对目标图片获取N个多维加权子局部描述子,并在预置的量化词典中查找与多维加权子局部描述子相似的视觉单词,并将该些视觉单词组成局部描述子,该局部描述子相对于现有技术中的局部描述子的区分能力的到较大的提高。
为实现上述第二个目的,本发明还提供一种图片检索方法,其包括:
客户端获取预检索的目标图片的一个以上的兴趣点;
所述客户端根据预置规则获取所述目标图片中与每一兴趣点对应的N个子扇区,N取整数,且大于等于3;
针对每一兴趣点,所述客户端根据所述N个子扇区中每一子扇区内部的像素建立像素梯度方向直方图,得到与所述N个子扇区对应的N个多维原始子局部描述子;
所述客户端采将每一多维原始子局部描述子与预置权重相乘,得到N个多维加权子局部描述子,所述预置权重为多维向量,所述预置权重的维数与所述多维原始子局部描述子的维数相同;
所述客户端在预置的量化词典中查找与所述多维加权子局部描述子相似的视觉单词及该视觉单词的位置标识符,得到与每一兴趣点对应的N个位置标识符;
所述客户端将所有兴趣点的所有位置标识符压缩并发送至服务端;
其中,所述量化词典与所述服务端的量化词典相同。
本发明还提供一种图片检索方法,其包括:
服务端接收客户端发送的压缩的位置标识符;
所述服务端对所述位置标识符解压缩,得到一组以上的位置标识符;针对每一组的位置标识符,在预置的量化词典中查找与所述位置标识符对应的视觉单词,将查找的所有的视觉单词作为目标视觉单词;
所述服务端在预置的原始视觉单词索引表中查找与所述目标视觉单词匹配的原始视觉单词,根据查找的原始视觉单词获得与所述原始视觉单词对应的结果信息;
所述服务端将所述结果信息发送至所述客户端;
其中,所述量化词典与所述客户端的量化词典相同。
由上述技术方案可知,本发明的图片检索方法,可较好的降低图片检索时的查询响应时间,使得图片检索的效率提高,以及提高了检索结果的准确性。
为实现第三个目的,本发明还提供一种图像匹配方法,其包括:
服务端接收客户端发送的压缩的位置标识符;
所述服务端对所述位置标识符解压缩,得到一组以上的位置标识符,并与服务端待匹配图像中的一组以上的原始位置标识符进行匹配;
具体地,针对每一个位置标识符,在所述服务端的任一组原始位置标识符中查找与所述位置标识符的第一距离和第二距离的原始位置标识符,所述第一距离为所述位置标识符与所述原始位置标识符的距离最小,所述第二距离为所述位置标识符与所述原始位置标识符的距离次小;
若所述第一距离与所述第二距离的比值小于预设阈值,则所述位置标识符与所述原始位置标识符相匹配;
其中,所述第一距离和所述第二距离在预设的距离表格中查找获得,所述距离表格中的任一距离为与原始位置标识符对应的视觉单词间的欧式距离。
由上述技术方案可知,本发明的图像匹配方法,能够在服务端快速查找到与目标图片相匹配的图片,进而较好的降低图像匹配时的等待时间,使得图像匹配的效率提高,且提高了结果的准确性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作一简单地介绍,显而易见地:下面附图只是本发明的一些实施例的附图,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得同样能实现本发明技术方案的其它附图。
图1为本发明一实施例提供的局部描述子的提取方法的流程示意图;
图2A为本发明一实施例提供的目标图片的子扇区的示意图;
图2B和图2C为本发明一实施例提供的训练图片的示意图;
图3为图1所示的提取方法中所使用的权重的一种计算方法的流程示意图;
图4为图1所示的提取方法中所使用的量化词典的一种获取方法的流程示意图;
图5为本发明一实施例提供的图片库中一图片的扇区的示意图;
图6A为本发明一实施例提供的图片检索方法的流程示意图;
图6B示出了本发明中客户端获取位置标识符的示意图;
图7A为本发明另一实施例提供的图片检索方法的流程示意图;
图7B示出了本发明中服务端获取目标图片的局部描述子的示意图;
图8为本发明一实施例提供的图像匹配方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明的技术方案进行清楚、完整地描述。显然,下述的各个实施例都只是本发明一部分的实施例。基于本发明下述的各个实施例,本领域普通技术人员即使没有作出创造性劳动,也可以通过等效变换部分甚至全部的技术特征,而获得能够解决本发明技术问题,实现本发明技术效果的其它实施例,而这些变换而来的各个实施例显然并不脱离本发明所公开的范围。
结合图1和图2A所示,图1为本发明一实施例提供的局部描述子的提取方法的流程示意图,图2A为本发明一实施例提供的目标图片的子扇区的示意图;本实施例中的局部描述子的提取方法如下文所述。
步骤101、获取预检索的目标图片的一个以上的兴趣点。
本实施例中的目标图片可为任意一张图片,例如目标图片可为具有文字或绘图的照片、油画照片、从视频中截取的帧、地标照片以及物品照片等,本实施例中对目标图片的类型和图片内容不进行限定。
在实际应用中,获取预检索的目标图片的兴趣点的方式还可为:将目标图片与拉普拉斯核函数进行卷积;采用极值点方式获取所述卷积后的目标图片的一个以上的兴趣点。通常,获取一张照片中的兴趣点为400至500个。
当然,在一些情况下,还可由用户根据需要直接指定兴趣点的提取方法,本实施例中对目标图片的兴趣点的获取方式仅为举例说明。
步骤102、根据预置规则获取目标图片中与每一兴趣点对应的N个子扇区,N取整数,且大于等于3。
本实施例中的预置规则为用户预先设定的获取N个子扇区的方式。通常,各兴趣点的子扇区不重合。
以下举例说明一个兴趣点的9个子扇区的获取方式,参照图2A所示。
在目标图片20中选取兴趣点21为中心,半径为R1、R2、R3的三个同心圆,其中,R1<R2<R3;
将R1与R2之间的圆环均等划分为四个相等的第一区域B1、B2、B3、B4,以及将R2与R3之间的圆环均等划分为四个相等的第二区域C1、C2、C3、C4;
上述半径为R1的圆形、B1、B2、B3、B4、C1、C2、C3、C4组成与兴趣点21对应的9个子扇区。
在一些情况下,可以设定R3=2*R2=4*R1。通常,如果采用的兴趣点提取方法能够提供尺度信息,可以设定R3为尺度的大小。
步骤103、针对每一兴趣点,根据N个子扇区中每一子扇区内部的像素建立像素梯度方向直方图,得到与N个子扇区对应的N个多维原始子局部描述子。
步骤104、针对每一兴趣点的N个多维原始子局部描述子,将每一多维原始子局部描述子与预置权重相乘,得到N个多维加权子局部描述子。
在具体应用过程中,可预先设定一多维向量的权重,该权重的维数与多维原始子局部描述子的维数是相同的。
当然,预先设定的权重是业内人士通过一组或多组的训练图片试验获取的向量。本发明举例说明了一种获取权重的方法,如下图3的描述。
步骤105、针对每一兴趣点的N个多维加权子局部描述子,在预置的量化词典中查找与多维加权子局部描述子相似的视觉单词,进而将查找的所有兴趣点的所有视觉单词组成目标图片的局部描述子。
在实际的图片检索过程中,预置的量化词典可包括N个子量化词典,每一子量化词典对应一多维加权子局部描述子;此时,步骤105可具体为:
每一兴趣点的每一多维加权子局部描述子在其对应的子量化词典中查找与该多维加权子局部描述子相似的视觉单词,并用该查找的视觉单词代替多维加权子局部描述子;
最后将查找的所有兴趣点的所有视觉单词组成目标图片的局部描述子。
步骤105中所述的“相似”可为根据相似性度量原则获取的最相似的视觉词典。通常的相似性度量原则可采用Kullback-Leibler差异(Kullback-LeiblerDivergence,简称:KL距离)进行度量。
需要说明的是,在实际的图片检索过程中,位于客户端的量化词典或子量化词典均是从服务器端下载更新的。或者,在客户端采用图片检索之前可获取量化词典或子量化词典。下文通过图4流程图示意性的说明服务端/客户端如何获取量化词典/子量化词典的过程。
由上述实施例可知,本实施例的局部描述子的提取方法,针对目标图片获取N个多维加权子局部描述子,并在预置的量化词典中查找与多维加权子局部描述子相似的视觉单词,并将该些视觉单词组成局部描述子,该局部描述子相对于现有技术中的局部描述子来说,空间占有率低,且区分能力高即保证了局部描述子的判决力。
结合图2B、2C和图3所示,图3示出了本发明中的预置权重的计算方法,其中,预置权重的计算方法包括:
步骤301、在预置的一组以上的训练图片中建立一组以上的三维点云,每一组三维点云包括若干个三维点,该些三维点对应一组训练图片。
特别地,可利用现有技术中的局部立体匹配和多视角一致性限制为一组训练图片产生一组或多组三维点云。
举例来说,上述的一组训练图片可为同一建筑物在不同角度拍摄的十张图片(如图2B、图2C所示的一组训练图片中的两张图片),该十张风景图片包括基本相同的内容,但每一张风景图片的拍摄角度均不同。
步骤302、获取三维点云在与所述三维点云对应的训练图片中的原始子局部描述子,得到一组以上的原始子局部描述子。
也就是说,针对三维点云中的一个三维点,获得与其对应的训练图像及该三维点在所述训练图像中的投影位置,以所述投影位置为中心获取原始子局部描述子。
举例来说,若从上述十张风景图片中选取了一组三维点云,则将该三维点云投影到每一张风景图片上,该每一张风景图片上的投影点可理解为该风景图片的兴趣点;
此时,获取各风景图片中的每一个兴趣点的N个子扇区,以及将每一子扇区内部的像素建立像素梯度方向直方图,进而得到与三维点云对应的原始子局部描述子,一组三维点云对应一组原始子局部描述子。
举例来说,一组训练图片对应的一组三维点云包括三个三维点,该三个三维点投影到该组训练图片中,该组训练图片的每一张训练图片获得9个兴趣点;
同上步骤102、步骤103中获取多维原始子局部描述子的方式,获取每一训练图片的所有兴趣点的原始子局部描述子;若每一兴趣点对应4个子扇区,则每一张训练图片可获的4*9个原始子局部描述子。
可以理解的是,该处风景图片的每一个兴趣点的N个子扇区划分方式与图2A所示的划分方式可以相同也可以不同。
步骤303、计算所有的原始子局部描述子中的每一维度的均方差,将计算得到的各维度的均方差的一个递减函数作为预置权重。
举例来说,如下的递减函数:
f(x)=exp(-x)
由上方法计算的各维度的权重值反应了该维度的鲁棒性。在理想状态下,上述同一个三维点投影到该组的各训练图片中得到的原始子局部描述子应该是一致的,但,由于实际成像条件变换等原因,上述的原始子局部描述子可能有部分的偏差,故本实施例中通过获取训练图片的权重,以调整图1中的目标图片的多维原始子局部描述子的偏差,以使偏差更小,进而保证获取的目标图片的N个多维加权子局部描述子较准确的表示目标图片。
结合图5和图4所示,图4示出了本发明中的量化词典的获取方法,其中,量化词典的获取方法包括:
步骤401、获取图片库中每一张图片的兴趣点以及每一兴趣点对应的N个扇区。
其中,N个扇区的排序与N个子扇区的排序是相同的。
该步骤中获取每一兴趣点的N个扇区的方式与上述步骤102中获取N个子扇区的方式是相同的。
举例来说,如图5所示的图片库中任一图片50的任一兴趣点51,兴趣点51对应的9个子扇区包括:半径为R1的圆形、M1区域、M2区域、M3区域、M4区域、N1区域、N2区域、N3区域、N4区域。其中,图5中的M1区域与图2A中的B1区域对应,N1区域与C1区域对应。
步骤402、针对每一图片的任一兴趣点,获取该兴趣点的N个第一加权子局部描述子。
具体地,获取每一图片的任一兴趣点的第一加权子局部描述子的方式与前述的获取目标图片的任一兴趣点的N个多维加权子局部描述子的方式是一致的。
应了解的是,该处的“第一加权子局部描述子”也是多维向量,其在名称上与目标图片的多维加权子局部描述子进行区分。
步骤403、在图片库中,将所有图片中相同序号的扇区对应的第一加权子局部描述子进行汇总,得到N个集合。
举例来说,将图片库中任一图片的任一兴趣点的M1区域对应的第一加权子局部描述子汇总,得到一个集合;相应地,可将所有图片的所有兴趣点的N1区域的第一加权子局部描述子汇总,得到另一个集合,由此,在上述图片库中,可得到N个集合。
步骤404、对每一集合中的第一加权子局部描述子进行聚类,获取K个聚类中心,该K个聚类中心组成一子量化词典,得到N个子量化词典,该N个子量化词典组成量化词典;K为大于零的自然数。
该步骤中的聚类的具体方式可以是K均值聚类方式、分层聚类方式、谱聚类方式等,其中谱聚类方式可以参考文献“Ng A.,Jordan M.,and Weiss Y.On Spectral Clustering:Analysis and an algorithm.NIPS,849-856,2001”中的方法。聚类时采用的相似性度量规则可为:子描述子之间的欧式距离、余弦距离等。
上述的量化词典可对前述的提取目标图片的N个多维加权子局部描述子进行量化,进一步,还可以推广以对现有技术中的SIFT、SURF等进行量化。
图6A为本发明一实施例提供的图片检索方法的流程示意图,如图6A所示,本实施例中的图片检索方法如下文所述。
步骤601、客户端获取预检索的目标图片的一个以上的兴趣点。
步骤602、客户端根据预置规则获取目标图片中与每一兴趣点对应的N个子扇区。
N取整数,且大于等于3。
步骤603、针对每一兴趣点,客户端根据N个子扇区中每一子扇区内部的像素建立像素梯度方向直方图,得到与N个子扇区对应的N个多维原始子局部描述子。
步骤604、客户端将每一多维原始子局部描述子与预置权重相乘,得到N个多维加权子局部描述子。
预置权重为多维向量,预置权重的维数与所述多维原始子局部描述子的维数相同。
步骤605、客户端在预置的量化词典中查找与多维加权子局部描述子相似的视觉单词及该视觉单词的位置标识符,得到与每一兴趣点对应的N个位置标识符。
步骤606、客户端将所有兴趣点的所有位置标识符压缩并发送至服务端。
举例来说,所有的位置标识符可通过熵编码或游程编码的方式进行压缩。当然,客户端也可以直接将查找的所有位置标识符发送至服务端。
结合图6B所示,图6B示出了本发明中客户端获取位置标识符的示意图,其中,w1 1、w1 2、……w1 9;w2 1、……wL 1;……wL 9均为量化词典中的视觉单词,在步骤605中查找的与多维加权子局部描述子相似的视觉单词为w5 1、w2 2、…w3 9,其在量化词典中的位置标识符为5、2、...、3,进而可采用该位置标识符5、2、...、3表示目标图片的局部描述子,并发送至服务端,由此在图片检索时,可较好的降低客户端发送至服务端的局部描述子的空间占有率,使得服务端的查询响应时间也能够被提高。
需要注意的是,所述量化词典与所述服务端的量化词典相同,位置标识符可为一维向量、二维矩阵或其他空间占有率低的表示字符,其位置标识符所占用的空间远远小于前述的任一局部描述子所占用的空间。
由此,客户端将该些压缩后的位置标识符发送于服务端较好的实现图片检索过程中的低比特传输,同时还能够保证目标图片检索结构的准确性。另外,上述的图片检索方法尤其适用于无线网络的图片检索。
上述实施例中的图片检索方法可较好的降低图片检索时的查询响应时间,使得图片检索的效率提高,以及提高了检索结果的准确性。
图7A为本发明一实施例提供的图片检索方法的流程示意图,如图7所示,本实施例中的图片检索方法如下文所述。
步骤701、服务端接收客户端发送的压缩的位置标识符。
步骤702、服务端对位置标识符解压缩,得到一组以上的位置标识符;针对每一组的位置标识符,在预置的量化词典中查找与位置标识符对应的视觉单词,将查找的所有的视觉单词作为目标视觉单词。
结合图7B所示,图7B示出了本发明中服务端获取局部描述子的示意图,其中,w1 1、w1 2、……w1 9;w2 1、……wL 1;……wL 9均为量化词典中的视觉单词,位置标识符为:5、2、...、3,在步骤702中查找的与位置标识符对应的视觉单词为w5 1、w2 2、…w3 9,其在量化词典中的位置标识符为5、2、...、3,进而在服务端可获得目标图片的局部描述子。
在具体使用中,一组位置标识符的数量为N个,N为整数,且大于等于3;相应地,
量化词典包括N个子量化词典,每一子量化词典与一组位置标识符中的一个位置标识符对应。
该步骤中获取量化词典的方式与图4中所示的方式相同,在此不再详述。
步骤703、服务端在预置的原始视觉单词索引表中查找与目标视觉单词匹配/一致的原始视觉单词,根据查找的原始视觉单词获得与所述原始视觉单词对应的结果信息。
该步骤中根据查找的原始视觉单词获得与所述原始视觉单词对应的结果信息可为根据现有技术中的相似性度量规则获取结果信息。
例如,将包含查找的原始视觉单词的图片库中的所有图片按照相似性分数从高到低进行排序,其结果信息可为排在前面的多张图片。
步骤704、服务端将结果信息发送至客户端。
举例来说,结果信息包括查找的图片以及图片的相关说明等。
需要注意的是,上述的量化词典可与客户端的量化词典相同,以及上述的原始视觉单词索引表可代表服务端所有的图片的视觉单词,服务端使用原始视觉单词为与客户端的视觉单词进行区分。
由上述实施例可知,服务端的查询响应时间短,查询结果信息的准确性高。
应了解的是,原始视觉单词索引表中的每一原始视觉单词与包含该原始视觉单词的图片建立有映射关系,可以理解的是,原始视觉单词索引表中的每一原始视觉单词均指向包含该单词的图片。
当原始视觉单词索引表中的一原始视觉单词对应多个包含该原始视觉单词的图片时,该多个图片的排序是按照相似性分数进行排序的,排在前面的图片是与与目标图片最相似的。上述图片按照相似性分数排序的方法属于可参照现有技术。
图8为本发明一实施例提供的图像匹配方法的流程示意图,如图8所示,本实施例中的图像匹配方法如下文所述。
步骤801、服务端接收客户端发送的压缩的位置标识符。
步骤802、服务端对位置标识符解压缩,得到一组以上的位置标识符,并与服务端待匹配图像中的一组以上的原始位置标识符进行匹配。
步骤803、针对服务端接收的每一个位置标识符,在服务端的任一组原始位置标识符中查找与位置标识符的第一距离和第二距离的原始位置标识符。
上述的第一距离为位置标识符与原始位置标识符的距离最小,第二距离为位置标识符与原始位置标识符的距离次小。
步骤804、若第一距离与第二距离的比值小于预设阈值,则位置标识符与原始位置标识符相匹配。
否则,上述比值大于预设阈值,则认为量化词典中不存在与客户端的局部描述子的目标视觉单词匹配的视觉单词。若所有的比值均大于预设阈值,则可认为服务端不存在与目标图片匹配的图片。
上述的阈值通常设为0.6。
在具体应用中,第一距离和第二距离可在预设的距离表格中查找,距离表格中的任一距离为与原始位置标识符对应的视觉单词间的欧式距离、KL距离或者余弦距离。该处需要说明的是,若距离表格中的一距离为欧式距离,则该距离表格中的其他任一距离均为欧式距离;相应地,若距离表格中的一距离为KL距离,则该距离表格中的其他任一距离均为KL距离。也就是说,距离表格中的任一距离的计算方式是相同的。在其他的实施例中上述距离表格中的任一距离还可为其他方式计算的与原始位置标识符对应的视觉单词间的距离,本实施例仅为举例说明。
进一步地,一组位置标识符的数量为N个,N为整数,且大于等于3;量化词典包括N个子量化词典,所述每一子量化词典与一组位置标识符中的一个位置标识符对应。
通常,针对每一子量化词典,可预先计算该子量化词典内部任一两个视觉单词时间的距离,例如可采用KL散度方式计算上述距离,并将计算的距离按照一定的规律排列在相对应的距离表格中。若量化词典包括9个子量化词典,则每一子量化词典产生一距离表格,进而在计算上述比值时,可直接在相对应的距离表格中查找最小距离即第一距离和次小距离即第二距离。
由上实施例可知,本实施例中的图像匹配方法能够在服务端快速查找到与目标图片相匹配的图片,进而较好的降低图像匹配时的等待时间,使得图像匹配的效率提高,且提高了结果的准确性。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种局部描述子的提取方法,其特征在于,包括:
获取预检索的目标图片的一个以上的兴趣点;
根据预置规则获取所述目标图片中与每一兴趣点对应的N个子扇区,N为整数,且大于等于3;
针对每一兴趣点,根据所述N个子扇区中每一子扇区内部的像素建立像素梯度方向直方图,得到与所述N个子扇区对应的N个多维原始子局部描述子;
将每一多维原始子局部描述子与预置权重相乘,得到N个多维加权子局部描述子,所述预置权重为多维向量,所述预置权重的维数与所述多维原始子局部描述子的维数相同;
在预置的量化词典中查找与所述多维加权子局部描述子相似的视觉单词,得到与每一兴趣点对应的N个视觉单词;
将查找的所有兴趣点的所有视觉单词组成所述目标图片的局部描述子。
2.根据权利要求1所述的提取方法,其特征在于,所述获取预检索的目标图片的一个以上的兴趣点,包括:
获取所述目标图片;
将所述目标图片与拉普拉斯核函数进行卷积;
采用极值点方式获取所述卷积后的目标图片的一个以上的兴趣点。
3.根据权利要求1所述的提取方法,其特征在于,所述根据预置规则获取所述目标图片中与每一兴趣点对应的N个子扇区,包括:
若N等于9,则在目标图片中选取所述兴趣点为中心,半径为R1、R2、R3的三个同心圆,其中,R1<R2<R3;
将R1与R2之间的圆环均等划分为四个相等的第一区域,以及将R2与R3之间的圆环均等划分为四个相等的第二区域;
所述半径为R1的圆形、四个第一区域、四个第二区域组成与所述兴趣点对应的9个子扇区。
4.根据权利要求1至3任一所述的提取方法,其特征在于,所述预置权重的获取方式为:
在预置的一组以上的训练图片中建立一组以上的三维点云,每一组三维点云包括若干个三维点,所述一组三维点云对应一组训练图片;
获取所述三维点云在与所述三维点云对应的训练图片中的原始子局部描述子,得到与三维点云对应的原始子局部描述子;
计算所有的原始子局部描述子中的每一维度的均方差,将计算得到的各维度的均方差的一个递减函数作为预置权重。
5.根据权利要求1所述的提取方法,其特征在于,所述预置的量化词典包括N个子量化词典,每一子量化词典对应一多维加权子局部描述子;相应地,
所述在预置的量化词典中查找与所述多维加权子局部描述子相似的视觉单词,具体为:
每一多维加权子局部描述子在其对应的子量化词典中查找与该多维加权子局部描述子相似的视觉单词。
6.根据权利要求1或5所述的提取方法,其特征在于,所述量化词典的获取方式为:
获取图片库中每一张图片的兴趣点以及每一兴趣点对应的N个扇区,所述N个扇区的排序与所述N个子扇区的排序是相同的;
针对每一图片的任一兴趣点,获取该兴趣点的N个第一加权子局部描述子;
在图片库中,将所有图片中相同序号的扇区对应的第一加权子局部描述子进行汇总,得到N个集合;
对每一集合中的第一加权子局部描述子进行聚类,获取K个聚类中心,该K个聚类中心组成一子量化词典,得到N个子量化词典;K为大于0的自然数;
所述N个子量化词典组成量化词典。
7.一种图片检索方法,其特征在于,包括:
客户端获取预检索的目标图片的一个以上的兴趣点;
所述客户端根据预置规则获取所述目标图片中与每一兴趣点对应的N个子扇区,N取整数,且大于等于3;
针对每一兴趣点,所述客户端根据所述N个子扇区中每一子扇区内部的像素建立像素梯度方向直方图,得到与所述N个子扇区对应的N个多维原始子局部描述子;
所述客户端将每一多维原始子局部描述子与预置权重相乘,得到N个多维加权子局部描述子,所述预置权重为多维向量,所述预置权重的维数与所述多维原始子局部描述子的维数相同;
所述客户端在预置的量化词典中查找与所述多维加权子局部描述子相似的视觉单词及该视觉单词的位置标识符,得到与每一兴趣点对应的N个位置标识符;
所述客户端将所有兴趣点的所有位置标识符压缩并发送至服务端;
其中,所述量化词典与所述服务端的量化词典相同。
8.一种图片检索方法,其特征在于,包括:
服务端接收客户端发送的压缩的位置标识符;
所述服务端对所述位置标识符解压缩,得到一组以上的位置标识符;针对每一组的位置标识符,在预置的量化词典中查找与所述位置标识符对应的视觉单词,将查找的所有的视觉单词作为目标视觉单词;
所述服务端在预置的原始视觉单词索引表中查找与所述目标视觉单词匹配的原始视觉单词,根据查找的原始视觉单词获得与所述原始视觉单词对应的结果信息;
所述服务端将所述结果信息发送至所述客户端;
其中,所述量化词典与所述客户端的量化词典相同。
9.根据权利要求8所述的图片检索方法,其特征在于,一组位置标识符的数量为N个,N为整数,且大于等于3;
所述量化词典包括N个子量化词典,所述每一子量化词典与一组位置标识符中的一个位置标识符对应。
10.一种图像匹配方法,其特征在于,包括:
服务端接收客户端发送的压缩的位置标识符;
所述服务端对所述位置标识符解压缩,得到一组以上的位置标识符,并与服务端待匹配图像中的一组以上的原始位置标识符进行匹配;
具体地,针对每一个位置标识符,在所述服务端的任一组原始位置标识符中查找与所述位置标识符的第一距离和第二距离的原始位置标识符,所述第一距离为所述位置标识符与所述原始位置标识符的距离最小,所述第二距离为所述位置标识符与所述原始位置标识符的距离次小;
若所述第一距离与所述第二距离的比值小于预设阈值,则所述位置标识符与所述原始位置标识符相匹配;
其中,所述第一距离和所述第二距离在预设的距离表格中查找获得,所述距离表格中的任一距离为与原始位置标识符对应的视觉单词间的欧式距离、KL距离或者余弦距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110358181 CN102521618B (zh) | 2011-11-11 | 2011-11-11 | 局部描述子的提取方法、图片检索方法及图像匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110358181 CN102521618B (zh) | 2011-11-11 | 2011-11-11 | 局部描述子的提取方法、图片检索方法及图像匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102521618A true CN102521618A (zh) | 2012-06-27 |
CN102521618B CN102521618B (zh) | 2013-10-16 |
Family
ID=46292529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110358181 Expired - Fee Related CN102521618B (zh) | 2011-11-11 | 2011-11-11 | 局部描述子的提取方法、图片检索方法及图像匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102521618B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103218427A (zh) * | 2013-04-08 | 2013-07-24 | 北京大学 | 局部描述子的提取方法、图像检索方法及图像匹配方法 |
CN103235955A (zh) * | 2013-05-03 | 2013-08-07 | 中国传媒大学 | 一种图像检索中视觉单词的提取方法 |
CN103366183A (zh) * | 2013-07-19 | 2013-10-23 | 南方医科大学 | 一种局灶性病灶的非参数自动检测方法 |
WO2014031022A1 (ru) * | 2012-08-21 | 2014-02-27 | Общество С Ограниченной Ответственностью "Кузнеч" | Способ и система поиска нарушений авторских прав на изобрежения |
WO2014166376A1 (zh) * | 2013-04-12 | 2014-10-16 | 北京大学 | 获取图像的紧凑全局特征描述子的方法及图像检索方法 |
CN104616013A (zh) * | 2014-04-30 | 2015-05-13 | 北京大学 | 获取低维局部特征描述子的方法 |
CN104700402A (zh) * | 2015-02-06 | 2015-06-10 | 北京大学 | 基于场景三维点云的视觉定位方法及装置 |
CN104778701A (zh) * | 2015-04-15 | 2015-07-15 | 浙江大学 | 一种基于rgb-d传感器的局部图像描述方法 |
CN104918046A (zh) * | 2014-03-13 | 2015-09-16 | 中兴通讯股份有限公司 | 一种局部描述子压缩方法和装置 |
CN104978395A (zh) * | 2015-05-22 | 2015-10-14 | 北京交通大学 | 视觉词典构建及应用方法和装置 |
CN105164665A (zh) * | 2013-04-30 | 2015-12-16 | 惠普发展公司,有限责任合伙企业 | 层级词典的创建 |
CN103744974B (zh) * | 2014-01-10 | 2017-04-12 | 北京大学 | 局部兴趣点选取的方法及设备 |
CN107506795A (zh) * | 2017-08-23 | 2017-12-22 | 国家计算机网络与信息安全管理中心 | 一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法 |
CN114723691A (zh) * | 2022-03-28 | 2022-07-08 | 江苏新之阳新能源科技有限公司 | 基于人工智能的液压系统漏油故障程度检测方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105072337B (zh) * | 2015-07-31 | 2019-03-26 | 小米科技有限责任公司 | 图片处理方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101055617A (zh) * | 2006-04-10 | 2007-10-17 | 中国科学院自动化研究所 | 基于局部描述子的人脸快速检测方法 |
US20100074528A1 (en) * | 2008-09-23 | 2010-03-25 | Microsoft Corporation | Coherent phrase model for efficient image near-duplicate retrieval |
-
2011
- 2011-11-11 CN CN 201110358181 patent/CN102521618B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101055617A (zh) * | 2006-04-10 | 2007-10-17 | 中国科学院自动化研究所 | 基于局部描述子的人脸快速检测方法 |
US20100074528A1 (en) * | 2008-09-23 | 2010-03-25 | Microsoft Corporation | Coherent phrase model for efficient image near-duplicate retrieval |
Non-Patent Citations (4)
Title |
---|
JIE CHEN 等: "《IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)》", 27 May 2011 * |
ZHANG CHEN 等: "《18th IEEE International Conference on Image Processing (ICIP)》", 14 September 2011 * |
田莹 等: "《尺度不变特征与几何特征融合的人耳识别方法》", 《光学学报》 * |
程咏梅 等: "《基于SIFT联合描述子的航拍视频图像镶嵌》", 《西北工业大学学报》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014031022A1 (ru) * | 2012-08-21 | 2014-02-27 | Общество С Ограниченной Ответственностью "Кузнеч" | Способ и система поиска нарушений авторских прав на изобрежения |
CN103218427B (zh) * | 2013-04-08 | 2016-06-29 | 北京大学 | 局部描述子的提取方法、图像检索方法及图像匹配方法 |
CN103218427A (zh) * | 2013-04-08 | 2013-07-24 | 北京大学 | 局部描述子的提取方法、图像检索方法及图像匹配方法 |
WO2014166376A1 (zh) * | 2013-04-12 | 2014-10-16 | 北京大学 | 获取图像的紧凑全局特征描述子的方法及图像检索方法 |
CN105164665B (zh) * | 2013-04-30 | 2018-10-02 | 惠普发展公司,有限责任合伙企业 | 一种层级词典的创建方法及图像压缩系统 |
CN105164665A (zh) * | 2013-04-30 | 2015-12-16 | 惠普发展公司,有限责任合伙企业 | 层级词典的创建 |
CN103235955A (zh) * | 2013-05-03 | 2013-08-07 | 中国传媒大学 | 一种图像检索中视觉单词的提取方法 |
CN103366183A (zh) * | 2013-07-19 | 2013-10-23 | 南方医科大学 | 一种局灶性病灶的非参数自动检测方法 |
CN103366183B (zh) * | 2013-07-19 | 2017-05-10 | 南方医科大学 | 一种局灶性病灶的非参数自动检测方法 |
CN103744974B (zh) * | 2014-01-10 | 2017-04-12 | 北京大学 | 局部兴趣点选取的方法及设备 |
WO2015135493A1 (zh) * | 2014-03-13 | 2015-09-17 | 中兴通讯股份有限公司 | 一种局部特征描述子压缩方法、装置及存储介质 |
CN104918046A (zh) * | 2014-03-13 | 2015-09-16 | 中兴通讯股份有限公司 | 一种局部描述子压缩方法和装置 |
CN104918046B (zh) * | 2014-03-13 | 2019-11-05 | 中兴通讯股份有限公司 | 一种局部描述子压缩方法和装置 |
CN104616013A (zh) * | 2014-04-30 | 2015-05-13 | 北京大学 | 获取低维局部特征描述子的方法 |
CN104700402A (zh) * | 2015-02-06 | 2015-06-10 | 北京大学 | 基于场景三维点云的视觉定位方法及装置 |
CN104778701A (zh) * | 2015-04-15 | 2015-07-15 | 浙江大学 | 一种基于rgb-d传感器的局部图像描述方法 |
CN104778701B (zh) * | 2015-04-15 | 2018-08-24 | 浙江大学 | 一种基于rgb-d传感器的局部图像描述方法 |
CN104978395A (zh) * | 2015-05-22 | 2015-10-14 | 北京交通大学 | 视觉词典构建及应用方法和装置 |
CN104978395B (zh) * | 2015-05-22 | 2019-05-21 | 北京交通大学 | 视觉词典构建及应用方法和装置 |
CN107506795A (zh) * | 2017-08-23 | 2017-12-22 | 国家计算机网络与信息安全管理中心 | 一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法 |
CN114723691A (zh) * | 2022-03-28 | 2022-07-08 | 江苏新之阳新能源科技有限公司 | 基于人工智能的液压系统漏油故障程度检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102521618B (zh) | 2013-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102521618B (zh) | 局部描述子的提取方法、图片检索方法及图像匹配方法 | |
Jégou et al. | On the burstiness of visual elements | |
Girod et al. | Mobile visual search: Architectures, technologies, and the emerging MPEG standard | |
Girod et al. | Mobile visual search | |
Zhang et al. | Edge-SIFT: Discriminative binary descriptor for scalable partial-duplicate mobile search | |
US8254697B2 (en) | Scalable near duplicate image search with geometric constraints | |
US8571306B2 (en) | Coding of feature location information | |
Wang et al. | Contextual weighting for vocabulary tree based image retrieval | |
US8892542B2 (en) | Contextual weighting and efficient re-ranking for vocabulary tree based image retrieval | |
US20170026665A1 (en) | Method and device for compressing local feature descriptor, and storage medium | |
CN104036012A (zh) | 字典学习、视觉词袋特征提取方法及检索系统 | |
KR101971114B1 (ko) | 이미지 분석 방법 및 시스템 | |
CN104115162A (zh) | 图像分析 | |
CN103995864B (zh) | 一种图像检索方法和装置 | |
Iwamoto et al. | BRIGHT: A scalable and compact binary descriptor for low-latency and high accuracy object identification | |
Panda et al. | Offline mobile instance retrieval with a small memory footprint | |
Alzu’bi et al. | Improving content-based image retrieval with compact global and local multi-features | |
JP6364387B2 (ja) | 特徴量生成装置、方法、及びプログラム | |
Elleuch et al. | Multi-index structure based on SIFT and color features for large scale image retrieval | |
Arun et al. | Optimizing visual dictionaries for effective image retrieval | |
Alzu'Bi et al. | Robust fusion of color and local descriptors for image retrieval and classification | |
Reddy et al. | Sparse coding based VLAD for efficient image retrieval | |
CN105335500A (zh) | 协变局部特征聚集的图像特征表示法 | |
Wang et al. | PQ-WGLOH: A bit-rate scalable local feature descriptor | |
Gadeski et al. | Fast and robust duplicate image detection on the web |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20131016 |
|
CF01 | Termination of patent right due to non-payment of annual fee |