CN107506795A

CN107506795A - 一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法

Info

Publication number: CN107506795A
Application number: CN201710729430.0A
Authority: CN
Inventors: 苗权; 吴昊; 涂波; 刘丙双; 康春建; 刘鑫沛; 李明哲; 羊晋; 计哲; 李锐光; 程光; 戴帅夫; 张洛什; 尚秋里
Original assignee: National Computer Network and Information Security Management Center
Current assignee: National Computer Network and Information Security Management Center
Priority date: 2017-08-23
Filing date: 2017-08-23
Publication date: 2017-12-22

Abstract

本发明涉及一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法。该特征描述子建立方法包括：1)在图像中检测SURF特征以获取图像兴趣点；2)在图像兴趣点的不变性局部邻域内进行灰度信息分布统计，并生成灰度分布直方图；3)基于图像兴趣点的不变性局部邻域及灰度分布直方图，建立特征描述子。进行图像匹配时，首先采用该方法建立图像的特征描述子，然后通过特征描述子对图像的局部特征进行匹配，进而建立图像之间的对应关系。本发明能够使特征描述子在视角、仿射、光照等多种变换下实现更好的匹配性能,并在视频目标跟踪中保持了目标连续变化的自适应性。

Description

一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法

技术领域

本发明属于计算机视觉技术、视频技术领域，具体涉及一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法。

背景技术

局部特征是图像内部的局部结构，一般具备如下性质：遮挡、尺度、旋转等复杂变化下的可重复性和不变性；特征定位的准确性；区分于其他特征的特异性；特征数目具备一定的数量性。对于局部特征的研究主要包含局部特征检测、局部特征描述和局部特征匹配3个方面的内容。首先，通过局部特征检测算法对图像区域的兴趣点进行定位，同时得到相应的特征描述信息(如尺度、主方向)；在此基础上，在兴趣点的局部邻域内对特征进行描述，以向量描述子等形式来表达局部特征；最后，利用向量描述子匹配等方式，在不同图像间建立相同局部特征的对应关系。

目前，SURF(Speed-up Robust Feature，加速鲁棒特征)特征是应用较多且效果较为理想的局部特征之一，主要引入积分图像快速算法，并通过执行加减法运算近似得到高斯二阶微分的响应值。SURF算法主要包括特征检测和特征描述两方面。特征检测通过快速计算每个特征的尺度和主方向，并且圈定以检测点为中心的尺度旋转不变对称邻域；特征描述在该不变性邻域内进行Haar特征(哈尔特征)计算，并最终形成64维特征向量。不同图像之间的SURF特征匹配主要是通过比较特征向量之间的距离实现的。

SURF特征提取利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位。具体地，对图像I上点x＝(x,y)处，尺度s的Hessian矩阵H(x,s)表示为：

以L_xx(x,s)为例，代表高斯函数二阶导数在x＝(x,y)处与图形I的卷积，具体用方格滤波器(box filter)D_xx来近似。通过引入相关权重w，实现对Hessian矩阵行列式的平衡：

det(H_approx)＝D_xxD_yy-(wD_xy)² (2)

w≈0.9 (3)

其中，det(H_approx)是二维矩阵行列式，D_yy-和D_xy分别表示不同方向的二阶高斯差分模板。

对于SURF特征检测，建立尺度空间不需要改变原图像尺寸，而是通过调整方格滤波器的尺寸来实现，与原图像在进行卷积计算.将方格滤波器的近似表示和积分图像结合提升计算效率，计算滤波器模板尺寸归一化det(H_approx)。

通过不同尺寸方格滤波器形成的层(octave)就是对尺度空间的表达。兴趣点的定位是以候选点为中心的图像和包括尺度空间在内的3×3×3邻域内执行非极大值抑制策略，将具有最大或最小值的对应点作为特征点，同时得到尺度s。

SURF特征的旋转不变性是通过求取主方向(dominant orientation)实现的，求解过程仍然利用了积分图像的计算优势。在以特征点为圆心、6σ为半径的圆内，按步长σ计算相应像素的Haar小波响应，同时进行尺度归一化和高斯平滑，得到x方向的响应d_x和y方向的响应d_y，再映射到极坐标当中，如图1所示。在π/3的扇形滑动区域内对d_x和d_y进行统计，记录当前窗口i的矢量(w_i,θ_i)：

将区域内最长向量的角度θ作为主方向：

以特征点为中心，沿主方向取一个尺寸为20s的矩形窗口，如图2所示。将20s的窗口划分成4×4子窗口，每个子窗口中有5s×5s个像元。使用尺寸为2s的Haar小波对子窗口图像进行其响应值计算，共进行25次采样，分别得到沿主方向的dy和垂直于主方向的dx。然后，以特征点为中心，对dy和dx进行高斯加权计算，其σ＝3.3s。最后，分别对每个子块的响应值进行统计，得到每个子块的矢量：

V_子块＝[∑dx,Σ|dx|,Σdy,Σ|dy|]。

由于共有4×4个子块，特征描述子共由4×4×4＝64维特征向量组成。在积分图像上先使用水平和垂直的Haar模板求得响应值dx和dy，然后根据主方向旋转dx和dy与主方向保持一致，如图3所示。为了求得旋转后Haar小波响应值，首先要得到旋转前图像的位置。旋转前后图像的位置关系，可以通过点的旋转公式得到：

x＝x₀-j×scale×sin(θ)+i×scale×cos(θ)， (7)

y＝y₀+j×scale×cos(θ)+i×scale×sin(θ)。 (8)

其中scale表示尺度。在得到点(j,i)在旋转前对应积分图像的位置(x,y)后，利用积分图像与水平、垂直Haar小波，求得水平和垂直两个方向的响应值dx和dy。对dx和dy进行高斯加权处理，并根据主方向的角度，对dx和dy进行旋转变换，从而，得到旋转后的dx'和dy'。其计算公式如下：

dx'＝w(-dx×sin(θ)+dy×cos(θ))， (9)

dy'＝w(dx×cos(θ)+dy×sin(θ))。 (10)

目前，对于局部特征的检测和描述已经在静态图像匹配中展现了优势。通过对整幅图像或者图像感兴趣区域内的局部特征进行匹配，建立图像之间的对应关系。然而，现有技术很难同时兼顾性能和效率。此外，视频中利用传统的局部特征描述子进行特征匹配并不是理想的选择，因为此类静态匹配的描述子没有利用目标的运动信息，失去了对目标的自适应性。

发明内容

传统的局部特征描述子很难兼顾性能和效率，并且大多适用于静态图像匹配，缺乏对视频中感兴趣区域动态变化的适应性，本发明提供一种面向图像匹配的局部灰度直方图特征描述子建立方法和图像匹配方法，能够使特征描述子在视角、仿射、光照等多种变换下实现更好的匹配性能，并在视频目标跟踪中保持了目标连续变化的自适应性。

本发明采用的技术方案如下：

一种面向图像匹配的局部灰度直方图特征描述子建立方法，其特征在于，包括以下步骤：

1)在图像中检测SURF特征以获取图像兴趣点；

2)在图像兴趣点的不变性局部邻域内进行灰度信息分布统计，并生成灰度分布直方图；

3)基于图像兴趣点的不变性局部邻域及灰度分布直方图，建立特征描述子。

进一步地，在对视频图像建立特征描述子时，对特征描述子进行在线更新，以在视频目标跟踪中保持对目标连续变化的自适应性。

进一步地，步骤2)包括以下步骤：

2-1)在以兴趣点x为圆心的一定半径的圆形区域R内,统计最大灰度值和最小灰度值，在此基础上统计该圆形区域内像素的灰度值,根据最大灰度值和最小灰度值分成若干条目，使灰度范围平均分布；

2-2)通过定义信息熵对当前区域灰度信息的复杂程度进行描述，灰度在l_i范围内的像素点出现在{x,R}区域上的概率用P_L(l_i,x,R)表示,则{x,R}区域的信息熵H_L(x,R)为：

2-3)通过计算落在{x,R}区域的不同条目内像素点的数量，生成初步的灰度分布直方图；如果信息熵H_L(x,R)小于门限值，则取消对该兴趣点x的描述。

进一步地，步骤3)在信息熵满足要求的区域R内计算基于图像灰度分布的特征描述子，包括以下步骤：

3-1)沿着R的半径，将其平均分成若干条目，第一个条目对应一个圆，其它每个条目都对应一个圆环，在该圆和每个圆环内，将灰度范围也分成若干条目；

3-2)对该圆和每个圆环进行灰度分布统计，形成该圆和各个圆环下的像素分布，进而生成直方图；

3-3)按照圆环半径从小到大的顺序，将对应的直方图进行顺序排列，从而得到特征矢量描述子。

一种图像匹配方法，其特征在于，包括以下步骤：

1)采用上面所述方法建立图像的特征描述子；

2)通过所述特征描述子对图像的局部特征进行匹配，进而建立图像之间的对应关系。

进一步地，在通过所述特征描述子对图像的局部特征进行匹配时，引入核函数对特征描述子之间的欧式距离进行度量。

进一步地，在对视频图像进行匹配时，对特征描述子进行在线更新，以在动态图像匹配中保持对目标连续变化的自适应性。

一种服务器，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上面所述方法中各步骤的指令。

一种存储计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时，实现上面所述方法的步骤。

本发明的关键点主要包括：1)围绕SURF特征不变性局部邻域内进行灰度信息分布统计；2)基于图像局部灰度直方图的特征描述子计算方案；3)引入核函数对描述子向量之间的欧式距离进行度量；4)对特征描述子的在线更新。

本发明在检测到SURF特征的基础上，提出了一种基于图像局部灰度直方图的特征描述子的建立方法和相应的图像匹配方法，先对兴趣点进行定位并获取尺度信息，对其不变性局部邻域统计灰度信息分布，进而建立基于区域和灰度二维直方图的描述子向量，并提出了相应的动态在线更新机制。最终在视角、尺度和旋转、光照等多种变换下实现了更好的匹配性能，并在动态图像匹配中保持了对目标连续变化的自适应性。

附图说明

图1.基于扇形滑动窗口的主方向求解示意图。

图2.特征描述子表示示意图。

图3.利用积分图像进行Haar小波响应计算示意图。

图4.不同圆环内的灰度分布统计示意图。

图5.基于圆环和灰度范围的直方图统计示意图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明提出了一种基于图像局部灰度直方图的特征描述子。先通过SURF特征检测获取图像兴趣点，然后通过统计灰度信息分布来描述兴趣点的尺度旋转不变性局部区域，建立基于区域和灰度二维直方图的描述子向量。对于应用在视频的情况，提出相应的描述子在线更新机制。最终使描述子在视角、仿射、光照等多种变换下实现了更好的匹配性能，并在视频目标跟踪中保持对目标连续变化的自适应性。

具体实现方案描述如下：

步骤一：在不变性局部邻域内的灰度信息分布统计

基于局部灰度直方图的特征描述子计算原理如下。检测到SURF特征后，为了进一步消除噪声的影响，先对图像做高斯平滑处理。之后，在以兴趣点x为圆心，半径为10s(s为SURF特征的尺度，本实施例采用的半径为10s，其它实施例也可以采用其它半径值)的圆形区域R内，统计最大的灰度值f_max和最小的灰度值f_min。在此基础上，统计R内像素的灰度值，根据f_max和f_min分成10个条目L＝(l₁,l₂,…,l₁₀)，使灰度范围平均分布。

通过定义信息熵，对当前区域灰度信息的复杂程度进行描述。灰度在l_i范围内的像素点出现在{x,R}区域上的概率用P_L(l_i,x,R)表示，则{x,R}区域的信息熵H_L(x,R)为:

当{x,R}区域图像信息比较丰富，灰度直方图的分布也就越广泛，相应信息熵的值就越大；反之直方图的分布就越集中，因而信息熵就越小。本发明提出的描述子是基于图像区域内灰度分布实现的，通过计算落在不同条目内像素点的数量，生成初步的灰度分布直方图(指的是公式(11)的信息熵)。如果H_L(x,R)小于可鉴别的门限值，则取消对该兴趣点的描述。这样，剩余兴趣点都是信息熵较大、灰度分布具有一定特异性，更加适合后续特征匹配。

步骤二：建立基于区域和灰度二维直方图的描述子向量

当{x,R}的复杂程度即信息熵满足要求时，在R内计算基于图像灰度分布的特征描述子。沿着R的半径，将其平均分成10个条目，除第一个条目对应半径为s的圆，其它每条都对应一个圆环。在每个圆或者圆环内，将灰度范围也分成10个条目，按照上述计算原理统计区域R内所有像素的灰度值。如图4所示，左侧代表以兴趣点为中心、尺度s为步长的圆环，对应了右图各个圆环不同灰度区间的像素分布统计。同时圆环本身抵抗旋转变化，本发明的特征描述子虽然没有利用主方向信息，但是具有旋转不变性。

在对当前圆环(第一个条目为圆)灰度统计的过程中，当遇到像素点的灰度值处在当前条目的灰度范围边界上时，做均衡处理。如果当前像素点的灰度值是80，相邻两个条目的灰度范围分别是[60,80)和[80,100)，将两个条目的像素数统计都加1。完成对当前圆环(第一个条目为圆)的灰度分布统计后，形成各个圆环下的像素分布N＝{n₁,n₂,…,n₁₀}，生成直方图hist:

为了避免直方图相连灰度范围的分布发生剧烈变化、影响描述的能力，进一步对直方图进行线性平滑。具体地，对于每个条目，利用邻域插值做如下处理:

在对所有的10个圆环(1个圆和9个圆环)都做出处理后，得到基于圆环和灰度范围的直方图统计，再进行归一化处理，如图5所示。按照圆环半径从小到大的顺序，将对应的直方图进行顺序排列，得到10×10＝100个数据，即100维的特征矢量描述子。

需要说明的是，以上步骤一中将灰度范围分为10个条目，以及步骤二中沿着R的半径分成10个条目，其中条目的数量10仅是举例，也可以是其它数量，但灰度范围分成的条目数量应与沿着R的半径分成的条目数量应相等。

步骤三：对特征描述子进行匹配

在构建特征描述子向量时，不同圆环与圆心的距离呈递增趋势。当图像区域发生较大的视角、仿射等变化时，圆形区域并不能满足严密的对应，SURF特征更多的是用圆形来近似椭圆或者实际不变的区域。然而，离兴趣点越近的区域，越能够保持不变性。本发明在对特征描述子进行匹配时，更多的强调利用更靠近兴趣点的区域进行描述，形成的特征向量也会更准确。本发明引入核函数K与特征描述子向量和特征描述子向量的欧式距离度量相结合:

其中，d_i表示圆环i的半径，d₁＝s。

核函数对输入数据的相似性进行量化，事实上描述了不同圆环代表的灰度分布在匹配过程中所占的权重。核函数形式有多种，如齐次多项式、Sigmoid核函数。本实施例采用高斯核函数:

原因在于，一是高斯核函数具有平滑趋势抑制的功能，适合作为权重；二是高斯核函数在原点处取得峰值，符合圆环分布的实际情况；三是权重分布由参数σ表征，即参数可调整。通过将高斯核函数与SURF特征兴趣点的局部区域相结合，更好地实现用距离度量向量描述子，对更加可靠的区域赋予更高的权重，使图像匹配更为准确。

步骤四：对特征描述子的在线更新

对于本发明在视频序列中应用的情况，需要对特征描述子进行在线更新，以保持描述子对目标或场景变化的适应性。假设在参考帧I_r感兴趣区域内，信息熵满足条件的某SURF特征点当前基于灰度直方图的局部特征描述子为在与当前帧I_t进行特征匹配，对应SURF特征点的描述子向量为定义N_r为该描述子此前已更新过的次数(即观测分量)，则更新为:

N_r＝N_r+1 (16)

对vector_r的每个分量做如下更新:

对所有分量更新后再做归一化处理。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims

1.一种面向图像匹配的局部灰度直方图特征描述子建立方法，其特征在于，包括以下步骤：

1)在图像中检测SURF特征以获取图像兴趣点；

2.如权利要求1所述的方法，其特征在于，在对视频图像建立特征描述子时，对特征描述子进行在线更新，以在视频目标跟踪中保持对目标连续变化的自适应性。

3.如权利要求1或2所述的方法，其特征在于，步骤2)包括以下步骤：

<mrow> <msub> <mi>H</mi> <mi>L</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>R</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>10</mn> </munderover> <msub> <mi>P</mi> <mi>L</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>l</mi> <mrow> <mi>i</mi> <mo>,</mo> </mrow> </msub> <mi>x</mi> <mo>,</mo> <mi>R</mi> <mo>)</mo> </mrow> <msub> <mi>log</mi> <mn>2</mn> </msub> <msub> <mi>P</mi> <mi>L</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>l</mi> <mrow> <mi>i</mi> <mo>,</mo> </mrow> </msub> <mi>x</mi> <mo>,</mo> <mi>R</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow>

4.如权利要求4所述的方法，其特征在于：步骤3)在信息熵满足要求的区域R内计算基于图像灰度分布的特征描述子，包括以下步骤：

5.一种图像匹配方法，其特征在于，包括以下步骤：

1)采用权利要求1～4中任一权利要求所述方法建立图像的特征描述子；

6.如权利要求5所述的方法，其特征在于，在通过所述特征描述子对图像的局部特征进行匹配时，引入核函数对特征描述子之间的欧式距离进行度量。

7.如权利要求6所述的方法，其特征在于，所述核函数为高斯核函数。

8.如权利要求5所述的方法，其特征在于，在对视频图像进行匹配时，对特征描述子进行在线更新，以在动态图像匹配中保持对目标连续变化的自适应性。

9.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1至8中任一权利要求所述方法中各步骤的指令。

10.一种存储计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被计算机执行时，实现权利要求1至8中任一权利要求所述方法的步骤。