CN103455797A - 航拍视频中运动小目标的检测与跟踪方法 - Google Patents

Abstract

本发明公开一种航拍视频中运动小目标的检测与跟踪方法，包括1.采集图像；2.提取SURF特征点；3.图像分组匹配；4.获得仿射矩阵；5.获得差分图像；6.开运算处理；7.提取目标区域；8.确定目标模板；9.确定目标检测区域；10.特征点提取与匹配；11.确定目标的配准中心位置；12.确定目标中心位置；13.确定目标的长和宽。本发明在目标跟踪过程中具有很好的实时性和鲁棒性，本发明在目标跟踪过程中获得平滑的目标运动轨迹。

Description

航拍视频中运动小目标的检测与跟踪方法

技术领域

本发明属于计算机视觉技术领域，更进一步涉及目标检测与跟踪技术领域的一种航拍视频中运动小目标的检测与跟踪方法。本发明可以用于飞行器在未知环境下逐渐靠近目标过程中的自主导航和机载平台下，对运动小目标实现监控和跟踪。

背景技术

目前，传统的运动背景下的运动目标检测主要有背景模型法、光流法和帧间差分法三种方法。背景模型法主要应用于静态或准静态的视频监控场合,帧间差分法适应于目标运动稍快且图像分割精度要求不高的场合。由于航拍视频在空中远距离运动中拍摄，图像中运动小目标的分辨率低、相邻帧间的位移变化小，而且易受到噪声干扰，而传统的基于特征点的运动背景补偿方法，是不能用在处理航拍图像小目标检测中。针对跟踪对象和应用场景的不同,跟踪方法主要分为点跟踪、核跟踪、轮廓跟踪以及混合跟踪方法。但是目前的跟踪方法都无法进行有效的尺度更新，且对目标的遮挡光线变换不够鲁棒。

董晶、傅丹、杨夏在论文“无人机视频运动目标实时检测及跟踪”（《应用光学》2013年第34期255～260页）中提出一种无人机视频运动目标实时检测及跟踪的方法。该方法利用harris特征点的对应关系将图像对配准，再对配准图像进行变化检测，根据变化和运动信息检测目标并消除虚警，将检测与跟踪相结合，从而获取目标的完整运动轨迹。此算法对目标跟踪具有很好的实时性，而且该方法能很好的克服目标的遮挡产生的影响。该方法存在的不足是，在目标检测中，此方法对目标像素较大且有明显位移的目标具有实用性，对目标较小、移动较慢大的目标，具有一定的局限性。

上海交通大学在其申请的专利“基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法”（专利申请号201010571129.X，公开号CN102004910A）中公开了一种基于SURF特征点图匹配和运动生成模型的视频目标跟踪方法。该方法利用目标物体的快速鲁棒特征SURF特征点集描述目标物体，然后和新一帧图像提取的快速鲁棒特征SURF特征点去匹配的方法实现目标跟踪，此方法能很好的克服光照变化、形态变化、目标遮挡产生的影响。然而，该方法仍然存在的不足是，由于在一幅图像中能提取大量的SURF特征点，在目标物体特征点和新一帧图像的特征点匹配时要花费大量的时间，而且会有一部分特征点存在误匹配。所以在检测运动小目标时，不能准确快速的检测出目标。

发明内容

本发明的目的在于克服上述现有技术中的不足，提出一种航拍视频中运动小目标的监测与跟踪方法。该方法利用快速鲁棒特征算法提取每帧图像的全局特征点，通过快速PROSAC算法获得图像对间仿射变换模型，对图像对间运动背景进行全局运动补偿获得差分图像，通过累积差分图像准确检测出小目标；通过对检测目标区域采用传统快速鲁棒特征算法提取特征点，并与目标模型匹配，通过匹配特征点的尺度信息确定目标尺度变化，并通过卡尔曼运动滤波消除运动目标跟踪的抖动，完成目标的跟踪。

本发明包括小目标的检测和利用所获得的小目标对采集的视频进行跟踪两个过程，具体实现步骤如下：

第一个过程，小目标的检测的具体步骤如下：

(1)采集图像：

对飞行器拍摄的视频图像序列，每间隔一帧抽取一帧图像，共抽取四帧图像。

(2)提取SURF特征点：

2a）对采集的四帧图像分别构建每一帧图像的尺度空间，从每一帧图像的尺度空间中找出多个极值点；

2b）将每帧构建尺度空间的图像划分为M×N个均匀分布的网格点，按行的顺序从左到右依次对网格序列从1开始标号；将每帧构建尺度空间的图像检测到的极值点的序号标记为该极值点位置所属网格点的序号，选择标记序号相同极值点的海瑟矩阵行列式值最大的极值点作为该序号网格的特征点；

2c）将每帧构建尺度空间的图像每个特征点的位置为中心，r=6σ为半径的区域作为特征点的特征区域，其中，σ表示该特征点所处的尺度；按照下式，获得特征点的主方向：

$C={\tan }^{-1}\left(\frac{M_{01}/M_{00}}{M_{10}/M_{00}}\right)$

其中，C表示特征点的主方向，M₀₀表示特征点特征区域图像的零阶距，M₁₀表示特征点的特征区域图像在x方向的一阶距，M₀₁表示特征点的特征区域图像在y方向的一阶距；

2d）通过每个特征点领域像素的哈尔小波响应确定该特征点的描述子。

(3)图像分组匹配：

3a)将采集的第一帧图像和第三帧图像分为第一组，将采集的第一帧图像和第四帧图像分为第二组，将采集的第二帧图像和第三帧图像分为第三组，将采集的第二帧图像和第四帧图像分为第四组，共获得四组图像对；

3b)对每组图像对中的第一帧图像的特征点和第二帧图像的特征点进行匹配。

(4)获得仿射矩阵：

采用顺序抽样一致性PROSAC算法，获得每组图像对中第一帧图像对第二帧图像的仿射矩阵。

(5)获得差分图像：

5a)将每组图像对中的第一帧图像进行仿射变化，获得仿射变换图像；

5b)将每组图像对中的第二帧图像与获得的仿射变换图像相减，获得差分图像。

(6)开运算处理：

6a)对四组差分图像进行累加；

6b)对累加差分图像用形态学开运算处理，得到开运算处理后的图像。

(7)提取目标区域：

7a）通过边缘检测坎尼算子，对开运算处理后的图像进行边缘检测，得到只含有目标边缘的图像；

7b）用检测边缘坐标极值点方法，提取只含有目标边缘图像的目标区域位置。

(8)确定目标模板：

8a）将采集的第四帧图像的目标区域图像作为目标模板的图像，采用传统的快速鲁棒特征方法，对目标模板的图像提取特征点，作为目标模板的特征点；

8b）将目标区域的四个坐标点的横坐标的平均值作为目标模板的目标中心位置的横坐标，将目标区域的四个坐标点的纵坐标的平均值作为目标模板的目标中心位置的纵坐标。

第二个过程，利用所获得的目标模板图像进行小目标跟踪的具体步骤如下：

(9)确定目标检测区域：

9a）采集飞行器拍摄的视频图像序列中的一帧待跟踪图像；

9b）采用卡尔曼滤波器通过目标模板图像的目标中心位置，预测出待跟踪图像的目标中心位置，获得待跟踪图像的预测目标中心位置；

9c）以当前帧待跟踪图像预测的目标中心位置为中心，将矩形目标模板图像的长和宽3倍的区域，作为当前帧图像的目标检测区域。

(10)特征点提取与匹配：

10a）采用传统的快速鲁棒特征算法，对当前帧待跟踪图像被检测区域提取特征点；

10b）将当前帧待跟踪图像被检测区域提取特征点和目标模板图像的特征点进行匹配，获得多对匹配特征点。

(11)确定目标的配准中心位置：

分别累加当前帧待跟踪图像的所有匹配特征点的横坐标值和纵坐标值，将当前帧待跟踪图像所有匹配特征点的横坐标值和纵坐标除以匹配特征点数，获得当前帧待跟踪图像所有匹配特征点的横坐标值和纵坐标的平均值，将横坐标值和纵坐标的平均值作为当前帧待跟踪图像目标的配准中心位置。

(12)确定目标中心位置：

采用卡尔曼滤波器通过当前帧待跟踪图像目标的配准中心位置对的目标中心位置进行修正，获得当前帧待跟踪图像的目标中心位置。

(13)确定目标的长和宽：

13a）分别累加当前帧和目标模板图像的所有匹配特征点的尺度值，将当前帧待跟踪图像所有匹配特征点的尺度值除以匹配特征点数，获得当前帧待跟踪图像所有匹配特征点尺度的平均值；

13b）用当前帧所有匹配特征点尺度的平均值与目标模板图像所有匹配特征点尺度的平均值作比，获得当前帧图像相对于目标模板图像的尺度变化系数；

13c）将目标模板图像的长和宽，分别乘以当前帧图像相对于目标模板图像的尺度变化系数，将该尺度变化系数作为当前帧待跟踪图像的目标的长和宽。

本发明与现有技术相比具有以下优点：

第一，由于本发明在运动小目标检测过程中对快速鲁棒特征SURF特征点采用网格化提取的方法，克服了现有技术中特征点匹配需花费大量时间的问题，使得本发明进一步提高了特征匹配的速度和特征点的区分度，进而提高了图像背景运动补偿效率。

第二，由于本发明对运动小目标的检测过程中采用了差分图像累积的方法，克服了现有技术中对目标较小、移动较慢的目标不能准确检查的问题，使得本发明最小可检测目标到5*5左右像素。

第三，由于本发明在跟踪过程中采用创建局部区域图像来提取特征点的，克服了现有技术中运动目标在跟踪过程中不具有实时性的问题，使得本发明在目标跟踪过程中具有很好的实时性。

第四，由于本发明在跟踪过程中采用快速鲁棒特征SURF特征点的尺度信息计算目标的尺度变化，克服了现有技术中运动目标在尺度变化时不能准确跟踪的问题，使得本发明在目标跟踪过程中具有很好的鲁棒性。

第五，由于本发明在跟踪过程中采用了卡尔曼滤波算法，克服了现有技术中特征点错误匹配导致的目标抖动的问题，使得本发明在目标跟踪过程中获得平滑的目标运动轨迹。

附图说明

图1为本发明的流程图；

图2为本发明的特征点网格化提取分布图；

图3为本发明对Desert视频序列中运动目标的检测过程图；

图4为本发明对Desert视频序列的跟踪序列图；

图5为本发明的卡尔曼滤波的目标运动轨迹比较图；

图6为本发明对Car视频序列的跟踪序列图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1，本发明包括小目标的检测和利用所获得的小目标对采集的视频进行跟踪两个过程，具体实现步骤如下：

第一个过程，小目标的检测的具体步骤如下：

(1)采集图像。

对飞行器拍摄的视频图像序列，每间隔一帧抽取一帧图像，共抽取四帧图像{I1,I3,I5,I7}。

(2)提取SURF特征点。

Surf特征点对光照变化、尺度缩放、仿射变换、噪声保持较强的鲁棒性，本发明提取相邻帧的Surf特征点并进行特征矢量匹配，进而估计背景的全局运动矢量。本发明在特征点提取过程中综合考虑了特征点的强度、数量和分布因素，使用网格剔除强度较弱的特征点，并对Surf描述子的主方向提取方法进行加速，并提高特征点的区分度及正确匹配率。

本发明对采集的四帧图像分别构建每一帧图像的尺度空间，从每一帧图像的尺度空间中找极值点。

构建图像的尺度空间的具体步骤如下。

第一步，用初始尺度σ=1.2的近似模板对拟构建尺度空间的图像做卷积，得到尺度空间的第一组第一层；将模板的尺寸增大6个像素后再与原拟构建尺度空间的图像做卷积，获得第一组第二层；每次将模板的尺寸增大6个像素，依次与原拟构建尺度空间的图像做卷积，获得第一组的第三层和第四层。

第二步，用第一组中的第二个模板对原拟构建尺度空间的图像做卷积，得到尺度空间的第二组第一层；将模版尺寸增大12个像素后再与原拟构建尺度空间的图像做卷积，获得第二组第二层；每次将模板的尺寸增大12个像素，依次与原拟构建尺度空间的图像做卷积，获得第二组的第三层和第四层。

第三步，用第二组中的第二个模板对原拟构建尺度空间的图像做卷积，得到尺度空间的第三组第一层，将模版尺寸增大24个像素后再与原拟构建尺度空间的图像做卷积，获得第三组第二层；每次将模板的尺寸增大24个像素，依次与原拟构建尺度空间的图像做卷积，获得第三组的第三层和第四层。

在图像的尺度空间中找极值点的具体步骤如下。

第一步，按照下式，对每帧图像的尺度空间中每组第二层和第三层图像中对应的点，计算海瑟矩阵行列式的值：

det(H)=D_xxD_yy-(0.9D_xy)²

其中，det(H)表示海瑟矩阵行列式的值；D_xx表示高斯函数在x方向二阶偏倒的近似值与构建尺度空间的图像的卷积；D_yy表示高斯函数在y方向二阶偏倒的近似值与构建尺度空间的图像的卷积；D_xy表示高斯函数在y方向二阶偏倒的近似值与构建尺度空间的图像的卷积。

第二步，分别将每帧图像尺度空间中每组第二层和第三层图像中的每个点的海瑟矩阵行列式的值，与该点相邻的26个像素点的海瑟矩阵行列式值进行比较；若该点的海瑟矩阵行列式值比相邻的26个点的海瑟矩阵行列式值的值都大，则选该像素点为极值点。

第三步，极值点的拉普拉斯响应值由下式确定：

tr(H)=D_xx+D_yy

其中，tr(H)表示极值点的拉普拉斯响应值；D_xx表示高斯函数在x方向二阶偏倒的近似值与构建尺度空间的图像的卷积；D_yy表示高斯函数在y方向二阶偏倒的近似值与构建尺度空间的图像的卷积。

本发明建立网格点的具体步骤是，将每帧构建尺度空间的图像划分为M×N个均匀分布的网格点，按行的顺序从左到右依次对网格序列从1开始标号；将每帧构建尺度空间的图像检测到的极值点的序号标记为该极值点位置所属网格点的序号，选择标记序号相同极值点的海瑟矩阵行列式值最大的极值点作为该序号网格的特征点。

图2是一幅图像的特征点网格化提取分布图，图2(a)表示本发明在未采用网格化提取特征点方法下提取的一帧图像的快速鲁棒特征特征点的结果图。图2(a)中的黑色方格，表示本发明在对一帧图像提取快速鲁棒特征特征点时构造的网格，图2(a)中的黑色十字标示，表示本发明在对一帧图像提提取到的快速鲁棒特征特征点。图2(b)表示通过提高对比度阈值对同一帧图像提取快速鲁棒特征特征点的结果图，图2(b)中的黑色方格，表示本发明在对一帧图像提取快速鲁棒特征特征点时构造的网格，图2(b)中的黑色十字标示，表示本发明在对一帧图像提提取到的快速鲁棒特征特征点。图2(c)表示本发明在采用网格化提取特征点方法下提取的一帧图像的快速鲁棒特征特征点的结果图，图2(c)中的黑色十字标示，表示本发明在对一帧图像提提取到的快速鲁棒特征特征点。对比图2中的各幅图像可以看出，在对比度阈值相同的情况下，本发明的方法相较于未采用网格化提取特征点方法，能更优化的减少了特征点数目且获得了特征的均匀分布，提高了特征点的显著性。

本发明确定特征点的方向具体步骤是，将每帧构建尺度空间的图像每个特征点的位置为中心，r=6σ为半径的区域作为特征点的特征区域，其中，σ表示该特征点所处的尺度；按照下式，获得特征点的主方向：

$C={\tan }^{-1}\left(\frac{M_{01}/M_{00}}{M_{10}/M_{00}}\right)$

其中，C表示特征点的主方向，M₀₀表示特征点特征区域图像的零阶距，M₁₀表示特征点的特征区域图像在x方向的一阶距，M₀₁表示特征点的特征区域图像在y方向的一阶距。

特征点的图像距定义如下：

$M_{\mathrm{ij}}=\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{x}^i{y}^{i}I(x,y),x,y\∈[-r,r]$

其中，M_ij表示特征点的特征区域图像的i+j阶矩；I(x,y)表示特征点的特征区域图像在位置(x,y)处的像素值，r表示特征点的特征区域的半径。

本发明确定特征点的描述子的具体步骤如下。

第一步，以每个特征点为坐标轴的中心，以该特征点的主方向为x轴，L=20σ为边长，构造该特征点的一个正方形邻域,其中，σ表示该特征点所处的尺度。

第二步，将正方形邻域分为4*4的子区域，在每个子域中，分别计算像素点水平方向上哈尔小波响应的和，垂直方向上哈尔小波响应的和，水平方向上的哈尔小波响应的绝对值的和，垂直方向上的哈尔小波响应的绝对值的和；每个子区域用四个和值构成的矢量来表示。

第三步，将16子区域的矢量连接起来构成一个64维的矢量来描特征点。

(3)图像分组匹配。

本发明将采集的第一帧图像和第三帧图像分为第一组，将采集的第一帧图像和第四帧图像分为第二组，将采集的第二帧图像和第三帧图像分为第三组，将采集的第二帧图像和第四帧图像分为第四组，共获得四组图像对{{I1,I5},{I1,I7},{I3,I5},{I3,I7}}。

本发明对每组图像对中的第一帧图像的特征点和第二帧图像的特征点进行匹配。

特征点匹配的具体步骤如下：

第一步，分别将每帧图像极值点拉普拉斯响应值的正的快速鲁棒特征特征点分为一组，将每帧图像的负的拉普拉斯响值的快速鲁棒特征特征点分为一组，得到每帧图像的两组特征点。

第二步，分别求第一帧图像每个特征点与第二帧图像拉普拉斯响值正负符号相同的特征点的欧式距离。

第三步，分别找出第一帧图像每个特征点与第二帧图像欧式距离中最小的特征点、欧式距离次小特征点。

第四步，分别将第一帧图像每个特征点与第二帧图像的欧式距离最小特征点的欧式距离与欧式距离次小特征点的欧式距离作比，若二者的欧式距离比值小于0.65，则该特征点与找到的第二帧图像特征点中的最小欧式距离的特征点匹配成功。

(4)获得仿射矩阵。

本发明所用的顺序抽样一致性PROSAC算法是随机抽样一致性RANSAC算法的改进，比随机抽样一致性算法能更快得到最佳模型参数。本发明根据特征匹配点对的相似程度先对个体进行排序，在相似度高的样本更可能是正确模型的内点，根据内点数据确定模型参数。经过若干次的假设与验证，将得到的最好的模型参数作为问题的解。本发明从匹配结果的点集中抽样来获得和原始数据一致的基本子集，然后利用获得的基本子集估算出一幅图像对另一幅图像的仿射矩阵H：

$H=\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ a_7& a_8& 1\end{array}\right]$

通过顺序抽样一致性PROSAC算法求出四组图像对之间的仿射矩阵{H₁,H₂,H₃,H₄}。

(5)获得差分图像。

本发明将每组图像对中的第一帧图像进行仿射变化，获得第二帧图像的背景运动补偿图像。

在仿射模型中对每组图像中的第一帧图像，用仿射变化矩阵进行仿射变化，得到一幅仿射变化后的图像，即第二帧图像的背景运动补偿图像。

仿射模型如下：

$p_1=H*p_0=\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ a_7& a_8& 1\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\\ 1\end{array}\right]$

其中，p₁=(x₁,y₁)当第二帧图像的背景运动补偿图像的像素点坐标，p₀=(x₀,y₀)表示第一帧图像的像素点坐标，H表示第一帧图像对第二帧图像仿射矩阵。

本发明将每组图像对中的第二帧图像与获得的第二帧图像的背景运动补偿图像相减，获得差分图像。

(6)累加四组差分图像并开运算处理。

本发明利用图像配准方法解决了运动目标检测的变换补偿问题。由于航拍图像中相邻帧间，运动小目标的位移变化较小，分辨率低，单帧的差分只能检测出运动有无，无法确定目标的区域。因此本发明采用对图像序列进行间隔步长多帧采样分组，累加多组差分图像大方法实现小目标的准确检测。

(7)提取目标区域。

本发明通过边缘检测坎尼算子，对开运算处理后的图像进行边缘检测，得到只含有目标边缘的图像。

本发明用检测边缘坐标极值点方法，提取只含有目标边缘图像的目标区域位置。

检测边缘坐标极值点方法的具体步骤如下：

第一步，在只含有目标边缘的图像的y方向上找出第一个出现和最后一个出现目标边缘点的坐标点。

第二步，在只含有目标边缘的图像的x方向上找出第一个出现和最后一个出现目标边缘点的坐标点。

第三步，将x方向第一个目标边缘点的x坐标和y方向第一个目标边缘点的y坐标，构成目标图像的第一个坐标点；将x方向第一个目标边缘点的x坐标和将y方向最后一个目标边缘点的y坐标，构成目标图像的第二个坐标点；将x方向的最后一个目标边缘点的x坐标和将y方向的第一个目标边缘点的y坐标，构成目标图像的第三个坐标点；将x方向的最后一个目标边缘点的x坐标和将y方向的最后一个目标边缘点的y坐标，构成目标图像的第四个坐标点。

第四步，通过第三步找出的四个目标图像坐标点作为矩形的四个顶点构成目标区域。

(8)确定目标模板。

本发明将采集的第四帧图像的目标区域图像作为目标模板图像，采用传统的快速鲁棒特征算法，对目标模板的图像提取特征点，作为目标模板的特征点。

本发明将目标区域的四个坐标点的横坐标的平均值作为目标模板的目标中心位置的横坐标，将目标区域的四个坐标点的纵坐标的平均值作为目标模板的目标中心位置的纵坐标。

图3是对像素为500*400的Desert视频序列中运动目标的检测过程图，其中，图3(a)表示本发明的视频序列Desert视频序列中进行运动目标的检测过程中，采集的第一组图像对中第二帧图像对一帧图像的运动背景补偿结果图。图3(b)表示本发明的Desert视频序列中进行运动目标的检测过程中，采集的第一组图像对中第二帧图像与第二帧图像对一帧图像的运动背景补偿图的差分结果图。图3(b)中圆圈内的白色区域为目标图像区域。图3(c)表示本发明的Desert视频序列中进行运动目标的检测过程中，对四帧累加差分图像开运算处理后的结果图，图3(c)中圆圈内的白色区域为目标图像区域。图3(d)表示本发明的Desert视频序列中进行运动目标的检测过程中，对开运算处理后图像的边缘检测结果图，图3(d)中圆圈内的白色边缘区域为目标图像的边缘区域。结合图3中的各幅图像可以看出，在目标超小的情况下，本发明还可以很好的检测跟踪运动小目标。

第二个过程，利用所获得的目标模板进行小目标跟踪的具体步骤如下：

卡尔曼滤波器是一个高效的递归滤波器，它可以实现从一系列的噪声测量中，估计动态系统的状态。卡尔曼滤波器是线性最优状态估计，由一个状态方程和一个观测方程表示，根据观测量一步步的估计出状态的最优值。

本发明关心的是跟踪目标，而目标的位置，速度，加速度的测量值是时刻含有误差的，卡尔曼滤波器利用目标的动态信息，去掉噪声影响，获取目标此刻好的位置估计和将来位置估计。在跟踪过程中，目标的速度变化是由噪声引起的。因此在过程等式中，不考虑目标的加速度以及加速度的影响通过噪声的影响来描述。在测量过程中，测量状态是由系统状态和噪声引起的。因此，目标运动状态通过下式描述：

$X_k=F*X_{k-1}+w_{k-1}=\left[\begin{array}{c}{x}_k\\ y_k\\ {\stackrel{\·}{x}}_k\\ {\stackrel{\·}{y}}_k\end{array}\right]=\left[\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_{k-1}\\ y_{k-1}\\ {\stackrel{\·}{x}}_{k-1}\\ {\stackrel{\·}{y}}_{k-1}\end{array}\right]+w_{k-1}$

Z_k=HX_k+v_k=[1 1 0 0]X_k+v_k

其中：X_k表示在第k帧图像目标中心位置状态，F表示目标运动的状态转移矩阵，X_k-1表示在第k-1帧图像目标中心位置状态，w_k-1表示跟踪第k-1帧图像目标中心位置过程中的噪声，x_k表示在第k帧图像中目标中心在x轴方向上坐标值，y_k表示在第k帧图像中目标中心在y轴方向上的坐标值，

表示在第k帧图像中目标中心在x轴方向上速度值，

表示第k帧图像中目标中心在x轴方向上速度值，x_k-1表示在第k-1帧图像中目标中心在x轴方向上坐标值，y_k-1表示在第k-1帧图像中目标中心在y轴方向上的坐标值，

表示在第k-1帧图像中目标中心在x轴方向上速度值，

表示在第k-1帧图像中目标中心在x轴方向上速度值；Z_k表示目标中心的测量位置，H表示目标运动的观测矩阵，X_k表示在第k帧图像目标中心位置状态，v_k表示跟踪第k帧图像测量目标中心位置过程中的噪声。

(9)确定检测区域。

本发明采集飞行器拍摄的视频图像序列中的一帧待跟踪图像。

本发明采用卡尔曼滤波器通过目标模板图像的目标中心位置，预测出待跟踪图像的目标中心位置，获得待跟踪图像的预测目标中心位置。

本发明以当前帧待跟踪图像预测的目标中心位置为中心，将矩形目标模板图像的长和宽3倍的区域，作为当前帧图像的目标检测区域。

(10)特征点提取与匹配。

本发明采用传统的快速鲁棒特征算法，对当前帧待跟踪图像被检测区域提取特征点。

本发明将当前帧待跟踪图像被检测区域提取特征点和目标模板的特征点进行匹配，获得多对匹配特征点。

特征点匹配的具体步骤如下。

第一步，分别将每帧图像极值点拉普拉斯响应值的正的快速鲁棒特征特征点分为一组，将每帧图像的负的拉普拉斯响值的快速鲁棒特征特征点分为一组，得到每帧图像的两组特征点。

第二步，分别求第一帧图像每个特征点与第二帧图像拉普拉斯响值正负符号相同的特征点的欧式距离。

第三步，分别找出第一帧图像每个特征点与第二帧图像欧式距离中最小的特征点、欧式距离次小特征点。

第四步，分别将第一帧图像每个特征点与第二帧图像的欧式距离最小特征点的欧式距离与欧式距离次小特征点的欧式距离作比，若二者的欧式距离比值小于0.65，则该特征点与找到的第二帧图像特征点中的最小欧式距离的特征点匹配成功。

(11)确定目标的配准中心位置。

分别累加当前帧待跟踪图像的所有匹配特征点的横坐标值和纵坐标值，将当前帧待跟踪图像所有匹配特征点的横坐标值和纵坐标除以匹配特征点数，获得当前帧待跟踪图像所有匹配特征点的横坐标值和纵坐标的平均值，将横坐标值和纵坐标的平均值作为当前帧待跟踪图像目标的配准中心位置。

(12)确定目标中心位置。

采用卡尔曼滤波器通过当前帧待跟踪图像目标的配准中心位置对的目标中心位置进行修正，获得当前帧待跟踪图像的目标中心位置。

(13)确定目标区域。

本发明分别累加当前帧和目标模板图像的所有匹配特征点的尺度值，将当前帧待跟踪图像所有匹配特征点的尺度值除以匹配特征点数，获得当前帧待跟踪图像所有匹配特征点尺度的平均值。

本发明用当前帧所有匹配特征点尺度的平均值与目标模板图像所有匹配特征点尺度的平均值作比，获得当前帧图像相对于目标模板图像的尺度变化系数。

本发明将目标模板图像的长和宽，分别乘以当前帧图像相对于目标模板图像的尺度变化系数，将该尺度变化系数作为当前帧待跟踪图像的目标的长和宽。

将当前帧待跟踪图像的目标图像更新作为目标模板图像，将当前帧待跟踪图像的目标图像区域中心位置跟新卡尔曼滤波器，重复步骤(9)-(13)，对运动小目标进行持续跟踪。

本发明的效果可以通过下述仿真实验加以说明：

1，仿真条件：

本发明在酷睿i3-2310，2GB内存的电脑上，采用VS2010和opencv2.40软件，对像素为500*400的Desert视频序列和Car视频序列完成仿真。

2，仿真结果：

本发明的仿真1是对超小目标进行检测跟踪。

图4是对像素为500*400的视频序列Desert进行的跟踪结果图，图4(a)表示本发明的视频序列Desert进行的跟踪的第10帧结果图，图4(a)中的黑色方框，表示本发明的检测到目标车的结果。图4(b)表示本发明的视频序列Desert进行的跟踪的第80帧结果图，图4(b)中的黑色方框，表示本发明的检测到目标车的结果。图4(c)表示本发明的视频序列Desert进行的跟踪的第150帧结果图，图4(c)中的黑色方框，表示本发明的检测到目标车的结果。图4(d)表示本发明的视频序列Desert进行的跟踪的第220帧结果图，图4(d)中的黑色方框，表示本发明的检测到目标车的结果。结合图4中的各幅图像可以看出，在目标超小的情况下，本发明还可以很好的检测跟踪运动小目标。

在本实验中，在上面实现步骤过程中使用的Desert视频序列中，检测出的目标在6*5个像素左右；通过多组实验分析，本发明方法可以检测到的最小目标为5*5像素左右，大大提高了目标检测与跟踪的性能。

本发明的仿真2是对Desert视频序列跟踪目标过程中，采用卡尔曼运动滤波去消除目标中心抖动问题。

通过目标特征的匹配，可以获得目标的位置分布，但是由于目标太小，提取的特征点的数量一般较少，采用匹配特征点坐标的均值作为目标的初步定位，目标跟踪轨迹抖动噪声较大。本发明选用卡尔曼滤波算法进行运动滤波，很好去除了跟踪过程中由于匹配点不稳定导致的目标中心剧烈抖动问题，平滑了目标运动轨迹。

本发明在目标跟踪过程中采用卡尔曼滤波和目标跟踪过程中未采用卡尔曼滤波对运动小目标的跟踪轨迹进行对比。跟踪轨迹对比示意图参照附图5，图5中选择通过比较目标图像中心位置的横坐标和目标图像中心位置的纵坐标关系的跟踪目标运动轨迹曲线来评价分类器的性能。跟踪目标运动轨迹曲线抖动越小，其对应的目标跟踪性能效果越好。

附图5中的横坐标轴表示Desert视视频序列中目标图像中心位置的横坐标，纵坐标轴表示Desert视视频序列中目标图像中心位置的纵坐标。附图5中以星号标示的曲线表示本发明在目标跟踪过程中直接匹配后跟踪目标运动轨迹曲线，以圆心标示的曲线表示在目标跟踪过程中采用卡尔曼滤波的跟踪目标运动轨迹曲线。从图5可见，本发明采用卡尔曼滤波后得到的跟踪目标运动轨迹曲线相比未采用卡尔曼滤波的跟踪目标运动轨迹曲线，抖动更小，说明本发明采用卡尔曼滤波后，得到的跟踪目标运动轨迹曲线，比未采用卡尔曼滤波的跟踪性能更优。

本发明的仿真3是对Car视频序列跟踪目标过程中，本发明可以很好的克服目标尺度变化问题。

快速鲁棒特征算法采用盒子滤波与原始图像做卷积，并通过改变盒子滤波的大小，来构建不同尺度的空间。在快速鲁棒特征特征检测算法中，由于不同的尺度空间是由不同大小的盒子滤波与图像做卷积所构成的，而卷积的计算量又与盒子的大小无关，因此在构建尺度空间函数上，快速鲁棒特征算法有着明显的速度优势。算法通过检验海瑟矩阵行列式的值对局部极值进行判别，每个特征点具有明确的尺度信息。

图6是对像素为320*240的视频序列Car进行的跟踪结果图，图6(a)表示本发明的视频序列Car进行的跟踪的第10帧结果图，图6(a)中的黑色方框，表示本发明的检测到目标车的结果。图6(b)表示本发明的视频序列Car进行的跟踪的第60帧结果图，图6(b)中的黑色方框，表示本发明的检测到目标车的结果。图6(c)表示本发明的视频序列Car进行的跟踪的第110帧结果图，图6(c)中的黑色方框，表示本发明的检测到目标车的结果。图6(d)表示本发明的视频序列Car进行的跟踪的第150帧结果图，图6(d)中的黑色方框，表示本发明的检测到目标车的结果。图6(e)表示本发明的视频序列Car进行的跟踪的第210帧结果图，图6(e)中的黑色方框，表示本发明的检测到目标车的结果。图6(f)表示本发明的视频序列Car进行的跟踪的第260帧结果图，图6(f)中的黑色方框，表示本发明的检测到目标车的结果。结合图4中的各幅图像可以看出，在目标尺度变化的情况下，本发明的方法可以很好的克服目标尺度变化问题，不论是目标放大还是缩小，目标可以很好的被跟踪。

Claims (8)

1.一种航拍视频中运动小目标的检测与跟踪方法，包括小目标的检测和利用所获得的小目标对采集的视频进行跟踪两个过程，具体实现步骤如下： 

第一个过程，小目标的检测的具体步骤如下： 

(1)采集图像： 

对飞行器拍摄的视频图像序列，每间隔一帧抽取一帧图像，共抽取四帧图像； 

(2)提取SURF特征点： 

2a）对采集的四帧图像分别构建每一帧图像的尺度空间，从每一帧图像的尺度空间中找出多个极值点； 

2b）将每帧构建尺度空间的图像划分为M×N个均匀分布的网格点，按行的顺序从左到右依次对网格序列从1开始标号；将每帧构建尺度空间的图像检测到的极值点的序号标记为该极值点位置所属网格点的序号，选择标记序号相同极值点的海瑟矩阵行列式值最大的极值点作为该序号网格的特征点； 

2c）将每帧构建尺度空间的图像每个特征点的位置为中心，r=6σ为半径的区域作为特征点的特征区域，其中，σ表示该特征点所处的尺度；按照下式，获得特征点的主方向： 

其中，C表示特征点的主方向，M₀₀表示特征点特征区域图像的零阶距，M₁₀表示特征点的特征区域图像在x方向的一阶距，M₀₁表示特征点的特征区域图像在y方向的一阶距； 

2d）通过每个特征点领域像素的哈尔小波响应确定该特征点的描述子； 

(3)图像分组匹配： 

3a)将采集的第一帧图像和第三帧图像分为第一组，将采集的第一帧图像和第四帧图像分为第二组，将采集的第二帧图像和第三帧图像分为第三组，将采集的第二帧图像和第四帧图像分为第四组，共获得四组图像对； 

3b)对每组图像对中的第一帧图像的特征点和第二帧图像的特征点进行匹 配； 

(4)获得仿射矩阵： 

采用顺序抽样一致性PROSAC算法，获得每组图像对中第一帧图像对第二帧图像的仿射矩阵； 

(5)获得差分图像： 

5a)将每组图像对中的第一帧图像进行仿射变化，获得仿射变换图像； 

5b)将每组图像对中的第二帧图像与获得的仿射变换图像相减，获得差分图像； 

(6)开运算处理： 

6a)对四组差分图像进行累加； 

6b)对累加差分图像用形态学开运算处理，得到开运算处理后的图像； 

(7)提取目标区域： 

7a）通过边缘检测坎尼算子，对开运算处理后的图像进行边缘检测，得到只含有目标边缘的图像； 

7b）用检测边缘坐标极值点方法，提取只含有目标边缘图像的目标区域位置； 

(8)确定目标模板： 

8a）将采集的第四帧图像的目标区域图像作为目标模板的图像，采用传统的快速鲁棒特征方法，对目标模板的图像提取特征点，作为目标模板的特征点； 

8b）将目标区域的四个坐标点的横坐标的平均值作为目标模板的目标中心位置的横坐标，将目标区域的四个坐标点的纵坐标的平均值作为目标模板的目标中心位置的纵坐标； 

第二个过程，利用所获得的目标模板图像进行小目标跟踪的具体步骤如下： 

(9)确定目标检测区域： 

9a）采集飞行器拍摄的视频图像序列中的一帧待跟踪图像； 

9b）采用卡尔曼滤波器通过目标模板图像的目标中心位置，预测出待跟踪图像的目标中心位置，获得待跟踪图像的预测目标中心位置； 

9c）以当前帧待跟踪图像预测的目标中心位置为中心，将矩形目标模板图像的长和宽3倍的区域，作为当前帧图像的目标检测区域； 

(10)特征点提取与匹配： 

10a）采用传统的快速鲁棒特征算法，对当前帧待跟踪图像被检测区域提取特征点； 

10b）将当前帧待跟踪图像被检测区域提取特征点和目标模板图像的特征点进行匹配，获得多对匹配特征点； 

(11)确定目标的配准中心位置： 

分别累加当前帧待跟踪图像的所有匹配特征点的横坐标值和纵坐标值，将当前帧待跟踪图像所有匹配特征点的横坐标值和纵坐标除以匹配特征点数，获得当前帧待跟踪图像所有匹配特征点的横坐标值和纵坐标的平均值，将横坐标值和纵坐标的平均值作为当前帧待跟踪图像目标的配准中心位置； 

(12)确定目标中心位置： 

采用卡尔曼滤波器通过当前帧待跟踪图像目标的配准中心位置对的目标中心位置进行修正，获得当前帧待跟踪图像的目标中心位置； 

(13)确定目标的长和宽： 

13a）分别累加当前帧和目标模板图像的所有匹配特征点的尺度值，将当前帧待跟踪图像所有匹配特征点的尺度值除以匹配特征点数，获得当前帧待跟踪图像所有匹配特征点尺度的平均值； 

13b）用当前帧所有匹配特征点尺度的平均值与目标模板图像所有匹配特征点尺度的平均值作比，获得当前帧图像相对于目标模板图像的尺度变化系数； 

13c）将目标模板图像的长和宽，分别乘以当前帧图像相对于目标模板图像的尺度变化系数，将该尺度变化系数作为当前帧待跟踪图像的目标的长和宽。 

2.根据权利要求1所述的航拍视频中运动小目标的检测与跟踪方法，其特征在于，步骤2a)所述的构建每一帧图像的尺度空间的具体步骤如下： 

第一步，用初始尺度σ=1.2的近似模板对拟构建尺度空间的图像做卷积，得到尺度空间的第一组第一层；将模板的尺寸增大6个像素后再与原拟构建尺度空间的图像做卷积，获得第一组第二层；每次将模板的尺寸增大6个像素，依次与原拟构建尺度空间的图像做卷积，获得第一组的第三层和第四层； 

第二步，用第一组中的第二个模板对原拟构建尺度空间的图像做卷积，得到尺度空间的第二组第一层；将模版尺寸增大12个像素后再与原拟构建尺度空间的图像做卷积，获得第二组第二层；每次将模板的尺寸增大12个像素，依次与 原拟构建尺度空间的图像做卷积，获得第二组的第三层和第四层； 

第三步，用第二组中的第二个模板对原拟构建尺度空间的图像做卷积，得到尺度空间的第三组第一层，将模版尺寸增大24个像素后再与原拟构建尺度空间的图像做卷积，获得第三组第二层；每次将模板的尺寸增大24个像素，依次与原拟构建尺度空间的图像做卷积，获得第三组的第三层和第四层。 

3.根据权利要求1所述的航拍视频中运动小目标的检测与跟踪方法，其特征在于，步骤2a)所述的从每一帧图像的尺度空间中找出多个极值点的具体步骤如下： 

第一步，按照下式，对每帧图像的尺度空间中每组第二层和第三层图像中对应的点，计算海瑟矩阵行列式的值： 

det(H)=D_xxD_yy-(0.9D_xy)²

其中，det(H)表示海瑟矩阵行列式的值；D_xx表示高斯函数在x方向二阶偏倒的近似值与构建尺度空间的图像的卷积；D_yy表示高斯函数在y方向二阶偏倒的近似值与构建尺度空间的图像的卷积；D_xy表示高斯函数在y方向二阶偏倒的近似值与构建尺度空间的图像的卷积； 

第二步，分别将每帧图像尺度空间中每组第二层和第三层图像中的每个点的海瑟矩阵行列式的值，与该点相邻的26个像素点的海瑟矩阵行列式值进行比较；若该点的海瑟矩阵行列式值比相邻的26个点的海瑟矩阵行列式值的值都大，则选该像素点为极值点。 

第三步，极值点的拉普拉斯响应值由下式确定： 

tr(H)=D_xx+D_yy

其中，tr(H)表示极值点的拉普拉斯响应值；D_xx表示高斯函数在x方向二阶偏倒的近似值与构建尺度空间的图像的卷积；D_yy表示高斯函数在y方向二阶偏倒的近似值与构建尺度空间的图像的卷积。 

4.根据权利要求1所述的航拍视频中运动小目标的检测与跟踪方法，其特征在于，步骤2b)所述的N表示构建尺度空间图像高度值的百分之五，M表示构建尺度空间的图像的宽度值的百分之五。 

5.据权利要求1所述的航拍视频中运动小目标的检测与跟踪方法，其特征在于，步骤2c)所述特征点的图像距定义如下： 

其中，M_ij表示特征点的特征区域图像的i+j阶矩；I(x,y)表示特征点的特征区域图像在位置(x,y)处的像素值，r表示特征点的特征区域的半径。 

6.根据权利要求1所述的航拍视频中运动小目标的检测与跟踪方法，其特征在于，步骤2d)所述的通过每一帧图像每个特征点领域像素的哈尔小波响应确定该特征点的描述子的具体步骤如下： 

第一步，以每个特征点为坐标轴的中心，以该特征点的主方向为x轴，L=20σ为边长，构造该特征点的一个正方形邻域,其中，σ表示该特征点所处的尺度； 

第二步，将正方形邻域分为4*4的子区域，在每个子域中，分别计算像素点水平方向上哈尔小波响应的和，垂直方向上哈尔小波响应的和，水平方向上的哈尔小波响应的绝对值的和，垂直方向上的哈尔小波响应的绝对值的和；每个子区域用四个和值构成的矢量来表示； 

第三步，将16子区域的矢量连接起来构成一个64维的矢量来描特征点。 

7.根据权利要求1所述的航拍视频中运动小目标的检测与跟踪方法，其特征在于，步骤3b)所述的特征点匹配的具体步骤如下： 

第一步，分别将每帧图像极值点拉普拉斯响应值的正的快速鲁棒特征特征点分为一组，将每帧图像的负的拉普拉斯响值的快速鲁棒特征特征点分为一组，得到每帧图像的两组特征点； 

第二步，分别求第一帧图像每个特征点与第二帧图像拉普拉斯响值正负符号相同的特征点的欧式距离； 

第三步，分别找出第一帧图像每个特征点与第二帧图像欧式距离中最小的特征点、欧式距离次小特征点； 

第四步，分别将第一帧图像每个特征点与第二帧图像的欧式距离最小特征点的欧式距离与欧式距离次小特征点的欧式距离作比，若二者的欧式距离比值小于0.65，则该特征点与找到的第二帧图像特征点中的最小欧式距离的特征点匹配成功。 

8.根据权利要求1所述的航拍视频中运动小目标的检测与跟踪方法，其特征在于，步骤7b)所述的检测边缘坐标极值点方法的具体步骤如下： 

第一步，在只含有目标边缘的图像的y方向上找出第一个出现和最后一个出现目标边缘点的坐标点； 

第二步，在只含有目标边缘的图像的x方向上找出第一个出现和最后一个出现目标边缘点的坐标点； 

第三步，将x方向第一个目标边缘点的x坐标和y方向第一个目标边缘点的y坐标，构成目标图像的第一个坐标点；将x方向第一个目标边缘点的x坐标和将y方向最后一个目标边缘点的y坐标，构成目标图像的第二个坐标点；将x方向的最后一个目标边缘点的x坐标和将y方向的第一个目标边缘点的y坐标，构成目标图像的第三个坐标点；将x方向的最后一个目标边缘点的x坐标和将y方向的最后一个目标边缘点的y坐标，构成目标图像的第四个坐标点； 

第四步，通过第三步找出的四个目标图像坐标点作为矩形的四个顶点构成目标区域。 

Images