CN108694724A - 一种长时间目标跟踪方法 - Google Patents

Abstract

本发明涉及目标跟踪领域，尤其涉及一种长时间目标跟踪方法。一种长时间目标跟踪方法，该方法如下：获取初始图像中的跟踪目标信息以及当前帧图像，在获取的当前帧图像上以跟踪目标在上一帧图像的所在位置为中心，选取候选区域；利用分类器模型在候选区域中获取候选目标所对应的目标位置；判断候选目标是否为跟踪目标。本发明在当前帧上以跟踪目标在上一帧图像的所在位置为中心选取候选区域，获取候选目标所对应的目标位置准确的判断目标是否异常；并在目标目标异常时在当前帧图像中以上一帧图像的所在位置为中心重新扩大选取范围进行检索实现目标长时间跟踪的目的。

Description

一种长时间目标跟踪方法

技术领域

本发明涉及目标跟踪领域，尤其涉及一种长时间目标跟踪方法。

背景技术

无论在军用或者民用领域中，目标跟踪技术都有着广泛的应用。在战场侦查、低空防御、交通监控以及国土安全等方面全自动或者半自动的实现目标跟踪任务都可以大大减少工作人员和工作时间。然而，尽管人们已经提出了许多有效的视频目标跟踪算法，但在实际应用中仍然面临很多困难，例如环境中的光照变化、目标的非线性形变、摄像机的抖动，以及背景中的噪声干扰等因素，给目标跟踪带来了极大的挑战。

同时，现有的目标跟踪方法大多数只能够实现在较短的时间内对目标进行跟踪，相对于长时间跟踪方法则鲜有研究。然而，在实际工程应用中，对目标的长久稳定跟踪则更受关注。因此设计准确可靠、长时间的目标跟踪算法在当前仍然是一项非常具有挑战性的工作。本专利针对以上问题，提出了一种能够对视频目标进行长时间的跟踪方法。该方法通过目标响应图振荡情况设定的跟踪丢失判断条件，从而能够准确的判断目标是否碰到遮挡、丢失或者模糊等状况；利用深度学习的目标检测模型准确的检测丢失目标，解决传统复杂背景下目标检测困难且准确度低的问题；将跟踪方法和检测方法进行有效地结合，确保目标长时间稳定的跟踪。实验结果表明，提出的方法能够在跟踪过程中准确的判断目标是否碰到遮挡、丢失或者模糊等状况，且能够在目标丢失的情况下准确的检测到目标后继续进行跟踪，实现目标长时间跟踪的目的。

发明内容

本发明旨在针对上述问题，提出一种长时间目标跟踪方法。

本发明的技术方案在于：

一种长时间目标跟踪方法，该方法如下：

获取初始图像中的跟踪目标信息以及当前帧图像，在获取的当前帧图像上以跟踪目标在上一帧图像的所在位置为中心，选取候选区域；利用分类器模型在候选区域中获取候选目标所对应的目标位置；

判断候选目标是否为跟踪目标：

若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，更新分类器模型，完成视频图像中目标的长时间跟踪；

若不是跟踪目标，则判断候选目标出现的异常类型情况，在当前帧图像上以跟踪目标在上一帧图像所在位置为中心建立搜索区域并重新检测跟踪目标，对检测到的候选目标与其上一帧图像中的跟踪目标进行目标一致性判断，挑选满足判断条件的候选目标作为跟踪目标，并更新分类器模型，完成视频图像中目标的长时间跟踪。

一种长时间目标跟踪方法，该方法如下：

获取初始图像中的跟踪目标信息以及当前帧图像；

在当前帧图像中，以跟踪目标在上一帧图像的所在位置为中心，以目标大小的2～5倍的范围选取候选区域；

用分类器模型求取候选区域的响应图，获得响应图中的最大响应值，该最大响应值所在位置即为候选目标所对应的目标位置；

判断候选目标是否为跟踪目标，若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，更新分类器模型，完成视频图像中目标的检测和跟踪；若不是跟踪目标，则判断候选目标出现遮挡、丢失或者模糊情况，在当前帧图像上以跟踪目标在上一帧图像所在位置为中心建立搜索区域并重新检测跟踪目标；

在上一帧图像中对候选目标进行目标检测，对检测到的候选目标与其上一帧图像中的跟踪目标进行目标一致性判断，挑选满足判断条件的候选目标作为跟踪目标，并更新分类器模型，完成视频图像中目标的长时间跟踪。

重复上述方法，实现持续完成目标的长时间跟踪。

在目标大小2-5倍的范围中选取3-7个候选区域，方法如下：

以检测目标所在位置的中心点为中心，在当前帧图像中选取第一候选区域，第一候选区域的宽和高分别为跟踪目标在上一帧图像中宽和高的2-2.5倍；

以第一候选区域范围大小为基准，以其中心点为中心，以k为尺度因子，选取1-3个候选区域，其中1＜k≤1.5；

以第一候选区域范围大小为基准，以其中心点为中心，以1/k倍在当前帧图像中选取1-3个候选区域。

用分类器模型求取候选区域的响应图的方法如下：

在训练分类器模型之前，对初始图像中的跟踪目标进行扩展，即以初始图像中的目标区域的2-2.5倍的范围进行扩展，提取扩展后目标区域所对应的Hog特征向量；

根据扩展后的目标区域对应的Hog特征向量，训练分类器模型；

分类器模型的训练公式如下：

其中，表示对α的傅里叶变换，表示训练得到的分类器模型，y表示初始图像中训练样本对应的标签，k表示核函数，x表示扩展后区域的Hog特征向量，λ是一个正则化参数，为常量，取值0.000001；

然后在训练分类器模型过程中采用连续的标签标记训练样本，对样本中心距离目标中心的远近分别赋0-1范围内的数值，且服从高斯分布，离目标越近，值越趋向于1，离目标越远，值越趋向于0；

利用目标分类器模型，获得当前帧中多个尺度的候选区域对应的响应图；

其中，表示对f(z)的傅里叶变换，f(z)表示候选区域z对应的响应图，z表示当前帧中其中一个候选区域对应的Hog特征向量，x 表示扩展后的目标区域对应的Hog特征向量,表示训练得到的分类器模型。

候选目标所对应的目标位置的确定方法如下：

通过分类器模型分别计算3-7个候选区域所对应响应图中的最大响应值，其中第一候选区域的最大响应值记为F_maxA，以k为尺度因子，选取的候选区域的最大响应值记为F_maxA′,以1/k为尺度因子，选取的候选区域的最大响应值记为F_maxA″，其中A为第一候选区域， A′为以k为尺度因子选取的候选区域，A″为以1/k为尺度因子选取的候选区域；

同时，引入尺度权重因子scale_weight，设定其取值范围在 0.9-1之间；

判断F_maxA是否大于scale_weight与F_maxA′的乘积；当F_maxA>scale_weight×F_maxA′时，则认定F_maxA为最大响应值F_max’，进入下一步判断；否则认定F_maxA′为最大响应值F_max’，进入下一步判断，同时更新候选区域的信息；

判断F_max’是否大于scale_weight与F_maxA″的乘积；

当F_max’>scale_weight×F_maxA″时，则认定F_max’为最大响应值F_max，则直接进入下一步；否则认定F_maxA′为最大响应值F_max，同时更新候选区域的信息；

最大响应值F_max所在的候选区域，即为当前帧目标最可能出现的位置。

判断候选目标是否为跟踪目标的方法如下：

判断候选区域最大响应值F_max是否大于预设响应值，其中所述预设响应值是指候选区域内最大响应值的最小值，取值范围在0-1之间，优选为0.3；

当最大响应值F_max大于预设响应值时，则计算当前帧能够反应候选区域响应图振荡程度的APCE值，记为APCE_current，以及上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCE_average；

其中：APCE值的求取公式如下：

其中F_max为响应图中的最大响应值，F_min为响应图中的最小响应值，F_w,h为响应图中对应(w，h)位置的响应值，mean为求取均值。当APCE值突然减小时，就是目标被遮挡，或者目标丢失，甚至目标模糊的情况。

判断当前帧候选区域的APCE_current是否大于预设震荡比例的 APCE_average；

当APCE_current大于预设震荡比例的平均APCE_average时，认为当前帧图像中的候选目标为跟踪目标，更新分类器模型；否则，判断候选目标出现遮挡、丢失或者模糊情况，进入下一帧图像进行目标检测；所述预设震荡比例在0-1之间，优选为0.4。

更新分类器模型的方法如下：

用当前帧图像中跟踪目标的信息更新上一帧图像中跟踪目标信息，并计算当前帧图像中跟踪目标的APCE_average；

判断跟踪目标的F_max是否大于预设响应比例倍的平均F_max-average，设定该预设比例在0-1之间，优选为0.7；

在判断跟踪目标的F_max大于预设响应比例倍的平均F_max-average时，则直接进入下一步判断进行确定；否则，当前帧图像不进行分类器模型更新；

判断跟踪目标的APCE_average值是否大于预设平均震荡比例倍的平均APCE值，设定预设平均震荡比例在0-1之间，优选为0.45；

在判断跟踪目标的APCE值大于预设平均震荡比例倍的平均APCE 值时，则对当前帧图像进行分类器模型更新；否则，当前帧图像不进行分类器模型更新；

按照分类器模型更新公式对当前帧图像进行模型更新；

其中：F_max-average为当前帧图像中响应图的最大响应值F_max与上一帧图像中响应图的最大响应值F_max的平均值；

其中预设响应比例是指当前帧跟踪目标区域的最大响应值相对于跟踪目标历史平均响应值的浮动程度，取值范围在0-1之间，优选为0.7；

预设平均震荡比例是指通过当前帧候选区域响应图的得到的平均震荡值相对于跟踪目标历史平均响应图震荡值的剧烈程度，取值范围在0-1之间，优选为0.45；

分类器模型更新公式如下：

其中表示第n帧图像的分类器模型参数，表示第n-1帧图像的分类器模型参数，η表示学习率参数，取值为0.015。

重新检测跟踪目标方法如下：

在当前帧图像上以跟踪目标在上一帧图像所在位置为中心，建立原跟踪目标大小5倍的搜索区域；

在搜索区域内，利用深度学习的目标检测方法进行区域检测，待检测完成后，保存检测到的所有候选目标；

对检测到的所有候选目标与前一帧的跟踪目标进行目标一致性判断，确定该跟踪目标是否仍然存在；

所述目标一致性判断的条件为：所有候选目标中必须有同时满足位置判据、相似度判据的候选目标，否则进入下一帧图像再次进行目标检测，直至满足目标一致性判断条件为止；

位置判据：取候选目标的中心点与前一帧中跟踪目标的中心点坐标，当候选目标与跟踪目标在x方向和y方向上的差值均分别小于位置判据时,判断两个目标一致；

相似度判据：如果跟踪目标的初步一致目标只有一个，则认为该候选目标为当前帧的跟踪目标；如果跟踪目标的初步一致目标不止一个，则分别求解上一帧跟踪目标与所有跟踪目标的初步一致目标在对应图像区域的NCC值，NCC值为两个目标之间的归一化互相关值；选择候选目标中与上一帧跟踪目标的NCC值最大的候选目标作为当前帧的跟踪目标；

NCC的计算公式如下：

其中I₁和I₂分别表示两个目标对应的图像区域，⊙表示点乘运算；

如果检测到的候选目标都不满足上述两个判据的条件，则直接进入下一帧图像进行检测，再次进行判断。

本发明的技术效果在于：

本发明在当前帧上以跟踪目标在上一帧图像的所在位置为中心选取候选区域；利用分类器模型在候选区域中获取候选目标所对应的目标位置；通过目标响应图振荡情况设定的跟踪丢失判断条件，从而能够准确的判断目标是否碰到遮挡、丢失或者模糊等状况；并在发生目标碰到遮挡、丢失或者模糊等状况时在当前帧图像中以上一帧图像的所在位置为中心重新扩大选取范围进行检索，准确的检测到目标后继续进行跟踪，实现目标长时间跟踪的目的。

附图说明

图1是本发明所述方法的流程图；

图2是本发明所述方法原理框图；

图3为第一帧图像跟踪目标信息终端显示图；

图4为第1帧图像跟踪目标显示图；

图5为目标进入持续稳定跟踪示意图；

图6为第28帧图像跟踪目标显示图；

图7为第96帧图像跟踪目标显示图；

图8为第365帧图像跟踪目标显示图；

图9为第365帧图像跟踪目标显示图。

具体实施方式

本发明所述一种长时间目标跟踪方法，该方法如下：

获取初始图像中的跟踪目标信息以及当前帧图像；

在首次跟踪时，需要包含跟踪目标信息的初始图像，以及包含初始图像的跟踪视频。该初始图像中，提供跟踪目标的左上角坐标以及宽度、高度等信息。其中初始图像中的跟踪目标信息可以通过检测算法自动提供，也可以通过人工框定的方式在初始图像中选取。

以检测目标所在位置的中心点为中心，在当前帧图像中选取第一候选区域，第一候选区域的宽和高分别为跟踪目标在上一帧图像中宽和高的2倍或2.5倍；

以第一候选区域范围大小为基准，以其中心点为中心，以k为尺度因子，选取1-3个候选区域，其中1＜k≤1.5；

以第一候选区域范围大小为基准，以其中心点为中心，以1/k倍在当前帧图像中选取1-3个候选区域。

本实施例中第一候选区域是以检测目标所在位置的中心点为中心，以跟踪目标在上一帧图像中宽和高的2.5倍为范围选取的1个候选区域，第二候选区域是以第一候选区域范围大小为基准，以其中心点为中心，以1.05倍的尺度因子选取的一个候选区域；第三候选区域是以第一候选区域范围大小为基准，以其中心点为中心，以1/1.05 倍的尺度因子选取的一个候选区域。

考虑到目标在运动过程中，可能会发生尺度变化，可以以第一候选区域的范围大小为基础，在1＜k≤1.5的范围中再选取2个或3个尺度因子，如1.1、1.5以此确定多个候选区域，从而帮助分类器模型在更多的候选区域中精准的获取候选目标所对应的精确目标位置。利用分类器模型求取候选区域的响应图的方法如下：

在训练分类器模型之前，对初始图像中的跟踪目标进行扩展，即以初始图像中的目标区域的2倍或2.5倍进行扩展，使其扩展后的目标区域中含有部分背景信息；这不仅可以增加训练样本的数量，也可以使分类器学习到部分背景信息，提高分类器的精度；提取扩展后目标区域所对应的Hog特征向量；

考虑到Hog特征是一种多维特征，对目标的光照变化以及尺度变化具有鲁棒性；因此，根据对扩展后的目标区域提取Hog特征向量，利用该特征向量训练分类器；另外，将目标跟踪的问题转化为求解脊回归模型的问题，通过构建训练样本的循环矩阵，利用循环矩阵在傅里叶域中的可对角化特性，大大简化脊回归模型参数的求解过程，从而更加快速的得到目标分类器。

分类器模型的训练公式如下：

其中，表示对α的傅里叶变换，表示训练得到的分类器模型，y表示初始图像中训练样本对应的标签，k表示核函数，x表示扩展后区域的Hog特征向量，λ是一个正则化参数，为常量，取值0.000001；

此外，由于目前大部分算法都是采用非正即负的方式来标记训练样本，即正样本标签为1，负样本为0。这种标记样本的方法有一个问题就是不能很好的反应每个负样本的权重，即对离目标中心远的样本和离目标中心的近的样本同等对待。

因此，在训练分类器模型过程中采用连续的标签标记训练样本，对样本中心距离目标中心的远近分别赋0-1范围内的数值，且服从高斯分布，离目标越近，值越趋向于1，离目标越远，值越趋向于0；

利用目标分类器模型，获得当前帧中多个尺度的候选区域对应的响应图；

其中，表示对f(z)的傅里叶变换，f(z)表示候选区域z对应的响应图，z表示当前帧中其中一个候选区域对应的Hog特征向量，x 表示扩展后的目标区域对应的Hog特征向量,表示训练得到的分类器模型。

候选目标所对应的目标位置的确定方法，首先根据三个尺度下候选区域与分类器模型之间的响应图，然后找出每个响应图的响应峰值，最后根据条件进行比较确定最大响应值的候选区域，从而确定此时该候选区域最有可能是跟踪目标，即其所在位置为当前帧目标最可能出现的位置。

方法如下：

本发明选取三个候选区域，第一候选区域为1倍、第二候选区域为1.05倍、第三候选区域为1/1.05倍三个尺度大小，分别记为F_max-1.05， F_max-1，F_max-1/1.05；

通过分类器模型分别计算三个尺度下候选区域对应响应图中最大响应值；

引入尺度权重因子scale_weight，取值设定为0.95；

判断F_max-1是否大于scale_weight与F_max-1.05的乘积；当F_max-1> scale_weight×F_max-1.05时，则将F_max-1认定为最大响应值F_max’，则直接进入下一步判断进行确定；否则将F_max-1.05认定为最大响应值F_max’，也进入下一步判断进行确定，同时更新候选区域的信息；

判断F_max’是否大于scale_weight与F_max-1/1.05的乘积；当F_max’> scale_weight×F_max-1/1.05时，则将F_max’认定为最大响应值F_max，则直接进入下一步判断进行确定；否则将F_max-1.05认定为最大响应值F_max，同时更新候选区域的信息；

最终确定最大响应值F_max所在的候选区域，即其所在位置为当前帧目标位置。

判断候选目标是否为跟踪目标，若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，更新分类器模型，完成视频图像中目标的检测和跟踪；若不是跟踪目标，则判断候选目标出现遮挡、丢失或者模糊情况，在当前帧图像上以跟踪目标在上一帧图像所在位置为中心建立搜索区域并重新检测跟踪目标；

如何判断跟踪器跟踪稳定性的强弱程度，或者说如何能够准确的判断当前帧图像中目标出现了遮挡，甚至目标丢失。本发明通过跟踪过程中跟踪丢失判断方法的优劣来进行评估，一旦能够判断这一点，模型更新的准确性就可以有较大提升，跟踪的稳定性也得到加强。

在跟踪准确的情况下，候选目标响应图的最大值，也就是峰值，是一个明显的波峰，接近理想的二维高斯分布，而在跟踪不好的情况中，尤其是碰到遮挡、丢失或者模糊等状况，候选目标的响应图会发生剧烈的振荡，此时，响应图将会出现多个峰值的情况，导致无法通过响应峰值来确定目标的中心位置，但是可以通过振荡程度及时的反应目标当前的状态，从而准确的判断目标是否碰到遮挡、丢失或者模糊等状况。因此本发明利用一个能够反应响应图振荡程度的判据APCE (平均峰值相关能量)来判断。本发明通过上一步分类器模型获取候选区域的响应图，找到响应图中的最大响应值F_max，判断F_max是否大于预设响应值0.3，当F_max>0.3时，则直接进入下一步判断进行确定；否则，判断当前帧图像中的候选目标不是跟踪目标，即当前帧图像目标跟踪丢失；

该方法如下：

判断候选区域最大响应值F_max是否大于预设响应值，其中所述预设响应值是指候选区域内最大响应值的最小值，取值范围在0-1之间，优选为0.3；

当F_max>0.3时，则直接进入下一步判断进行确定；否则，判断当前帧图像中的候选目标不是跟踪目标，即当前帧图像目标跟踪丢失；

当最大响应值F_max大于预设响应值时，则计算当前帧能够反应候选区域响应图振荡程度的APCE值，记为APCE_current，以及上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCE_average；

其中：APCE值的求取公式如下：

其中F_max为响应图中的最大响应值，F_min为响应图中的最小响应值，F_w,h为响应图中对应(w，h)位置的响应值，mean为求取均值。当APCE值突然减小时，就是目标被遮挡，或者目标丢失，甚至目标模糊的情况。

通过候选区域响应图，找到响应图中的最小响应值F_min，并计算该候选目标的APCE值，记为APCE_current。同时，上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCE_average。该值从第二帧图像开始进行计算跟踪目标的APCE_current-2，第三帧图像中目标稳定跟踪后求取APCE_current-3后，APCE_average等于APCE_current-2和APCE_current-3的平均值；待求取第四帧图像中跟踪目标的APCE_current-4后，APCE_average等于 APCE_current-4和第三帧图像求取的APCE_average的平均值。以此类推，在目标稳定跟踪过程中，跟踪视频中第n帧图像中跟踪目标的APCE_average等于第n帧跟踪目标的APCE_current-n和第n-1帧跟踪目标求取的 APCE_average的平均值。

判断当前帧候选区域的APCE_current值是否大于预设比例倍的平均APCE值，本发明所述预设震荡比例为0.4。

当APCE_current>0.4×APCE_average时，判断当前帧图像中的候选目标即为跟踪目标，更新分类器模型；否则，判断当前帧图像中的候选目标不是跟踪目标，即当前帧图像目标跟踪丢失，重新进行目标检测。

通过跟踪结果可靠性的判定，确定是否每一帧的跟踪结果都用来更新，当目标被遮挡，或者跟踪器已经跟的不好的时候，如果再去更新分类器模型，只会使得跟踪器越来越无法识别目标，从而造成分类器模型漂移问题。

另外，由于想要保证跟踪速度，就需要一种简单有效的模型更新策略，最好能够通过已经获得的一些资源来进行判断，而不需要进行太多复杂的计算。

因此，本发明利用跟踪目标的最大响应值以及APCE值这两个判据进行分类器模型的更新，只有当F_max和APCE都以一定比例大于历史均值的时候，分类器模型才进行更新。该方法一方面大大减少了分类器模型漂移的情况，另一方面减少了分类器模型更新的次数，达到了加速的效果。

在进行分类器模型更新时，应按照预设比例进行分类器模型参数更新。

用当前帧图像中跟踪目标的信息更新上一帧图像中跟踪目标信息，并计算当前帧图像中跟踪目标的APCE_average；

判断跟踪目标的F_max是否大于预设响应比例倍的平均F_max，设定该预设比例为0.7；

在判断跟踪目标的F_max大于预设响应比例倍的平均F_max时，则直接进入下一步判断进行确定；否则，当前帧图像不进行分类器模型更新；

判断跟踪目标的APCE值是否大于预设平均震荡比例倍的平均APCE值，设定该预设比例为0.45；

在判断跟踪目标的APCE值大于预设平均震荡比例倍的平均APCE 值时，则对当前帧图像进行分类器模型更新；否则，当前帧图像不进行分类器模型更新；

按照下述公式对当前帧图像进行模型更新。

分类器模型更新公式如下：

其中表示第n帧图像的分类器模型参数，表示第n-1帧图像的分类器模型参数，η表示学习率参数，取值为0.015。

在上一帧图像中对候选目标进行目标检测，对检测到的候选目标与其上一帧图像中的跟踪目标进行目标一致性判断，挑选满足判断条件的候选目标作为跟踪目标，并更新分类器模型，完成视频图像中目标的长时间跟踪。

在跟踪过程中，为了避免目标由于突然地遮挡、模糊等影响导致的不能长时间稳定的跟踪，需要在目标丢失判断后对当前帧图像中目标丢失区域进行目标检测，从而完成长时间跟踪的任务，此外，重新检测目标也是利用深度学习的目标检测模型，从而确保检测的准确性。目标检测方法如下：

在当前帧图像上以跟踪目标在前一帧图像所在位置为中心，建立原跟踪目标大小5倍的搜索区域；

在搜索区域内，利用深度学习的目标检测方法进行区域检测，待检测完成后，保存检测到的所有候选目标；

对检测到的所有候选目标与前一帧的跟踪目标进行目标一致性判断，确定该跟踪目标是否仍然存在。

当位置判据与相似度判据均满足时，进行目标检测，对同时满足位置判据与相似度判据条件的候选目标进行判断，否则进入下一帧图像再次进行目标检测，再次进行判断；为了达到目标长时间跟踪的效果，需要对检测到的所有候选目标与前一帧的跟踪目标进行目标一致性判断，确定该跟踪目标是否仍然存在。

目标一致性判断的方法如下：

位置判据：取候选目标的中心点与前一帧中跟踪目标的中心点坐标，当候选目标与跟踪目标在x方向和y方向上的差值均分别小于 15时，判断两个目标一致；

相似度判据：如果跟踪目标的初步一致目标只有一个，则认为该候选目标为当前帧的跟踪目标；如果跟踪目标的初步一致目标不止一个，则分别求解上一帧跟踪目标与所有跟踪目标的初步一致目标在对应图像区域的NCC值，NCC值为两个目标之间的归一化互相关值；选择候选目标中与上一帧跟踪目标的NCC值最大的候选目标作为当前帧的跟踪目标；

NCC的计算公式如下：

其中I₁和I₂分别表示两个目标对应的图像区域，⊙表示点乘运算。

如果检测到的候选目标都不满足上述两个判据的条件，则直接进入下一帧图像进行检测目标，再次进行判断。

重复上述方法，实现持续完成目标的长时间跟踪。

下面是结合照片对本发明复杂背景下运动目标检测与跟踪方法进行效果的验证：

本视频为外场采集的无人机视频，主要针对低空复杂场景(如建筑物、树丛及干扰物等)对无人机目标进行实时的检测和跟踪。

视频开始时，获取第一帧图像中跟踪目标信息。本次实验通过检测算法发送第一帧图像中的目标信息在终端上，如图3所示，同时在第一帧图像上显示跟踪目标框，如图4所示。该视频第一帧图像中场景比较复杂，而且跟踪目标周围有干扰物影响，给跟踪带来了很大的难度。

为了验证方法是否能够保证持续稳定的跟踪，通过终端界面的输出可以看出，该方法能够保证稳定跟踪，如图5所示。从第2帧开始到第28帧，目标进入持续稳定跟踪状态，一直返回跟踪成功的标志 1。此外，为了验证方法是否具备一定的抗遮挡能力，通过视频图像中目标穿越遮挡仍然能够保持稳定跟踪状态可以得到证实，如图6所示。结合图4、图6中目标的飞行轨迹以及图5的持续返回成功的标志，可以判断目标已经两次成功避开遮挡物的影响，持续稳定的锁定在跟踪框内。

从对本次视频图像中目标的跟踪结果发现，提出的方法具备很强的抗干扰能力，如图7所示，目标周围有树枝、电线杆以及电线的影响，但是仍然保持稳定跟踪状态；另外，提出的方法具备复杂背景下稳定跟踪的能力，如图8所示，结合图7说明跟踪框已经跟随目标从树的右端移动到树的左端。

最后，从对本次视频图像中目标的跟踪结果还发现，该方法能够准确的判断目标是否碰到遮挡、丢失或者模糊等状况，并利用检测算法将准确的在当前帧图像中检测到目标，经过目标一致性判断后确定目标位置，继续进行跟踪，如图9所示，目标在第618帧时开始变得模糊；导致丢失判断生效；检测到候选目标进行一致判断后，输出目标坐标，重新进入跟踪。

Claims (9)

1.一种长时间目标跟踪方法，其特征在于，该方法如下：

获取初始图像中的跟踪目标信息以及当前帧图像；

在获取的当前帧图像上以跟踪目标在上一帧图像的所在位置为中心，选取候选区域；

利用分类器模型在候选区域中获取候选目标所对应的目标位置；

判断候选目标是否为跟踪目标：若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，更新分类器模型，完成视频图像中目标的长时间跟踪；若不是跟踪目标，则判断候选目标出现的异常类型情况，在当前帧图像上以跟踪目标在上一帧图像所在位置为中心建立搜索区域并重新检测跟踪目标，对检测到的候选目标与其上一帧图像中的跟踪目标进行目标一致性判断，挑选满足判断条件的候选目标作为跟踪目标，并更新分类器模型，完成视频图像中目标的长时间跟踪。

2.根据权利要求1所述的长时间目标跟踪方法，其特征在于，该方法如下：

获取初始图像中的跟踪目标信息以及当前帧图像；

在当前帧图像中，以跟踪目标在上一帧图像的所在位置为中心，以目标大小的2-5倍的范围选取候选区域；

用分类器模型求取候选区域的响应图，获得响应图中的最大响应值，该最大响应值所在位置即为候选目标所对应的目标位置；

判断候选目标是否为跟踪目标，若为跟踪目标，则用当前帧图像中跟踪目标的坐标信息进行跟踪，更新分类器模型，完成视频图像中目标的检测和跟踪；若不是跟踪目标，则判断候选目标出现遮挡、丢失或者模糊情况，在当前帧图像上以跟踪目标在上一帧图像所在位置为中心建立搜索区域并重新检测跟踪目标；

在上一帧图像中对候选目标进行目标检测，对检测到的候选目标与其上一帧图像中的跟踪目标进行目标一致性判断，挑选满足判断条件的候选目标作为跟踪目标，并更新分类器模型，完成视频图像中目标的长时间跟踪。

3.根据权利要求2所述的长时间目标跟踪方法，其特征在于，该方法重复权利要求2所述方法，实现持续完成目标的长时间跟踪。

4.根据权利要求2或3所述的长时间目标跟踪方法，其特征在于，在目标大小2-5倍的范围中选取3-7个候选区域，该方法如下：

以检测目标所在位置的中心点为中心，在当前帧图像中选取第一候选区域，第一候选区域的宽和高分别为跟踪目标在上一帧图像中宽和高的2-2.5倍；

以第一候选区域范围大小为基准，以其中心点为中心，以k为尺度因子，选取1-3个候选区域，其中1＜k≤1.5；

以第一候选区域范围大小为基准，以其中心点为中心，以1/k倍在当前帧图像中选取1-3个候选区域。

5.根据权利要求4所述的长时间目标跟踪方法，其特征在于，用分类器模型求取候选区域的响应图的方法如下：

在训练分类器模型之前，对初始图像中的跟踪目标进行扩展，即以初始图像中的目标区域2-2.5倍的范围进行扩展，提取扩展后目标区域所对应的Hog特征向量；

根据扩展后的目标区域对应的Hog特征向量，训练分类器模型；

分类器模型的训练公式如下：

其中，表示对α的傅里叶变换，表示训练得到的分类器模型，y表示初始图像中训练样本对应的标签，k表示核函数，x表示扩展后区域的Hog特征向量，λ是一个正则化参数；

然后在训练分类器模型过程中采用连续的标签标记训练样本，对样本中心距离目标中心的远近分别赋0-1范围内的数值，且服从高斯分布，离目标越近，值越趋向于1，离目标越远，值越趋向于0；

利用目标分类器模型，获得当前帧中多个尺度的候选区域对应的响应图；

其中，表示对f(z)的傅里叶变换，f(z)表示候选区域z对应的响应图，z表示当前帧中其中一个候选区域对应的Hog特征向量，x表示扩展后的目标区域对应的Hog特征向量,表示训练得到的分类器模型。

6.根据权利要求5所述的长时间目标跟踪方法，其特征在于，候选目标所对应的目标位置的确定方法如下：

通过分类器模型分别计算3-7个候选区域所对应响应图中的最大响应值，其中第一候选区域的最大响应值记为F_maxA，以k为尺度因子，选取的候选区域的最大响应值记为F_maxA′,以1/k为尺度因子，选取的候选区域的最大响应值记为F_maxA″，其中A为第一候选区域，A′为以k为尺度因子选取的候选区域，A″为以1/k为尺度因子选取的候选区域；

同时，引入尺度权重因子scale_weight，设定其取值范围在0.9-1之间；

判断F_maxA是否大于scale_weight与F_maxA′的乘积；

当F_maxA>scale_weight×F_maxA′时，则认定F_maxA为最大响应值F_max’，进入下一步判断；否则认定F_maxA′为最大响应值F_max’，进入下一步判断，同时更新候选区域的信息；

判断F_max’是否大于scale_weight与F_maxA″的乘积；

当F_max’>scale_weight×F_maxA″时，则认定F_max’为最大响应值F_max，则直接进入下一步；否则认定F_maxA′为最大响应值F_max，同时更新候选区域的信息；

最大响应值F_max所在的候选区域，即为当前帧目标最可能出现的位置。

7.根据权利要求6所述的长时间目标跟踪方法，其特征在于，判断候选目标是否为跟踪目标的方法如下：

判断候选区域最大响应值F_max是否大于预设响应值，其中所述预设响应值是指候选区域内最大响应值的最小值，取值范围在0-1之间；

当最大响应值F_max大于预设响应值时，则计算当前帧能够反应候选区域响应图振荡程度的APCE值，记为APCE_current，以及上一帧图像到第二帧图像中跟踪目标的平均APCE值，记为APCE_average；

其中：APCE值的求取公式如下：

判断当前帧候选区域的APCE_current是否大于预设震荡比例的APCE_average；

当APCE_current大于预设震荡比例的平均APCE_average时，认为当前帧图像中的候选目标为跟踪目标，更新分类器模型；否则，判断候选目标出现遮挡、丢失或者模糊情况，进入下一帧图像进行目标检测；所述预设震荡比例在0-1之间。

8.根据权利要求7所述的长时间目标跟踪方法，其特征在于，更新分类器模型的方法如下：

用当前帧图像中跟踪目标的信息更新上一帧图像中跟踪目标信息，并计算当前帧图像中跟踪目标的APCE_average；

判断跟踪目标的F_max是否大于预设响应比例倍的平均F_max-average，设定该预设比例在0-1之间；

在判断跟踪目标的F_max大于预设响应比例倍的平均F_max-average时，则直接进入下一步判断进行确定；否则，当前帧图像不进行分类器模型更新；

判断跟踪目标的APCE_average值是否大于预设平均震荡比例倍的平均APCE值，设定预设平均震荡比例在0-1之间；

在判断跟踪目标的APCE值大于预设平均震荡比例倍的平均APCE值时，则对当前帧图像进行分类器模型更新；否则，当前帧图像不进行分类器模型更新；

按照分类器模型更新公式对当前帧图像进行模型更新；

其中：F_max-average为当前帧图像中响应图的最大响应值F_max与上一帧图像中响应图的最大响应值F_max的平均值；

其中预设响应比例是指当前帧跟踪目标区域的最大响应值相对于跟踪目标历史平均响应值的浮动程度，取值范围在0-1之间；

预设平均震荡比例是指通过当前帧候选区域响应图的得到的平均震荡值相对于跟踪目标历史平均响应图震荡值的剧烈程度，取值范围在0-1之间；

分类器模型更新公式如下：

其中表示第n帧图像的分类器模型参数，表示第n-1帧图像的分类器模型参数，η表示学习率参数。

9.如权利要求8所述复杂背景下运动目标检测与跟踪方法，其特征在于，重新检测跟踪目标方法如下：

在当前帧图像上以跟踪目标在上一帧图像所在位置为中心，建立原跟踪目标大小5倍的搜索区域；

在搜索区域内，利用深度学习的目标检测方法进行区域检测，待检测完成后，保存检测到的所有候选目标；

对检测到的所有候选目标与前一帧的跟踪目标进行目标一致性判断，确定该跟踪目标是否仍然存在；

所述目标一致性判断的条件为：所有候选目标中必须有同时满足位置判据、相似度判据的候选目标，否则进入下一帧图像再次进行目标检测，直至满足目标一致性判断条件为止；

位置判据：取候选目标的中心点与前一帧中跟踪目标的中心点坐标，当候选目标与跟踪目标在x方向和y方向上的差值均分别小于位置判据，判断两个目标一致；

相似度判据：如果跟踪目标的初步一致目标只有一个，则认为该候选目标为当前帧的跟踪目标；如果跟踪目标的初步一致目标不止一个，则分别求解上一帧跟踪目标与所有跟踪目标的初步一致目标在对应图像区域的NCC值，NCC值为两个目标之间的归一化互相关值；选择候选目标中与上一帧跟踪目标的NCC值最大的候选目标作为当前帧的跟踪目标；

NCC的计算公式如下：

其中I₁和I₂分别表示两个目标对应的图像区域，⊙表示点乘运算；

如果检测到的候选目标都不满足上述两个判据的条件，则直接进入下一帧图像进行检测，再次进行判断。