CN109785363A - 一种无人机航拍视频运动小目标实时检测与跟踪方法 - Google Patents

Abstract

本发明公开了一种无人机航拍视频运动小目标实时检测与跟踪方法，通过单高斯背景模型建模，获取当前背景模型，在得到单高斯背景模型后，分辨像素点是前景还是背景，从而得到前景图像，对获得的前景图像进行稀疏光流分析，获取跟踪点集合；对跟踪点进行层次聚类，获取跟踪目标的外边框，将每帧前景图像检测得到的跟踪目标的外边框中的跟踪目标扣取出来，形成后续待跟踪列表，对每个跟踪目标通过深度神经网络来提取特征向量，对每个跟踪目标采用卡尔曼滤波算法进行预测、采用匈牙利算法匹配，并更新跟踪列表，获取更新的跟踪目标。本发明采用了单高斯模型进行背景的建模，降低了检测的耗时，提高了整体的效率。

Description

一种无人机航拍视频运动小目标实时检测与跟踪方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及目标检测与跟踪技术领域的一种无人机航拍视频运动小目标实时检测与跟踪方法。

背景技术

无人机场景下运动目标检测、跟踪任务与其他普通视频场景下一样面临着遮挡、阴影、易受环境干扰等难题，但是又具有独有的特点。比如，无人机所载重量有限，需要在受限的计算资源条件下，实现近乎实时的检测、跟踪效果。此外，在无人机视频监控场景中，不仅待检测目标是运动的，摄像机也是运动的，容易造成前景与背景的混淆。并且，由于摄像机的运动、天气的变化等因素，光照条件极易发生改变(甚至突变)，这进一步增加了目标检测、跟踪的难度。

在无人机视频监控场景中，当前用于动态背景的运动目标检测方法主要有两类，分别为背景运动补偿和光流法。前者计算背景动态变化耗费大量计算资源，难以在无人机平台上达到实时的效果，且受光照的影响较大；后者容易出现虚景，且稠密光流场需要计算的像素点太多，性能受到很大影响。根据跟踪对象和应用场景的不同，跟踪方法主要有点跟踪、核跟踪、轮廓跟踪以及混合跟踪等。但是目前的跟踪方法的准确率和效率都有待进一步提升，且对目标的遮挡以及光线变换不够鲁棒。

发明内容

本发明的目的在于提供一种无人机航拍视频运动小目标实时检测与跟踪方法，改进传统目标检测和跟踪的算法、引擎和流程，提高无人机场景下运动小目标的检测精度、效率，以及抵抗光照变化等外界环境影响的能力，大幅度提升无人机视频监控的智能化水平。

为了实现上述目的，本发明技术方案如下：

一种无人机航拍视频运动小目标实时检测与跟踪方法，包括：

对无人机航拍的视频图像序列，每间隔一帧抽取一帧图像，逐帧进行实时检测与跟踪；

通过单高斯背景模型建模，获取当前背景模型；

融合前一时刻的单高斯背景模型来对当前时刻的单高斯背景模型进行运动补偿，得到当前时刻的单高斯背景模型；

在得到单高斯背景模型后，通过计算像素点属于单高斯背景模型的概率，分辨此像素点是前景还是背景，从而得到前景图像；

对获得的前景图像进行稀疏光流分析，获取跟踪点集合；

对跟踪点进行层次聚类，获取跟踪目标的外边框；

将每帧前景图像检测得到的跟踪目标的外边框中的跟踪目标扣取出来，形成后续待跟踪列表；

对每个跟踪目标通过深度神经网络来提取特征向量；

对每个跟踪目标采用卡尔曼滤波算法进行预测、采用匈牙利算法匹配，并更新跟踪列表，获取更新的跟踪目标。

进一步地，所述通过单高斯背景模型建模，获取当前背景模型，包括：

将当前帧图像划分为均匀分布的N×N的小块，初始化当前背景模型和备选背景模型；

计算每块图像对应单高斯背景模型的均值和方差，并且每提取一帧图像即将其生命值执行加一操作，根据预设的条件，选择更新当前背景模型或更新备选背景模型；

当满足当前背景模型更新的次数小于备选背景模型时，则互换当前背景模型和备选背景模型，并重新初始化备选背景模型。

进一步地，所述融合前一时刻的单高斯背景模型来对当前时刻的单高斯背景模型进行运动补偿，得到当前时刻的单高斯背景模型，包括：

将每帧图像划分成大小为H×W的均匀网格；

进行t-1时刻到t时刻的跟踪；

根据跟踪的结果计算得到单应矩阵，并通过单应矩阵计算得到t和t-1时刻两帧图像之间各点的对应关系，融合t-1时刻的单高斯背景模型，得到t时刻的单高斯背景模型。

进一步地，所述对获得的前景图像进行稀疏光流分析，获取跟踪点集合，包括：

对获得的前景图像进行灰度化操作，若当前处理的是第一帧图像，进行初始化；

采用FAST算法计算得到前一帧图像的特征点集合PreFeaturePtSet，获取原跟踪点的运动轨迹在前一帧的位置集合PreTrackPtSet；

计算PreFeaturePtSet集合中的特征点与PreTrackPtSet集合中的各跟踪点之间是否存在欧式距离小于阈值的情况，如果不存在，则认为该特征点是新出现的需要跟踪的点，将其加入PreTrackPtSet集合中；

对PreTrackPtSet中的跟踪点在前一帧和当前帧图像间进行LK金字塔光流检测，得到在当前帧的位置集合CurTrackPtSet；

根据检测的结果依次处理各类跟踪点，对已存在运动轨迹的原跟踪点，如果检测到光流，则更新跟踪点在当前帧的位置为CurTrackPtSet中的对应点，并更新其last_update_index为当前帧序号；如果没有检测到光流，则继承上一帧的跟踪结果，不更新其last_update_index。对检测到光流的新跟踪点，为其建立运动轨迹对应的数据结构，并按上述方法更新；

判断每个跟踪点的last_update_index与当前帧序号之间的差值大小，若大于阈值，意味着该点对应的运动轨迹长时间没有被更新，则删除；

统计各跟踪点运动轨迹对应在每帧图像的位置变动，若随着时间推移，该跟踪点在每帧图像间的位置变动不大，则删除。

进一步地，所述对跟踪点进行层次聚类，获取跟踪目标的外边框，包括：

将得到的每个跟踪点分别归为一类，每类仅包含一个跟踪点，类与类之间的距离就是它们所包含的跟踪点之间的距离；

找到距离最近的两个类并合并成一类，于是类别个数减一；

重新计算合并的新类与所有旧类之间的距离；

重复迭代，直到两类间的距离不小于距离阈值；

属于同一运动目标的跟踪点经过上述步骤聚成一类，并在对应帧图像上画出跟踪目标的外边框。

进一步地，所述对每个跟踪目标采用卡尔曼滤波算法进行预测、采用匈牙利算法匹配，并更新跟踪列表，获取更新的跟踪目标，包括：

对跟踪目标通过卡尔曼滤波预测其在下一帧中的位置，得到预测结果；

计算上一帧预测结果与本帧的跟踪目标之间的距离相似性，计算上一帧的预测结果与本帧的跟踪目标之间的特征向量的相似性；

加权上述两类相似性，通过匈牙利算法匹配上一帧的预测结果与本帧的跟踪目标；

根据匹配的结果，来更新本帧的跟踪列表。

本发明与现有技术相比具有以下优点，采用了单高斯模型进行背景的建模，而不是传统的混合高斯模型，降低了检测的耗时，提高了整体的效率；采用了生命值、备选背景模型等机制提高了背景建模的准确性，使建模的效果更好；在前景模型的基础上进行光流法的分析，有效地提高了对光照变化的适应能力，减少了虚前景造成的不利影响；采用深度神经网络来提取特征，充分提高了特征的表示能力；采用卡尔曼滤算法进行目标跟踪，实现了检测一帧跟踪多帧的方法，减少了检测频率和总体耗时，提高了整体效率。

附图说明

图1为本发明无人机航拍视频运动小目标实时检测与跟踪方法流程图；

图2为本发明实施例的计算背景模型的流程图；

图3为本发明实施例的稀疏光流法的流程图；

图4为本发明实施例的层次聚类的流程图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

如图1所示，一种无人机航拍视频运动小目标实时检测与跟踪方法，包括：

步骤S1、对无人机航拍的视频图像序列，每间隔一帧抽取一帧图像，逐帧进行实时检测与跟踪。

本发明包括运动小目标的检测和利用所获得的小目标对采集的视频进行跟踪两个过程，运动小目标检测的具体实现步骤如下：

本实施例对无人机拍摄的视频图像序列，每间隔一帧抽取一帧图像，以便后续处理。

步骤S2、通过单高斯背景模型建模，获取当前背景模型。

单高斯背景模型基于一个基本假设，在一段时间内，图像序列中的背景像素值应服从高斯概率分布。为了判断t时刻对应帧图像中某个点是否为前景点，需要基于前t-1帧图像计算高斯背景模型的各个参数，包括均值和方差。

本发明引入生命值l来逐帧更新模型参数，以应对随着时间的推移背景像素产生的变化；同时，为了减少计算负载以达到实时效果，将每帧图像进行了均匀的网格划分。

如图2所示，构建图像的背景模型的具体步骤如下：

步骤2.1、将当前帧图像划分为均匀分布的N×N的小块，初始化当前背景模型和备选背景模型。

N先根据经验值多次赋值，后面再根据检测效果进行优选，一般以均匀地将图像进行网格化为宜。

本实施例为每个图像块建模两个单高斯背景模型，分别为当前背景模型和备选背景模型，C代表当前背景模型，O代表备选背景模型。两个背景模型t时刻对应的参数分别为和以及对应的生命值

步骤2.2、以块为单位，计算每块图像对应单高斯背景模型的均值和方差，并且每提取一帧图像即将其生命值执行加一操作，根据预设的条件，选择更新当前背景模型或更新备选背景模型。

即分别计算每块图像对应单高斯背景模型的均值μ和方差σ，并且每提取一帧图像即将其生命值l执行加一操作，若满足公式则更新当前背景模型；若满足公式则更新备选背景模型。

其中计算每块图像对应单高斯背景模型的均值μ和方差σ，公式如下：

其中，i为块的编号，t代表时刻，S代表块中像素的集合。

其中，θ_S为经验参数，I表示像素的值。 和为经过运动补偿后的t-1帧图像单高斯背景模型的各个参数。

在逐帧背景建模时，一帧对应图象块的背景模型只选取上述两个模型中的其中一个来进行更新。

步骤2.3、当满足当前背景模型更新的次数小于备选背景模型时，即则互换当前背景模型和备选背景模型，并重新初始化备选背景模型。

当满足当前背景模型更新的次数小于备选背景模型时，即则互换当前背景模型和备选背景模型，并重新初始化备选背景模型。否则直接进行后续的操作。

步骤S3、融合前一时刻的单高斯背景模型来对当前时刻的单高斯背景模型进行运动补偿，得到当前时刻的单高斯背景模型。

在本实施例中，前一帧表示前一时刻对应帧，当前帧表示当前时刻对应帧。

如图2所示，具体过程如下：

步骤3.1、将每帧图像划分成大小为H×W的均匀网格。

其中H和W参数可根据经验来取。

步骤3.2、进行t-1时刻到t时刻的跟踪。

本实施例通过KLT算法来进行t-1时刻到t时刻的跟踪，具体的是采用金字塔KLT算法，这里不再赘述。也可以采用其他跟踪算法，例如传统的LK光流跟踪算法等。

步骤3.3、根据跟踪的结果计算得到单应矩阵H_t:t-1，并通过单应矩阵计算得到t和t-1时刻两帧图像之间各点的对应关系，融合t-1时刻的单高斯背景模型，得到t时刻的单高斯背景模型。

本实施例可以采用RANSAC算法计算得到单应矩阵，关于单应矩阵的算法这里不在限制，也可以采用其他单应矩阵算法来计算。

对应关系具体如下：t时刻第i块图像的中心点坐标为则可通过H_t:t-1映射得到其在t-1时刻的位置坐标以为中心的虚拟块与t-1时刻的多个真实块相重叠，通过融合此t-1时刻各块的SGM的各项参数，可得到t-1时刻的各参数 和以实现运动补偿。

上述运动补偿的过程如下：重叠块的集合用表示，融合所用到的权重用表示，则 其中，权重ω_k满足一下条件：并且

步骤S4、在得到单高斯背景模型后，通过计算像素点属于单高斯背景模型的概率，分辨此像素点是前景还是背景，从而得到前景图像。

步骤S5、对获得的前景图像进行稀疏光流分析，获取跟踪点集合。

如图3所示，稀疏光流分析过程如下：

步骤5.1、对获得的前景图像进行灰度化操作，若当前处理的是第一帧图像，进行初始化；

步骤5.2、采用FAST算法计算得到前一帧图像的特征点集合PreFeaturePtSet，获取原跟踪点的运动轨迹在前一帧的位置集合PreTrackPtSet；

步骤5.3、计算PreFeaturePtSet集合中的特征点与PreTrackPtSet集合中的各跟踪点之间是否存在欧式距离小于阈值的情况，如果不存在，则认为该特征点是新出现的需要跟踪的点，将其加入PreTrackPtSet集合中；

步骤5.4、对PreTrackPtSet中的跟踪点在前一帧和当前帧图像间进行LK金字塔光流检测，得到在当前帧的位置集合CurTrackPtSet；

步骤5.5、根据检测的结果依次处理各类跟踪点，对已存在运动轨迹的原跟踪点，如果检测到光流，则更新跟踪点在当前帧的位置为CurTrackPtSet中的对应点，并更新其last_update_index为当前帧序号；如果没有检测到光流，则继承上一帧的跟踪结果，不更新其last_update_index。对检测到光流的新跟踪点，为其建立运动轨迹对应的数据结构，并按上述方法更新；

步骤5.6、判断每个跟踪点的last_update_index与当前帧序号之间的差值大小，若大于阈值，意味着该点对应的运动轨迹长时间没有被更新，则删除；

步骤5.7、统计各跟踪点运动轨迹对应在每帧图像的位置变动，若随着时间推移，该跟踪点在每帧图像间的位置变动不大，则删除。

在逐帧的处理过程中，特征点并不是完全不变的，有些特征点会消失，有些特征点会新出现，当满足一定的条件下，如果特征点消失，就将其从跟踪点中删除，如果特征点是新出现的，就将它加入到跟踪点中。

本实施例中计算特征点的方法有很多，包括SIFT、SURF、FAST、SUSAN、HARRIS方法等；这里选择了Fast算法，是因为该方法比较快，而且提取得到的特征点数的数量比较合适，比较适合这里的场景。

步骤S6、对跟踪点进行层次聚类，获取跟踪目标的外边框。

如图4所示，层次聚类过程如下：

步骤6.1、将上述得到的每个跟踪点分别归为一类，若跟踪点数目为N则一共得到N类，每类仅包含一个跟踪点，类与类之间的距离就是它们所包含的跟踪点之间的距离；

步骤6.2、找到距离最近的两个类并合并成一类，于是类别个数减一；

步骤6.3、重新计算合并的新类与所有旧类之间的距离；

步骤6.4、重复迭代(重复步骤6.2和步骤6.3)，直到两类间的距离不小于距离阈值；

步骤6.5、属于同一运动目标的跟踪点经过上述步骤聚成一类，并在对应帧图像上画出跟踪目标的外边框。

当上述运动小目标检测的流程结束后，一帧图像得到了一个或多个运动目标的外边框，这些外边框是后续跟踪流程的输入，可实现这些运动小目标的持续性跟踪。

后续进行运动小目标跟踪，运动小目标跟踪的具体流程如下：

步骤S7、将每帧前景图像检测得到的跟踪目标的外边框中的跟踪目标扣取出来，形成后续待跟踪列表。

当上述运动小目标检测的流程结束后，一帧图像得到了一个或多个运动目标的外边框，将外边框里的内容扣取出来，便形成了后续待跟踪列表。如果是第一帧，则初始化待跟踪列表。容易理解的是，待跟踪列表中的跟踪目标是检测出来的运动目标，也就是对图像帧进行处理后得到的检测结果，需要与前一帧预测结果进行匹配，以确定最终的跟踪目标。

步骤S8、对每个跟踪目标通过深度神经网络提取特征向量。

本实施例提取特征向量过程如下：

步骤8.1、针对检测的运动小目标的类型的不同，而选用不同的数据集来训练深度神经网络模型。

注意，如果要检测和跟踪的目标类型是固定的，比如行人或车辆，则需要用对应的数据集来训练深度神经网络，比如行人数据集或者车辆数据集。以行人数据集为例，取同一个行人的不同角度不同尺度的若干张图片，为其设置相同的数据标签，以此类推获取大量不同行人的图片形成海量数据集。如果要检测和跟踪的目标类型不具体区分，则可选用ImageNet等海量数据下预训练的模型；

步骤8.2、在上述数据集的基础上，选用适合的深度神经网络来训练。此处选用了经典的VGG_CNN_M_1024网络模型，但是这不是必需的，可以选用任何适合的深度神经网络模型，选择的依据是模型尽量足够小，以实现实时性，同时提取的特征又具有充分的表征能力。

步骤8.3、利用上述预训练的网络模型来对待跟踪列表中的每个跟踪目标提取固定长度的特征，以方便后续的匹配。

步骤S9、对每个跟踪目标采用卡尔曼滤波算法进行预测、采用匈牙利算法匹配，并更新跟踪列表，获取更新的跟踪目标。

本实施例对上述步骤得到的待跟踪列表中的跟踪目标通过卡尔曼滤波预测其在下一帧中的位置，得到预测结果。可以逐帧检测并预测，也可只针对一帧检测的结果持续预测多帧，以减少检测的耗时。获得的预测结果供下一帧进行跟踪时使用。

然后计算上一帧预测结果与本帧的跟踪目标之间的距离相似性；计算上一帧的预测结果与本帧的跟踪目标之间的特征向量的相似性；加权上述两类相似性，通过匈牙利算法匹配上一帧的预测结果与本帧的跟踪目标；根据匹配的结果，来更新本帧的跟踪列表。

本实施例基于上述步骤S8提取的特征向量，将上一帧跟踪列表中维护的目标对象的预测结果，与当前图像检测得到的跟踪目标进行匹配。“匹配”的作用就是要判断，一个目标到底是原来就有的目标，还是一个新的目标。

根据匹配的结果，更新跟踪列表中的维护对象，以区分消失的目标、持续跟踪的目标、新出现的目标等，实现运动小目标的持续跟踪。

本实施例用于“预测”的方法有很多，包括KCF、DSST、STAPLE等，这里选用卡尔曼滤波算法的原因是，卡尔曼滤波算法比较快，满足这里要求的实时性。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种无人机航拍视频运动小目标实时检测与跟踪方法，其特征在于，所述无人机航拍视频运动小目标实时检测与跟踪方法，包括：

对无人机航拍的视频图像序列，每间隔一帧抽取一帧图像，逐帧进行实时检测与跟踪；

通过单高斯背景模型建模，获取当前背景模型；

融合前一时刻的单高斯背景模型来对当前时刻的单高斯背景模型进行运动补偿，得到当前时刻的单高斯背景模型；

在得到单高斯背景模型后，通过计算像素点属于单高斯背景模型的概率，分辨此像素点是前景还是背景，从而得到前景图像；

对获得的前景图像进行稀疏光流分析，获取跟踪点集合；

对跟踪点进行层次聚类，获取跟踪目标的外边框；

将每帧前景图像检测得到的跟踪目标的外边框中的跟踪目标扣取出来，形成后续待跟踪列表；

对每个跟踪目标通过深度神经网络来提取特征向量；

对每个跟踪目标采用卡尔曼滤波算法进行预测、采用匈牙利算法匹配，并更新跟踪列表，获取更新的跟踪目标。

2.根据权利要求1所述的无人机航拍视频运动小目标实时检测与跟踪方法，其特征在于，所述通过单高斯背景模型建模，获取当前背景模型，包括：

将当前帧图像划分为均匀分布的N×N的小块，初始化当前背景模型和备选背景模型；

计算每块图像对应单高斯背景模型的均值和方差，并且每提取一帧图像即将其生命值执行加一操作，根据预设的条件，选择更新当前背景模型或更新备选背景模型；

当满足当前背景模型更新的次数小于备选背景模型时，则互换当前背景模型和备选背景模型，并重新初始化备选背景模型。

3.根据权利要求1所述的无人机航拍视频运动小目标实时检测与跟踪方法，其特征在于，所述融合前一时刻的单高斯背景模型来对当前时刻的单高斯背景模型进行运动补偿，得到当前时刻的单高斯背景模型，包括：

将每帧图像划分成大小为H×W的均匀网格；

进行t-1时刻到t时刻的跟踪；

根据跟踪的结果计算得到单应矩阵，并通过单应矩阵计算得到t和t-1时刻两帧图像之间各点的对应关系，融合t-1时刻的单高斯背景模型，得到t时刻的单高斯背景模型。

4.根据权利要求1所述的无人机航拍视频运动小目标实时检测与跟踪方法，其特征在于，所述对获得的前景图像进行稀疏光流分析，获取跟踪点集合，包括：

对获得的前景图像进行灰度化操作，若当前处理的是第一帧图像，进行初始化；

采用FAST算法计算得到前一帧图像的特征点集合PreFeaturePtSet，获取原跟踪点的运动轨迹在前一帧的位置集合PreTrackPtSet；

计算PreFeaturePtSet集合中的特征点与PreTrackPtSet集合中的各跟踪点之间是否存在欧式距离小于阈值的情况，如果不存在，则认为该特征点是新出现的需要跟踪的点，将其加入PreTrackPtSet集合中；

对PreTrackPtSet中的跟踪点在前一帧和当前帧图像间进行LK金字塔光流检测，得到在当前帧的位置集合CurTrackPtSet；

根据检测的结果依次处理各类跟踪点，对已存在运动轨迹的原跟踪点，如果检测到光流，则更新跟踪点在当前帧的位置为CurTrackPtSet中的对应点，并更新其last_update_index为当前帧序号；如果没有检测到光流，则继承上一帧的跟踪结果，不更新其last_update_index。对检测到光流的新跟踪点，为其建立运动轨迹对应的数据结构，并按上述方法更新；

判断每个跟踪点的last_update_index与当前帧序号之间的差值大小，若大于阈值，意味着该点对应的运动轨迹长时间没有被更新，则删除；

统计各跟踪点运动轨迹对应在每帧图像的位置变动，若随着时间推移，该跟踪点在每帧图像间的位置变动不大，则删除。

5.根据权利要求1所述的无人机航拍视频运动小目标实时检测与跟踪方法，其特征在于，所述对跟踪点进行层次聚类，获取跟踪目标的外边框，包括：

将得到的每个跟踪点分别归为一类，每类仅包含一个跟踪点，类与类之间的距离就是它们所包含的跟踪点之间的距离；

找到距离最近的两个类并合并成一类，于是类别个数减一；

重新计算合并的新类与所有旧类之间的距离；

重复迭代，直到两类间的距离不小于距离阈值；

属于同一运动目标的跟踪点经过上述步骤聚成一类，并在对应帧图像上画出跟踪目标的外边框。

6.根据权利要求1所述的无人机航拍视频运动小目标实时检测与跟踪方法，其特征在于，所述对每个跟踪目标采用卡尔曼滤波算法进行预测、采用匈牙利算法匹配，并更新跟踪列表，获取更新的跟踪目标，包括：

对跟踪目标通过卡尔曼滤波预测其在下一帧中的位置，得到预测结果；

计算上一帧预测结果与本帧的跟踪目标之间的距离相似性，计算上一帧的预测结果与本帧的跟踪目标之间的特征向量的相似性；

加权上述两类相似性，通过匈牙利算法匹配上一帧的预测结果与本帧的跟踪目标；

根据匹配的结果，来更新本帧的跟踪列表。