CN112699839B - 一种动态背景下视频目标自动锁定及跟踪方法 - Google Patents

Abstract

本发明公开了动态背景下视频目标自动锁定及跟踪方法，包括：步骤1，采用多视角视频采集模块拍摄实时全景视频图像，并将其传输至目标识别模块；步骤2，目标识别模块对全景视频图像中的与指定运动目标相似的目标进行识别，发现待跟踪目标序列，并获取待跟踪目标的初始位置坐标序列；步骤3，目标预选模块按照预设的优先级顺序选择待跟踪目标，然后发送至目标跟踪控制模块；步骤4，目标跟踪控制模块驱动球型摄像机移动使目标处于球型摄像机成像画面的中心位置；步骤5，当被跟踪目标在球型摄像机画面中发生移动后，重新计算被跟踪目标的位置信息，并使被跟踪目标重新回到球型摄像机的成像中心位置。本发明能够大大提高大场景监控视频系统中目标跟踪的准确性与可靠性。

Description

一种动态背景下视频目标自动锁定及跟踪方法

技术领域

本发明涉及视频监控技术领域的视频目标跟踪方法，尤其是在动态背景下对视频目标进行自动锁定及跟踪的方法。

背景技术

当前，视频监控系统在各个领域的应用越来越广泛。由于视频信息数量庞大且复杂多变，如何从视频中稳定而可靠地获取特定目标的状态信息(包括目标的形态、位置、运动速度、运动轨迹等)正日益成为研究热点。

视频目标的状态信息一般还是采用人工观察视频的方式获取，对观察人员的精力和注意力要求都非常高，不仅耗费人力，也很容易造成漏判、误判。

此外，由于受到天气、光照、能见度、环境等诸多因素干扰，导致视频监控中的场景复杂多变，同一场景中也经常会出现多个相同或相似目标。因此，对于机器识别，现有的目标跟踪算法在获取特定目标状态信息的稳定性和准确性上仍然不是很高，从而影响了对特定目标的行为分析和决策判断。

因此，目前迫切需要研究一种稳定而可靠的视频目标跟踪手段，以弥补现有跟踪技术的不足，实现动态复杂场景下视频目标的自动锁定和准确跟踪。

发明内容

针对现有方法的以上缺陷或改进需求，本发明提供了一种动态背景下视频目标自动锁定及跟踪方法，能够有效提高视频监控，尤其是机场全景视频监控中指定目标的锁定和跟踪准确率。

为实现上述目的，本发明提供了以下的技术方案。

一种动态背景下视频目标自动锁定及跟踪方法，所述方法包括如下步骤：

步骤1，采用多视角视频采集模块拍摄实时全景视频图像，并将其传输至目标识别模块；

步骤2，目标识别模块采用改进的YOLO算法对全景视频图像中的与指定运动目标相似的目标进行识别，发现待跟踪目标序列，并获取待跟踪目标的初始位置坐标序列，并将待跟踪目标序列及其初始位置坐标序列发送至目标预选模块；

步骤3，目标预选模块按照预设的优先级顺序选择待跟踪目标，然后发送至目标跟踪控制模块；

步骤4，目标跟踪控制模块接收待跟踪目标的初始位置坐标，并将其转换为跟踪定位控制参数，按照该参数驱动球型摄像机移动，使目标处于球型摄像机成像画面的中心位置，并且根据目标大小对球型摄像机画面进行缩放；

步骤5，当被跟踪目标在球型摄像机画面中发生移动后，目标跟踪模块重新计算被跟踪目标的位置信息，并反馈给目标跟踪控制模块；目标跟踪控制模块向球型摄像机发出重新定位指令，驱动球型摄像机移动，使被跟踪目标重新回到球型摄像机的成像中心位置；

步骤6，如果被跟踪目标从球型摄像机画面中消失，则重复步骤2-5，进行新目标的定位与跟踪。

进一步的，所述目标跟踪控制模块执行如下步骤：

步骤11，获取待跟踪目标后，将待跟踪目标属性传入初始化器，初始化器将待跟踪目标属性作为跟踪目标模板信息。

步骤12，初始化器计算结束后，将跟踪目标模板信息反馈给目标跟踪模块；

步骤13，目标跟踪模块获取到跟踪目标模板信息后，在球型摄像机画面上建立跟踪器的目标搜索半径，搜索待跟踪目标的位置信息和属性，并与待跟踪目标的模板信息进行相似性计算及匹配，然后将相似度最高的待跟踪目标的位置信息和/或属性反馈给目标跟踪模块进行更新和球型摄像机进行控制；

步骤14，球型摄像机获取更新后的被跟踪目标位置坐标，计算球型摄像机的跟踪定位控制参数，驱动球型摄像机移动，使目标重新处于球型摄像机画面的中心位置，球型摄像机按被跟踪目标大小按照一定比例放缩画面；

步骤15，如果被跟踪目标在球型摄像机画面中消失，目标识别模块重新选择待跟踪目标。

其中，所述预设优先级顺序的设定包括：与指定的待跟踪目标相似度较高的具有较高优先级；符合设定目标属性的待跟踪目标具有较高优先级；指定特定类别的目标具有较高优先级。

优选地，所述多视角视频采集模块由多个高点定焦枪型摄像机组成，用于拍摄视频监控视域内场景图像，并完成视频图像的拼接。

进一步的，目标跟踪控制模块根据目标位置坐标计算出球型摄像机的跟踪定位控制参数位置P、仰角T和缩放分辨率Z，驱动球型摄像机移动，使目标处于球型摄像机成像的中心位置；其中P由目标在局部视频中的运动速度来确定，T由目标在局部视频中的上下位置来确定，Z由目标在局部视频中的大小来确定。

在步骤5中，目标跟踪模块使用改进的siamRPN目标跟踪算法处理当前帧图像，获取球型摄像机中的当前帧目标位置坐标，并将其转换为跟踪定位控制参数反馈到目标跟踪控制模块，目标跟踪控制模块向指定的球型摄像机发送跟踪定位控制参数，驱动球型摄像机移动，使被跟踪目标始终位于球型摄像机成像的中心位置，且根据目标大小按照一定的比例对球型摄像机画面进行变焦显示。

进一步的，目标识别模块采用改进的YOLO目标识别算法，利用K-means聚类对全景拼接图像样本的目标位置框进行聚类，使得Anchors更加准确的对样本特征采集计算和目标类识别。

本发明所述的技术方案与现有的技术相比，具有如下的有益效果是：

1)本发明高效地实现了大场景摄像机子系统与目标跟踪球型摄像机子系统之间的联动控制，实现了对目标的实时跟踪拍摄，在降低系统通信量的同时提高了系统的性能。

2)本发明根据优先级顺序指定球型摄像机进行移动拍摄，使被跟踪目标始终位于球型摄像机成像的中心位置，并根据目标大小动态缩放球型摄像机的画面，提高了跟踪和拍摄的准确性。

3)本发明优化了目标的提取和跟踪方式，实现了硬件资源的充分利用，降低了系统的复杂性，大大提高大场景监控视频系统中目标跟踪的准确性与可靠性，具有极大的产业应用价值。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1是本发明一实施例所提供的视频目标自动锁定及跟踪方法的概要示意图；

图2是本发明一实施例所提供的视频目标自动锁定及跟踪方法的流程示意图；

图3是本发明一实施例所提供的目标跟踪控制模块的算法流程示意图；

图4是本发明一实施例所提供的在机场全景下包含待跟踪目标(飞机)的场景视频示意图。

图5是本发明一实施例所提供的球型摄像机的目标跟踪画面的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明提供了一种动态背景下视频目标自动锁定及跟踪方法，可以应用于拍摄视频监控图像的球型摄像机中，识别出场景中的特定目标，并对该目标进行自动锁定和跟踪。参照图1所示的概要示意图，本发明所提出的视频目标自动锁定及跟踪方法主要包括：1、对全景视频画面中目标进行识别与初步定位；2、控制球型摄像机转到指定初始位置，并做跟踪初始化；3、在球型摄像机中执行目标识别并锁定待跟踪的目标；4、控制球型摄像机跟踪目标运动轨迹。

本发明提供的方法适用于各类视频监控系统，优选地，包括视频监控多视角枪型摄像机子系统和目标跟踪球型摄像机子系统。所述视频监控多视角枪型摄像机子系统由多个高点定焦枪型摄像机组成，用于拍摄视频监控视域内场景图像，并完成视频图像的拼接；所述目标跟踪球型摄像机子系统由一个或多个球型摄像机组成，并使用单球机用于跟踪视频监控多视角拼接画面内的指定运动目标。

进一步的，根据摄像机的安装位置不同，可以有多种扩展模式。可以对大场景摄像系统包含的高点定焦枪型摄像机数量及安装位置进行扩展，使其适应不同的监控环境；还可以对目标跟踪球型摄像机子系统包含的球型摄像机的数量及安装位置进行扩展，使其适应不同的监控目标。

所述球型摄像机的安装方式可以采用平行扩展模式或者广角扩展模式。所述平行扩展模式是指，相隔一段水平距离安装一个球型摄像机，同时保证两相邻球型摄像机的视野有一定的重叠区域。所述广角扩展模式是指，各个球型摄像机围绕着一个公共的轴心，以不同的相机高度进行安装，以实现独立全方位目标跟踪，这种方式使得每个球型摄像机均可以工作在360度全景视频监控模式，适用于视频监控远程塔台、园区远程塔台、学校远程塔台等的联动控制。

进一步的，作为一较佳实施例，本发明所提出的目标自动锁定与跟踪方法的流程示意图如图2所示，具体实施步骤如下：

步骤1，视频监控多视角视频采集模块(即上文的视频监控多视角枪型摄像机子系统)采集高点定焦枪型摄像机拍摄对应视域内的视频信息，并将其传输至视频拼接模块，获取实时的视频监控多视角全景拼接视频图像，并将其传输至目标识别模块；

步骤2，目标识别模块对全景拼接视频图像中的相似目标进行识别，发现待跟踪目标序列，并获取待跟踪目标的初始位置坐标序列，并将待跟踪目标序列及其初始位置坐标序列发送至目标预选模块；

步骤3，目标预选模块(例如跟踪目标选择器)按照预设的优先级顺序选择待跟踪目标，然后将待跟踪目标信息发送至目标跟踪控制模块。所述预设优先级顺序包括但不限于如下：与人为指定的待跟踪目标相似度较高的目标具有较高优先级，优先对其进行跟踪；符合人为设定目标属性的待跟踪目标具有较高优先级，优先对其进行跟踪；指定某一类别的目标具有较高优先级，优先对其进行跟踪。

步骤4，目标跟踪控制模块接收待跟踪目标的初始位置坐标，并将其转换为跟踪定位控制参数，按照该参数驱动指定的球型摄像机移动，使目标处于球型摄像机成像画面的中心位置，并且根据目标大小对球型摄像机画面进行缩放(也可以按照一定的比例对球型摄像机画面进行变焦显示)，使得画面中的目标在画面中占居适当比例，并输出跟踪画面；

步骤5，当被跟踪目标在球型摄像机画面中发生移动后，目标跟踪模块重新计算被跟踪目标的位置信息，并反馈给目标跟踪控制模块；目标跟踪控制模块向球型摄像机发出重新定位指令，驱动球型摄像机移动，使被跟踪目标重新回到球型摄像机的成像画面的中心位置，并输出跟踪画面；

步骤6，如果被跟踪目标从球型摄像机画面中消失，重复步骤2-5，进行新目标的定位与跟踪。

步骤1中，在采用多个高点定焦枪型摄像机的情况下，可以使用图像拼接模块通过图像拼接算法将各个高点定焦枪型摄像机拍摄的多个具有重叠区域的视频拼接为一个具有较高清晰度的完整视频。所使用的图像拼接算法例如：首先从两相邻的高点定焦枪型摄像机拍摄的部分重叠的图像中提取重叠部分的特征点，对重叠的特征点进行筛选以实现特征点对的精确匹配，最后对相邻两个枪型摄像机图像进行拼接融合，形成高清晰度和高质量的全景视频图像。

进一步的，步骤2、4中，在初始定位时，由目标识别模块在大场景实时视频画面中发现并选择待跟踪目标，并获取待跟踪目标的初始位置坐标。接着目标跟踪控制模块根据该初始位置坐标计算出球型摄像机的跟踪定位控制参数(位置P、仰角T和缩放分辨率Z)，驱动球型摄像机移动，使目标处于球型摄像机成像的中心位置。之后，目标跟踪控制模块的控制参数改由目标在球型摄像机视频的位置提供，即由目标定位模块根据目标位置转换为被跟踪目标的跟踪定位控制参数，其中P由目标在局部视频中的运动速度来确定，T由目标在局部视频中的上下位置来确定，Z由目标在局部视频中的大小来确定。

步骤5中，目标跟踪模块使用siamRPN目标跟踪算法处理当前帧图像，获取球型摄像机中的当前帧目标位置坐标；目标跟踪控制模块将其转换为跟踪定位控制参数反馈到目标跟踪控制模块，目标跟踪控制模块向指定的球型摄像机发送跟踪定位控制参数，驱动球型摄像机移动，使被跟踪目标始终位于球型摄像机成像的中心位置，且根据目标大小按照一定的比例对球型摄像机画面进行变焦显示。

其中，所述目标跟踪控制模块所执行的算法流程如图3所示，包括步骤如下：

步骤11，获取待跟踪目标后，将待跟踪目标属性传入初始化器，初始化器将待跟踪目标属性作为跟踪目标模板进行相似性匹配；

步骤12，初始化器计算结束后，将跟踪目标模板信息反馈给目标跟踪器；

步骤13，目标跟踪器获取到跟踪目标信息后，在球型摄像机画面上建立跟踪器的目标搜索半径，搜索待跟踪目标的位置信息和属性，并与待跟踪目标的模板信息进行相似性计算及匹配，然后将相似度最高的待跟踪目标位子信息和/或属性信息反馈给跟踪器进行更新和球型摄像机进行控制。所述属性包括形状、颜色、相对指定参照物的尺寸、运动轨迹等。

步骤14，球型摄像机获取更新后的被跟踪目标位置坐标，计算球型摄像机的跟踪定位控制参数，驱动球型摄像机移动，使目标重新处于球型摄像机画面的中心位置，球型摄像机按被跟踪目标大小按照一定比例放缩画面。

步骤15，如果被跟踪目标在球型摄像机画面中消失，目标识别模块重新选择待跟踪目标，重新执行步骤11-15。

在具体实现上，所述目标识别模块在目标识别时还采用了改进的YOLO目标识别算法，主要改进内容如下：

1、对网络结构的输入做出调整：输入层由416*416的输入改为832*416输入，以便于网络结构的识别输出层能够适应全景拼接的高清图像中的目标类识别；

2、利用K-means聚类对全景拼接图像样本的目标位置框进行聚类，使得Anchors更加准确的对样本特征采集计算和目标类识别；

3、在对样本的多尺度训练中，每迭代2000次，则随机更换样本的色度、对比度和亮度调节系数，调节系数范围为[0.8，1.5]。采用这样的方式相当于提高了样本数量，能够稳定训练模型，一定程度上避免模型的欠拟合或过拟合；

4、对样本的加入角度旋转变换angle＝10°，有效的补偿相机因抖动造成的采集样本中的目标角度偏差，提高了类别的识别精度和鲁棒性。

进一步结合图3，改进后的目标跟踪过程策略如下：

1、利用上述YOLO算法识别出待跟踪目标后，将目标位置信息以及目标图像输入到SiamRPN跟踪算法的模板网络，对目标图像进行计算后形成模板模型；

2、当图像帧更新后，在上一帧给出的目标位置建立当前帧搜索步长，将目标位置的步长阈值内图像作为搜索图像与模板模型比对，重叠率最大的区域为成功跟踪的目标图像，记录目标坐标信息；

3、将当前帧成功跟踪的目标坐标信息反馈给搜索网络，对下一帧图像继续跟踪；

4、当目标判别重复率低于设定阈值后，搜索网络丢失被跟踪目标，模板网络和搜索网络执行复位操作；

5、YOLO目标识别模块重新识别待跟踪目标，并将目标信息重新输入SiamRPN网络，继续1-5的跟踪步骤。

本发明在针对SiamRPN目标跟踪算法训练方式中采用了如下的改进方法：

1、通过简单的调整训练过程中正样本的采样方式让深层网络可以在跟踪中发挥作用，随机对样本图像单应性映射生成不同角度的X特征图和Z特征图；

2、通过多层聚合的方式更大程度的发挥深层网络的作用，采用Alexnet轻量级网络的DW卷积减少参数量，提高跟踪算法的性能；

3、在训练过程中，不再把正样本放在中心，而是以均匀分布的采样方式让目标在中心点附近进行偏移，提高目标搜索网络的重叠率，提高跟踪成功率；

4、采用不同学习率对每10个Epoch的学习率进行修改，提高样本的利用率和模型的跟踪成功率。

综上所述，本发明有效实现了视频监控多视角枪型摄像机子系统与目标跟踪球型摄像机子系统之间的联动跟踪控制；并提出了改进型的算法来实现对目标的实时跟踪拍摄，通过坐标定标以实现精确跟踪拍摄的自动定位；同时根据预设的优先级顺序指定相应的球型摄像机进行移动拍摄，使被跟踪目标始终位于球型摄像机成像的中心位置，并且跟踪球型摄像机画面内的目标大小，按照一定的比例对球型摄像机画面进行变焦显示，大大提高监控系统的目标跟踪的准确性与鲁棒性。本发明的一检测效果示意图如图4-5所示，图4为包含待跟踪目标的全景画面，图5为使用球性摄像机锁定和跟踪到的目标画面。通过实验可知，本发明有效提高了机场全景下飞机的自动识别、锁定和跟踪能力，适应性更强、检测速度更快、准确度更高，能够提高视频监控系统保障安全生产作业的能力。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和原则的前提下，可以在实施的形式及细节上进行任何的修改与变化、等同替换等，这些都属于本发明的保护范围。因此，本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (4)

1.一种动态背景下视频目标自动锁定及跟踪方法，其特征在于：所述方法包括如下步骤：

步骤1，采用多视角视频采集模块拍摄实时全景视频图像，并将其传输至目标识别模块；

步骤2，目标识别模块中利用改进的Yolo算法识别及定位全景图像中的所有目标，按照目标属性、位置以及大小列入待跟踪目标的序列，并将待跟踪目标序列发送至目标预选模块；

步骤3，目标选择模块按照跟踪的主次顺序依次将待跟踪目标的初始坐标位置以及属性等信息发送至目标跟踪模块，进行目标跟踪的任务；

步骤4，目标跟踪控制模块采用改进的SiamRPN跟踪算法针对特定目标训练跟踪器；该跟踪器接收待跟踪目标的初始位置，根据目标的初始信息进行跟踪，并将目标信息转换为跟踪目标的控制参数；按照该参数驱动球型摄像机移动，使目标处于球型摄像机成像画面的中心位置，并且根据目标大小对球型摄像机画面进行缩放；

步骤5，当被跟踪目标在球型摄像机画面中发生移动后，目标跟踪模块重新计算被跟踪目标的位置信息，并反馈给目标跟踪控制模块；目标跟踪控制模块向球型摄像机发出重新定位指令，驱动球型摄像机移动，使被跟踪目标重新回到球型摄像机的成像中心位置；

步骤6，如果被跟踪目标从球型摄像机画面中消失，则重复步骤2-5，进行新目标的定位与跟踪；

所述目标跟踪控制模块执行如下步骤：

步骤11，获取待跟踪目标后，将待跟踪目标属性传入初始化器，初始化器将待跟踪目标属性作为跟踪目标模板信息；

步骤12，初始化器计算结束后，将跟踪目标模板信息反馈给目标跟踪模块；

步骤13，目标跟踪模块获取到跟踪目标模板信息后，在球型摄像机画面上建立跟踪器的目标搜索半径，搜索待跟踪目标的位置信息和属性，并与待跟踪目标的模板信息进行相似性计算及匹配，然后将相似度最高的待跟踪目标的位置信息和/或属性反馈给目标跟踪模块进行更新和球型摄像机进行控制；

步骤14，球型摄像机获取更新后的被跟踪目标位置坐标，计算球型摄像机的跟踪定位控制参数，驱动球型摄像机移动，使目标重新处于球型摄像机画面的中心位置，球型摄像机按被跟踪目标大小按照一定比例放缩画面；

步骤15，如果被跟踪目标在球型摄像机画面中消失，目标识别模块重新选择待跟踪目标；

步骤5中，目标跟踪模块中使用改进的SiamRPN目标跟踪算法处理当前帧图像，获取球型摄像机中的当前帧目标位置坐标，并将其转换为跟踪定位控制参数反馈到目标跟踪控制模块，目标跟踪控制模块向指定的球型摄像机发送跟踪定位控制参数，驱动球型摄像机移动，使被跟踪目标始终位于球型摄像机成像的中心位置，且根据目标大小按照一定的比例对球型摄像机画面进行变焦显示；

目标识别模块中采用改进的YOLO目标识别算法，是利用K-means聚类对全景拼接图像样本的目标位置框进行聚类，使得Anchors更加准确的对样本特征采集计算和目标类识别。

2.根据权利要求1所述的方法，其特征在于，所述预设优先级顺序的设定包括：与指定的待跟踪目标相似度较高的目标具有较高优先级；符合设定目标属性的待跟踪目标具有较高优先级；指定特定类别的目标具有较高优先级。

3.根据权利要求1所述的方法，其特征在于，所述多视角视频采集模块由多个高点定焦枪型摄像机组成，用于拍摄视频监控视域内场景图像，并完成视频图像的拼接。

4.根据权利要求1所述的方法，其特征在于，目标跟踪控制模块根据目标位置坐标计算出球型摄像机的跟踪定位控制参数位置P、仰角T和缩放分辨率Z，驱动球型摄像机移动，使目标处于球型摄像机成像的中心位置；其中P由目标在局部视频中的运动速度来确定，T由目标在局部视频中的上下位置来确定，Z由目标在局部视频中的大小来确定。