CN110378264B - 目标跟踪方法及装置 - Google Patents

Abstract

本公开涉及图像处理技术领域，具体涉及一种目标跟踪方法、一种目标跟踪装置、一种计算机可读介质以及一种电子设备。所述方法包括：获取待跟踪视频，对所述待跟踪视频进行目标检测以获取包含跟踪目标的关键帧图像；对所述关键帧图像进行图像识别以获取包含跟踪目标的对象区域，并对所述对象区域进行关键点提取以获取所述跟踪目标的关键点数据；提取与所述关键帧相邻下一帧的待检测图像，并对所述待检测图像进行特征提取以获取所述待检测图像的第二特征图；将所述第二特征图和所述关键点数据作为输入参数输入预测模型，以获取各关键点在所述待检测图像中对应的预测关键点数据；根据所述预测关键点数据确定所述待检测图像中的所述跟踪目标。

Description

目标跟踪方法及装置

技术领域

本公开涉及图像处理技术领域，具体涉及一种目标跟踪方法、一种目标跟踪装置、一种计算机可读介质以及一种电子设备。

背景技术

目标跟踪是计算机视觉研究领域的热点之一，并已经在多个领域中得到广泛应用。一般来说，目标跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹。

在现有技术中，光流法和深度学习技术在目标跟踪技术中也得到了广泛的应用。在基于深度学习的目标跟踪方案中，一般需要预先利用深度学习训练网络模型；在执行跟踪时，将网络模型学习到的特征直接应用到相关滤波的跟踪框架里面，从而得到更好的跟踪结果。但同时也带来了计算量的增加的缺点，进而导致难以做到在线实时追踪。另外，在利用光流法进行目标跟踪时是需要有三点较强的假设条件：亮度恒定，时间连续或运动位移较小，以及空间一致等要求。而在实际应用的过程中，有大量的场景无法满足以上的要求。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种目标跟踪方法、一种目标跟踪装置、一种计算机可读介质、一种电子设备，从而提供一种计算量小、对跟踪目标所处环境要求低的目标跟踪方案，从而在一定程度上克服相关技术的限制和缺陷。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种目标跟踪方法，包括：

获取待跟踪视频，对所述待跟踪视频进行目标检测以获取包含跟踪目标的关键帧图像；

对所述关键帧图像进行图像识别以获取包含跟踪目标的对象区域，并对所述对象区域进行关键点提取以获取所述跟踪目标的关键点数据；以及

提取与所述关键帧相邻下一帧的待检测图像，并对所述待检测图像进行特征提取以获取所述待检测图像的第二特征图；

将所述第二特征图和所述关键点数据作为输入参数输入预测模型，以获取各关键点在所述待检测图像中对应的预测关键点数据；

根据所述预测关键点数据确定所述待检测图像中的所述跟踪目标。

根据本公开的第二方面，提供一种目标跟踪装置，包括：

关键帧识别模块，用于获取待跟踪视频，对所述待跟踪视频进行目标检测以获取包含跟踪目标的关键帧图像；

关键点数据计算模块，用于对所述关键帧图像进行图像识别以获取包含跟踪目标的对象区域，并对所述对象区域进行特征提取以获取所述跟踪目标的关键点数据；

第二特征信息计算模块，用于提取与所述关键帧相邻下一帧的待检测图像，并对所述待检测图像进行特征提取，以获取所述待检测图像的第二特征信息；

预测关键点计算模块，用于将所述第二特征信息和所述关键点信息作为输入参数输入已训练的预测模型中，以获取关键点在所述待检测图像的预测关键点数据；

跟踪目标获取模块，用于根据所述预测关键点数据确定所述待检测图像中的所述跟踪目标。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的目标跟踪方法。

根据本公开的第四方面，提供一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的目标跟踪方法。

本公开的一种实施例所提供的目标跟踪方法，首先确定跟踪视频中包含跟踪目标的关键帧图像，再对该关键帧图像进行识别并提取跟踪目标的关键点数据，以及提取相邻下一帧待检测图像的第二特征图；从而根据关键点数据和第二特征图对关键点在待检测图像中位置进行预测，并根据预测关键点数据描绘待检测图像中的跟踪目标的准确位置，从而实现对跟踪目标的连续跟踪。通过利用关键帧图像的关键点数据和待检测图像的特征图预测跟踪目标在待检测图像中的运动趋势，不需要使用跟踪目标的整体特征保持跟踪，进而有效的降低了数据计算量；并且能够实现自适应的学习跟踪目标的关键点数据，有效的提升跟踪效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开示例性实施例中一种目标跟踪方法的流程示意图；

图2示意性示出本公开示例性实施例中一种获取预测关键点数据的方法流程示意图；

图3示意性示出本公开示例性实施例中一种堆叠沙漏网络结构的示意图；

图4示意性示出本公开示例性实施例中一种目标跟踪装置的组成示意图；

图5示意性示出本公开示例性实施例中一种电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

现有的基于深度学习技术的跟踪方案中，初期的应用方式是把网络学习到的特征，直接应用到相关滤波的跟踪框架里面，从而得到更好的跟踪结果。本质上卷积输出得到更优的特征表达，这也是深度学习的优势之一，但同时也带来了计算量的增加。现有的很多研究跟踪的框架和方法往往会同时比较两种特征，从而验证跟踪方法或框架的改进提高，一种是传统的手工特征，另一种就是深度网络学习的特征。但是无论是如何改进方法与框架，其根本仍然还是基于目标检测的能力来实现目标追踪任务。在基于目标检测能力来完成目标追踪任务时，其计算量会较大，难以做到在线实时追踪。而传统的光流法则需要有三点较强的假设条件：亮度恒定，时间连续或运动位移较小，空间一致。而真实情况下，有大量的场景无法满足这三点假设。

针对上述的现有技术的缺点和不足，本示例实施方式中提供了一种目标跟踪方法，可以应用于在复杂场景下对运动物体的在线实时追踪。参考图1中所示，上述的目标跟踪方法可以包括以下步骤：

S11，获取待跟踪视频，对所述待跟踪视频进行目标检测以获取包含跟踪目标的关键帧图像；

S12，对所述关键帧图像进行图像识别以获取包含跟踪目标的对象区域，并对所述对象区域进行关键点提取以获取所述跟踪目标的关键点数据；以及

S13，提取与所述关键帧相邻下一帧的待检测图像，并对所述待检测图像进行特征提取以获取所述待检测图像的第二特征图；

S14，将所述第二特征图和所述关键点数据作为输入参数输入预测模型，以获取各关键点在所述待检测图像中对应的预测关键点数据；

S15，根据所述预测关键点数据确定所述待检测图像中的所述跟踪目标。

本示例实施方式所提供的目标跟踪方法中，一方面，通过利用关键帧图像的关键点数据和待检测图像的特征图预测跟踪目标在待检测图像中的运动趋势，不需要使用跟踪目标的整体特征保持跟踪，进而有效的降低了数据计算量；另一方面，能够实现自适应的学习跟踪目标的关键点数据，有效的提升跟踪效率。

下面，将结合附图及实施例对本示例实施方式中的目标跟踪方法的各个步骤进行更详细的说明。

步骤S11，获取待跟踪视频，对所述待跟踪视频进行目标检测以获取包含跟踪目标的关键帧图像。

本示例性实施例中，上述的待跟踪视频可以是通过监控摄像头、摄像机等摄像设备直接拍摄获取的，也可以是通过有线网络或无线网络传输而获取的视频数据。在获取待跟踪视频后，便可以对视频数据进行剪辑，从而获取连续多帧图像数据。在首次进行跟踪时，在获取连续的图像数据后，便可以对各帧图像数据进行目标检测，确定包含跟踪目标的关键帧图像。举例来说，在确定关键帧图像时，可以通过人工选择的方式确定关键帧图像。或者，也可以利用目标识别算法提取关键帧图像，例如，通过基于深度学习网络的目标识别算法或者基于SSD(Single Shot MultiBox Detector)架构的目标检测算法对各帧图像数据进行目标识别，从而确定关键帧图像。举例来说，跟踪目标可以是汽车、无人机、人或动物等。

步骤S12，对所述关键帧图像进行图像识别以获取包含跟踪目标的对象区域，并对所述对象区域进行关键点提取以获取所述跟踪目标的关键点数据。

本示例性实施例中，在确定关键帧图像后，便可以对该关键帧图像进行进一步的处理。具体来说，可以对关键帧图像进行图像识别处理，并利用矩形框在关键帧图像中框选出跟踪目标所在的对象区域。在提取对象区域后，便可以对上述的对象区域进行关键点数据提取。此外，还可以将关键点数据生成对应的关键点热图，并对关键点热图进行保存，用于后续跟踪过程中对其他待检测图像中跟踪目标的预测。举例来说，可以利用基于StackedHourglass Network(堆叠沙漏网络)的卷积神经网络模型对对象区域进行关键点数据的提取，使模型输出可用于目标追踪的若干个关键点信息。

具体来说，堆叠沙漏网络结构可以由多个已经完成训练的沙漏网络组成，各个沙漏网络以串联的方式组成，前一个的输出为后一个的输入。在每个沙漏网络内部，为了捕捉每个尺度下的信息，通过下采样的方式改变输入的尺寸，当到达最低的分辨率的时候，网络开始上采样合并不同尺度下的特征，以及通过残差校场将之前下采样前同尺度的特征相加，从而达到多尺度信息的捕捉。

举例而言，参考图3所示的堆叠沙漏网络结构，包括第一级沙漏网络301和第二级沙漏网络302。将对象区域作为第一级沙漏网络301的输入参数N1，第一级沙漏网络301的输出参数N2可以包括针对上述对象区域提取的特征信息，还可以包括对象区域对应的热图；再将第一级沙漏网络的输出参数N2进行卷积处理后，作为第二级沙漏网络302的输入参数，并最终由第二级沙漏网络302输出关键点信息对应特征信息，以及热图。例如，在跟踪目标为无人机时，其关键点信息可以是描述无人机轮廓及主要特征的关键点，并可以利用热图的形式来表示。

在本公开的其他示例性实施例中，在获取包含跟踪目标的对象区域后，还可以对该对象区域进行图像分割，区分矩形框内跟踪目标的前景图像，以及背景图像。从而使得对象区域中仅包含跟踪目标的纯净图像，进而在关键点提取时，可以获取跟踪目标更加准确的关键点数据。

步骤S13，提取与所述关键帧相邻下一帧的待检测图像，并对所述待检测图像进行特征提取以获取所述待检测图像的第二特征图。

本示例性实施例中，在对关键帧图像进行关键点数据提取时，还可以对关键帧图像相邻下一帧的待检测图像进行处理。具体来说，可以对待检测图像进行特征提取，并生成待检测图像对应的第二特征图。

举例而言，可以利用基于MobilenetV3(移动网络)结构的卷积神经网络对待检测图像进行特征提取。具体的，在将待检测图像输入基于MobilenetV3结构的卷积神经网络模型后，首先利用模型的起始部分的卷积层、BN(Batch Normalization)层和h-switch激活层依次对输入的待检测图像进行卷积处理、批量归一化处理和激活处理，得到第一中间结果；再将第一中间结果输入模型的中间部分，利用中间部分的卷积层和膨胀层对第一中间结果进行卷积计算和膨胀处理，得到第二中间结果；再将该第二中间结果输入模型的最后部分，由最后部分的卷积层再次进行卷积计算，从而获取待检测图像的第二特征图。在上述的起始部分、中间部分和最后部分中，各卷积层可以具有不同的卷积核和指定的步长。

步骤S14，将所述第二特征图和所述关键点数据作为输入参数输入预测模型，以获取各关键点在所述待检测图像中对应的预测关键点数据。

本示例性实施例中，在获取关键帧图像的关键点数据对应的关键点热图，以及待检测图像对应的第二特征图后，上述的步骤S14具体可以包括：

步骤S1411，将所述将关键点热图和第二特征图基于像素通道进行合并以获取合并特征图像；

步骤S1412，将所述合并特征图像输入已训练的基于堆叠沙漏网络结构的预测模型，以获取待检测图像的预测关键点数据。

举例来说，上述的基于堆叠沙漏网络结构的预测模型可以是基于堆叠沙漏网络结构的卷积神经网络模型。具体而言，堆叠沙漏网络结构可以由多个已经训练成功的沙漏网络组成，在堆叠沙漏网络结构中，前一个沙漏网络的输出和输入可以作为后一个沙漏网络的输入。例如，可以使用如上述实施例中图3所示的堆叠啥都网络结构。此外，还可以在第一级沙漏网络301和第二级沙漏网络302之间设置一消息传递层。该消息传递层是利用几何变换核，将第一级沙漏网络301输出的关键帧图像的关键点热图的位置作一个相对位置的变换，从而获得第二特征图的关键点位置。

通过将关键点热图、第二特征图沿channel通道进行合并，再利用基于StackedHourglass Network的卷积神经网络，能够通过卷积神经网络来寻找关键点的变化位置，进而预测得到关键点在下一帧的运动范围，并可以将预测关键点数据以热图的形式输出。

基于上述内容，在本公开的其他示例性实施例中，在获取关键帧图像后，还可以利用基于Mobile-netV3(移动网络V3)结构的卷积神经网络模型对关键帧图像进行特征提取，从而获取关键帧图像对应的第一特征图，并将该第一特征图作为上述预测模型的输入参数。具体来说，参考图2所示，可以包括以下步骤：

步骤S1421，对所述关键点热图、第一特征图和第二特征图基于像素通道进行合并以获取合并特征图像；

步骤S1422，将所述合并特征图像输入已训练的基于堆叠沙漏网络结构的预测模型，以获取待检测图像的预测关键点数据。

通过将第一特征图、第二特征图和关键点热图同时输入预测模型，能够有效的考虑到关键帧图像中其他特征点的运动轨迹，在待检测图像中进行关键点预测时，可以参考其他特征点的运动轨迹和运动方向，进而可以更加准确的预测关键点及关键帧图像中其他特征点在待检测图像中的运动范围，进一步的提高关键点预测的准确性。

当然，在本公开的其他示例性实施例中，在对图像进行特征识别时，也可以利用其他的模型或算法来获取关键帧图像对应的第一特征图，以及待检测图像对应的第二特征图，本公开对此不做特殊限定。

步骤S15，根据所述预测关键点数据确定所述待检测图像中的所述跟踪目标。

本示例性实施例中，在获取预设关键点数据对应的热图后，可以对其进行包围盒计算，并将包围盒计算结果作为跟踪目标。从而获取待检测图像中跟踪目标的位置。在对上述的待检测图像相邻下一帧的待检测图像进行目标跟踪时，仍然可以利用上述关键帧图像对应的关键点数据进行预测和计算。举例而言，可以将包含所有关键点的最小矩形区域作为包围盒。

基于上述内容，上述的方法还可以包括：

步骤S21，在连续跟踪的所述待检测图像的帧数大于预设阈值时，获取当前的所述待监测图像中跟踪目标的当前关键点数据；

步骤S22，对所述当前关键点数据与所述关键点数据进行匹配；并在匹配结果中的变化数据比例大于预设阈值时，根据所述当前关键点数据更新所述跟踪目标的关键点数据。

本示例性实施例中，在跟踪过程中，还可以设置关键帧图像的检测周期，例如设置10帧、20帧或50帧作为一个检测周期。举例而言，在关键帧图像的检测周期为20帧时，在跟踪过程中，在确定关键帧图像后开始目标跟踪，冰灵该关键帧图像为第1帧，并在后续的连续的图像中均跟踪成功。若当前的待检测图像为第21帧图像时，便可以根据上述的步骤S12的方法对当前的待检测图像进行识别，从而获取当前待检测图像中跟踪目标的当前关键点数据，并可以根据当前关键点数据生成对应的热图。再将当前关键点数据和上述的关键点数据进行对比，例如通过热图进行比对，若关键点数据变化较大，例如关键点数量变化大于预设阈值，或者关键点位置变化的位移变化大于预设阈值时，便可以将当前关键点数据作为新的关键点数据，即将当前待检测图像作为新的关键帧图像。从而实现对关键点数据的更新，进而保证关键点数据在跟踪过程中的有效性。

基于上述内容，在本公开的其他示例性实施例中，在跟踪过程中，若当前的待检测图像中未检测到跟踪目标，则在下一帧的待检测图像中，仍然使用前续关键帧图像中关键点数据进行跟踪目标的识别。若连续的n帧待检测图像中均未检测到跟踪目标，即跟踪丢失时，则在第n+1帧图像时，重新进行关键帧的检测，从而保证跟踪过程的连续性。其中，n为正整数。

本公开实施例所提供的方法，可以在用户所在的终端侧运行，例如通过外接的摄像设备或互联网获取跟踪视频，并在终端侧执行上述的方法，实现对跟踪目标的实时追踪。或者，也可以在服务器端运行，例如服务器端在接收跟踪视频后，在服务器端对跟踪视频执行上述的方法获取跟踪目标后，将跟踪结果发送至用户终端。

本公开实施例所提供的方法，通过首先确定包含跟踪目标的关键帧图像，再对关键帧图像进行处理，获取跟踪目标对应的关键点数据，以及关键帧图像的对应的特征图；进而根据关键点数据和特征图对关键点在待检测图像中的运动范围、方向和位置进行预测，并且以热图的形式输出，从而实现对跟踪目标的成功追踪。通过预测关键点的运动趋势，在下一帧待检测图像中缩小搜索范围，可以有效的减少运算量，提升速度，进而提升追踪任务的效率。

需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图4所示，本示例的实施方式中还提供一种目标跟踪装置40，包括：关键帧识别模块401、关键点数据计算模块402、第二特征信息计算模块403、预测关键点计算模块404和跟踪目标获取模块405。其中：

所述关键帧识别模块401可以用于获取待跟踪视频，对所述待跟踪视频进行目标检测以获取包含跟踪目标的关键帧图像。

所述关键点数据计算模块402可以用于对所述关键帧图像进行图像识别以获取包含跟踪目标的对象区域，并对所述对象区域进行特征提取以获取所述跟踪目标的关键点数据。

所述第二特征信息计算模块403可以用于提取与所述关键帧相邻下一帧的待检测图像，并对所述待检测图像进行特征提取，以获取所述待检测图像的第二特征信息。

所述预测关键点计算模块404可以用于将所述第二特征信息和所述关键点信息作为输入参数输入已训练的预测模型中，以获取关键点在所述待检测图像的预测关键点数据。

所述跟踪目标获取模块405可以用于根据所述预测关键点数据确定所述待检测图像中的所述跟踪目标。

在本公开的一种示例中，上述装置还可以包括：热图转换模块(图中未示出)。

所述热图转换模块可以用于根据所述关键点数据生成对应的关键点热图，并将关键点热图作为输入参数。

在本公开的一种示例中，在输入参数为第二特征图和关键点热图时，上述预测关键点计算模块404可以包括：第一合并模块和第一计算模块(图中未示出)。其中：

所述第一合并模块可以用于将所述关键点热图和第二特征图基于像素通道进行合并以获取合并特征图像。

所述第一计算模块可以用于将所述合并特征图像输入已训练的基于堆叠沙漏网络结构的预测模型，以获取待检测图像的预测关键点数据。

在本公开的一种示例中，上述装置还可以包括：第一特征图计算模块(图中未示出)。

所述第一特征图计算模块可以用于对所述关键帧图像进行特征提取以获取所述关键帧图像的第一特征图；并将所述第一特征图作为预测模型的输入参数。

在本公开的一种示例中，在输入参数包括所述关键点热图、第一特征图和第二特征图时，上述预测关键点计算模块404可以包括：第二合并模块和第二计算模块(图中未示出)。其中：

所述第二合并模块可以用于对所述关键点热图、第一特征图和第二特征图基于像素通道进行合并以获取合并特征图像。

所述第二计算模块可以用于将所述合并特征图像输入已训练的基于堆叠沙漏网络结构的预测模型，以获取待检测图像的预测关键点数据。

在本公开的一种示例中，所述跟踪目标获取模块405包括：包围盒计算单元(图中未示出)。

所述包围盒计算单元可以用于根据所述预测关键点数据进行包围盒计算，并将包围盒计算结果作为跟踪目标。

在本公开的一种示例中，述装置还可以包括：图像判断模块、关键点更新模块(图中未示出)。其中：

所述图像判断模块可以用于在连续跟踪的所述待检测图像的帧数大于预设阈值时，获取当前的所述待监测图像中跟踪目标的当前关键点数据。

所述关键点更新模块可以用于对所述当前关键点数据与所述关键点数据进行匹配；并在匹配结果中的变化数据比例大于预设阈值时，根据所述当前关键点数据更新所述跟踪目标的关键点数据。

上述的目标跟踪装置中各模块的具体细节已经在对应的目标跟踪方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

图5示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图5示出的电子设备的计算机系统500仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(Central Processing Unit，CPU)501，其可以根据存储在只读存储器(Read-Only Memory，ROM)402中的程序或者从存储部分508加载到随机访问存储器(Random Access Memory，RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(Input/Output，I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图1所示的各个步骤。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (8)

1.一种目标跟踪方法，其特征在于，包括：

获取待跟踪视频，对所述待跟踪视频进行目标检测以获取包含跟踪目标的关键帧图像；

对所述关键帧图像进行图像识别以获取包含跟踪目标的对象区域，并对所述对象区域进行关键点提取以获取所述跟踪目标的关键点数据；根据所述关键点数据生成对应的关键点热图；以及

提取与所述关键帧相邻下一帧的待检测图像，并对所述待检测图像进行特征提取以获取所述待检测图像的第二特征图；

将所述第二特征图和所述关键点数据对应的关键点热图作为输入参数输入预测模型，以获取各关键点在所述待检测图像中对应的预测关键点数据，包括：将所述关键点热图和第二特征图基于像素通道进行合并以获取合并特征图像；将所述合并特征图像输入已训练的基于堆叠沙漏网络结构的预测模型，以获取待检测图像的预测关键点数据；

根据所述预测关键点数据确定所述待检测图像中的所述跟踪目标。

2.根据权利要求1所述的目标跟踪方法，其特征在于，在获取所述跟踪目标的关键点数据时，所述方法还包括：

对所述关键帧图像进行特征提取以获取所述关键帧图像的第一特征图；并将所述第一特征图作为预测模型的输入参数。

3.根据权利要求2所述的目标跟踪方法，其特征在于，在输入参数包括所述关键点热图、第一特征图和第二特征图时，所述获取各关键点在所述待检测图像中对应的预测关键点数据包括：

对所述关键点热图、第一特征图和第二特征图基于像素通道进行合并以获取合并特征图像；

将所述合并特征图像输入已训练的基于堆叠沙漏网络结构的预测模型，以获取待检测图像的预测关键点数据。

4.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据所述预测关键点数据确定所述待检测图像中的所述跟踪目标包括：

根据所述预测关键点数据进行包围盒计算，并将包围盒计算结果作为跟踪目标。

5.根据权利要求1所述的目标跟踪方法，其特征在于，所述方法还包括：

在连续跟踪的所述待检测图像的帧数大于预设阈值时，获取当前的所述待检测图像中跟踪目标的当前关键点数据；

对所述当前关键点数据与所述关键点数据进行匹配；并在匹配结果中的变化数据比例大于预设阈值时，根据所述当前关键点数据更新所述跟踪目标的关键点数据。

6.一种目标跟踪装置，其特征在于，包括：

关键帧识别模块，用于获取待跟踪视频，对所述待跟踪视频进行目标检测以获取包含跟踪目标的关键帧图像；

关键点数据计算模块，用于对所述关键帧图像进行图像识别以获取包含跟踪目标的对象区域，并对所述对象区域进行特征提取以获取所述跟踪目标的关键点数据；

热图转换模块，用于根据所述关键点数据生成对应的关键点热图，并将关键点热图作为输入参数；

第二特征信息计算模块，用于提取与所述关键帧相邻下一帧的待检测图像，并对所述待检测图像进行特征提取，以获取所述待检测图像的第二特征信息；

预测关键点计算模块，用于将所述第二特征信息和所述关键点数据作为输入参数输入已训练的预测模型中，以获取关键点在所述待检测图像的预测关键点数据，包括：第一合并模块，用于将所述关键点热图和第二特征图基于像素通道进行合并以获取合并特征图像；第一计算模块，用于将所述合并特征图像输入已训练的基于堆叠沙漏网络结构的预测模型，以获取待检测图像的预测关键点数据；

跟踪目标获取模块，用于根据所述预测关键点数据确定所述待检测图像中的所述跟踪目标。

7.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的目标跟踪方法。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的目标跟踪方法。

Images