CN111709973B

CN111709973B - 目标跟踪方法、装置、设备及存储介质

Info

Publication number: CN111709973B
Application number: CN202010549054.9A
Authority: CN
Inventors: 刘赵梁; 陈思利
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-06-16
Filing date: 2020-06-16
Publication date: 2024-02-20
Anticipated expiration: 2040-06-16
Also published as: CN111709973A

Abstract

本申请公开了一种目标跟踪方法、装置、设备及存储介质，涉及图像处理、深度学习、计算机视觉技术领域。具体实现方案为：通过从预设的场景地图中，获取与当前图像帧最邻近的目标图像帧以及目标图像帧上的至少一个特征点的坐标信息，确定当前图像帧与目标图像帧之间的至少一个匹配特征点对以及每个匹配特征点对的权重系数，进而计算出当前图像帧的位姿信息，从而能够根据当前图像帧的位姿信息，实现对当前图像帧中的目标跟踪对象的跟踪。该技术方案，由于能够确定出当前图像帧的准确位姿信息，从而提高了目标跟踪的跟踪精度。

Description

目标跟踪方法、装置、设备及存储介质

技术领域

本申请实施例涉及图像处理和深度学习领域，尤其涉及一种目标跟踪方法、装置、设备及存储介质，可用于计算机视觉技术领域。

背景技术

二维跟踪技术是指根据目标平面物体本身的纹理特征，获得包括该目标平面物体的采集图像的6DoF位姿的技术，其可以为后续目标平面物体的增强现实显示奠定基础。

现有技术中，物体跟踪主要是根据采集的相邻图像帧之间的目标平面物体的纹理特征变化，计算目标平面物体上对应特征点的位置变化，进而计算相邻图像帧之间的摄像位置变化，再结合前一图像帧的6DoF位姿，确定出当前图像帧的6DoF位姿。

然而，当目标平面物体在图像中的屏占比较小或者目标平面物体的纹理特征不丰富时，根据目标平面物体上的特征点对位置变化进行跟踪时，会存在由于跟踪的特征点较少，导致跟踪精确度不高的问题。

发明内容

本申请提供了一种目标跟踪方法、装置、设备及存储介质，用于解决现有目标平面物体的跟踪过程中由于跟踪的特征点较少，导致跟踪精确度不高的问题。

根据本申请的一方面，提供了一种目标跟踪方法，包括：

从预设的场景地图中，获取与待处理的当前图像帧最邻近的目标图像帧以及所述目标图像帧上的至少一个特征点的坐标信息，所述场景地图中存储有针对目标跟踪对象采集的至少一个关键图像帧以及每个关键图像帧的位姿信息、各个特征点的坐标信息；

确定所述当前图像帧与所述目标图像帧之间的至少一个匹配特征点对以及每个匹配特征点对的权重系数；

根据所述至少一个匹配特征点对的坐标信息以及每个特征点对的权重系数，计算所述当前图像帧的位姿信息；

根据所述当前图像帧的位姿信息，对所述当前图像帧中的目标跟踪对象进行跟踪。

根据本申请的另一方面，提供了一种目标跟踪装置，包括：获取模块、确定模块、处理模块和跟踪模块；

所述获取模块，用于从预设的场景地图中，获取与待处理的当前图像帧最邻近的目标图像帧以及所述目标图像帧上的至少一个特征点的坐标信息，所述场景地图中存储有针对目标跟踪对象采集的至少一个关键图像帧以及每个关键图像帧的位姿信息、各个特征点的坐标信息；

所述确定模块，用于确定所述当前图像帧与所述目标图像帧之间的至少一个匹配特征点对以及每个匹配特征点对的权重系数；

所述处理模块，用于根据所述至少一个匹配特征点对的坐标信息以及每个特征点对的权重系数，计算所述当前图像帧的位姿信息；

所述跟踪模块，用于根据所述当前图像帧的位姿信息，对所述当前图像帧中的目标跟踪对象进行跟踪。

根据本申请的再一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面所述的方法。

根据本申请的又一方面，提供了一种目标跟踪方法，包括：

根据从场景地图中获取到的目标图像帧，确定当前图像帧的位姿信息；

根据本申请的又一方面，本申请实施例提供一种计算机程序产品，包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

根据本申请提供的目标跟踪方法、装置、设备及存储介质，通过从预设的场景地图中，获取与待处理的当前图像帧最邻近的目标图像帧以及目标图像帧上的至少一个特征点的坐标信息，确定出当前图像帧与目标图像帧之间的至少一个匹配特征点对以及每个匹配特征点对的权重系数，进一步的能够根据至少一个匹配特征点对的坐标信息以及每个特征点对的权重系数，计算当前图像帧的位姿信息，从而能够根据当前图像帧的位姿信息，实现对当前图像帧中的目标跟踪对象的跟踪，解决了现有目标跟踪过程中由于跟踪的特征点较少，导致跟踪精确度不高的问题。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例提供的目标跟踪方法的应用场景示意图；

图2是本申请第一实施例提供的目标跟踪方法的流程示意图；

图3是本申请第二实施例提供的目标跟踪方法的流程示意图；

图4是本申请第三实施例提供的目标跟踪方法的流程示意图；

图5是本申请第四实施例提供的目标跟踪方法的流程示意图；

图6是本申请实施例提供的目标跟踪装置的结构示意图；

图7是用来实现本申请实施例的目标跟踪方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

跟踪技术是计算机视觉研究领域中的热点之一，其在军事侦察、精确制导、火力打击、战场评估以及安防监控等诸多方面均有广泛的应用前景。目标跟踪的目的是定位目标在每帧视频图像中的位置，产生目标运动轨迹，根据实际场景，目标跟踪可以应用于智能视频监控、人机交互、机器人视觉导航、虚拟现实和医疗诊断等应用场景中。

其中，增强现实(augmented reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，好的增强现实体验需要实现现实环境和虚拟世界的结合，而这种体验离不开六自由度追踪(Six degrees of freedom tracking，6DOF)的加入。6DoF追踪为用户提供了前所未有的互动体验和对虚拟世界的控制，其能够将虚拟世界与现实世界建立联系。

可选的，6DoF位姿包括了3维位置和3维空间朝向，即：x、y、z三个直角坐标轴的移动自由度和绕x、y、z三个坐标轴的转动自由度，分别是前/后-上/下-左/右、俯仰-偏摆-滚翻，也即，6DoF位姿包含3平移+3旋转。在实际计算时，3旋转是通过3×3的旋转矩阵表示的。

二维跟踪技术是指仅根据目标平面物体本身中的纹理特征，获得每帧的6DoF位姿信息的技术，其通常在跟踪线程中执行跟踪任务以及在校正线程中执行校正任务，进而实现根据目标平面物体的纹理特征计算摄像机的6DoF位姿的目的。

其中，校正任务的主要目标是首先预先提取好目标平面物体中的特征点(在二维空间中的二维坐标、用来描述局部纹理情况的特征向量)及其在三维空间中的三维坐标，其次计算采集图像中目标平面物体的特征点(目标平面物体在图像中的二维坐标及用来描述局部纹理情况的特征向量)，再次计算采集图像中目标平面物体的特征点与预先提取好的目标平面物体中的特征点之间的匹配关系，当两个特征点匹配成功时，认为两个特征点是目标平面物体上的同一个点，最后根据预先提取好的平面物体特征点的三维坐标及采集图像中各特征点的二维坐标，计算采集图像的6DoF位姿。

跟踪任务的主要目标是根据相邻的采集图像帧之间的平面物体的纹理变化，采用光流法等方法计算对应特征点的位置变化，根据相邻帧之间特征点的二维坐标位置变化，计算相邻帧之间的采集位置变化。鉴于跟踪任务的特点是计算量较小但是容易出现误差累积，校正任务的特征点是计算量大但是精确度比较高，所以在实际运行过程中，通常对于采集到的每一帧执行跟踪任务以获得每个采集图像的6DoF位姿，而从所有的采集图像中确定出某些关键帧，并在关键帧中执行校正任务以消除跟踪任务中的累积误差。

但是，现有二维跟踪技术存在一定的问题，一方面，当目标平面物体在采集图像中的屏占比较小或者目标平面物体的纹理不丰富时，跟踪任务中对目标平面物体的纹理特征点位置变化进行跟踪，将存在由于匹配点较少，而导致跟踪精确度不高的问题。另一方面，若只对目标平面物体的特征进行跟踪，当目标平面物体离开不再摄像的视野范围内时，则无法持续获得图像的6DoF位置，只能返回跟踪失败，存在无法持续跟踪的问题。

因此，本专利提出一种融合背景环境特征的二维拓展跟踪方法，通过融合纹理较为丰富的背景环境特征，解决以上提出的问题。

针对上述问题，本申请实施例提供的目标跟踪方法，当对图像中的目标对象进行跟踪时，可以融合图像的背景环境特性，并使用移动终端采集图像时，实时计算每帧图像的6DoF位姿，其能够提高目标平面物体的跟踪精度，而且可以实现目标平面物体的持续跟踪。

可选的，在本申请的实施例中，目标对象是指目标平面对象，例如，海报、广告牌等。本申请实施例并不对目标对象的具体实现进行限定，其可以根据实际场景确定，此处不再赘述。

本申请的技术构思可以包括如下部分：

第一、在二维跟踪技术的跟踪任务中，通常是首先利用光流法等计算相邻图像帧中目标对象的特征点的二维位置变化，再计算出目标对象的单应变换关系，最后计算相邻帧间的6DoF位姿变换。然而，由于只有平面物体符合单应变换关系，由于本申请实施例中的目标跟踪方法结合的图像中背景环境的特征与目标对象的特征点并不在同一个平面上，所以，不能通过光流法进行跟踪。因此，本申请实施例使用视觉里程计技术(visualodometry，VO)来执行相邻图像帧之间的跟踪任务，其能够同时处理目标平面物体中的特征点及背景环境中的特征点。

其中，光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

单应(Homography)变换关系可以简单的理解为用来描述物体在世界坐标系和像素坐标系之间的位置映射关系。

VO技术是根据相邻图像的信息粗略的估计采集图像的相机的运动，进而给后端提供较好的初始值的技术。

第二、在同步定位与地图构建(simultaneous localization and mapping，SLAM)技术中，主要是通过特征点的二维坐标及三维坐标对应关系，通过n点透视(pespective-n-point，PnP)方法计算图像的6DoF位姿。在本申请的实施例中，为了提高目标跟踪的精度，在PnP计算过程中，对于建图线程中获得的目标平面图像上的特征点对，建图线程中获得的背景环境上的特征点对，校对线程中获得的目标平面图像上的特征点对赋予不同的权重，一方面能够利用背景特征提高跟踪精确度，另一方面也能在目标平面物体在所处的背景环境中发生位置移动时能够快速修正6DoF位姿，得到准确的位姿信息。

第三、当采用VO技术中执行相邻图像帧之间的跟踪任务时，由于本申请中增加了在建图线程中从关键帧图像中提取的多个特征点(包括背景环境中的特征点和目标平面物体的特征点)，但是没有对其进行检测，所以，在目标平面物体离开采集设备的视野范围一段时间，然后又重新出现在视野范围中时，容易产生较大的位姿漂移，针对该问题，本申请实施例在建图线程中增加目标平面物体的特征点时首先对特征点进行校验，以剔除掉已存在的特征点，从而避免相邻图像的位姿漂移。

下面在对本申请的技术方案进行解释之前，首先对本申请的应用场景进行介绍。

示例性的，图1为本申请实施例提供的目标跟踪方法的应用场景示意图。如图1所示，该应用场景可以包括摄像设备11、目标跟踪对象12和电子设备13。

其中，该摄像设备11可以采集包括目标跟踪对象12的多帧图像120，并可以将采集的每帧图像依次传输至电子设备13，以便电子设备计算每帧图像的位姿信息，并基于该位姿信息实现对目标跟踪对象12的跟踪。图1示出了一帧图像120。

示例性的，在本申请的实施例中，该电子设备13可以在跟踪线程、校正线程和建图线程中执行特征点提取的方案，并确定出每帧图像的位姿信息。关于电子设备13的具体执行方案可以参见下述具体实施例中的记载，此处不再赘述。

需要说明的是，附图1仅是本申请实施例提供的一种应用场景的示意图，图1中以一个摄像设备、一个目标跟踪对象和一个电子设备进行解释说明。本申请实施例并不限定图1所示应用场景包括的内容，其均可以根据实际需求设定，此处不再赘述。

可以理解的是，本申请实施例的执行主体可以是电子设备，例如，终端设备，也可以是服务器等。关于电子设备的具体表现形式可以实际情况确定。

下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2是本申请第一实施例提供的目标跟踪方法的流程示意图。如图2所示，该方法可以包括如下步骤：

S201、从预设的场景地图中，获取与待处理的当前图像帧最邻近的目标图像帧以及该目标图像帧上的至少一个特征点的坐标信息。

其中，该场景地图中存储有针对目标跟踪对象采集的至少一个关键图像帧以及每个关键图像帧的位姿信息、各个特征点的坐标信息。

在本申请的实施例中，电子设备需要对目标跟踪对象进行跟踪处理时，在跟踪线程中，首先查询预设的场景地图，确定出待处理的当前图像帧对应的目标图像帧以及该目标图像帧上的至少一个特征点以及每个特征点的坐标信息，该目标图像帧是该场景地图中按照保存时间排序的所有关键图像帧中与该当前图像帧最邻近的一个关键图像帧，每个特征点的坐标信息包括特征点的二维坐标和三维坐标，从而，电子设备可以基于该目标图像帧的特征点执行基于VO的跟踪过程。

可以理解的是，场景地图中存储的每个关键图像帧上的至少一个特征点以及每个特征点的坐标信息是基于采集图像在校正线程和建图线程中确定的，而且建图线程中确定的特征点既可以包括关键图像帧中目标跟踪对象的特征点，还可以包括关键图像中背景环境的特征点。

可选的，在本申请的实施例中，“至少一个”可以指一个，两个或多个，关于至少一个的具体实现形式可以根据实际场景确定，此处不再赘述。

S202、确定该当前图像帧与目标图像帧之间的至少一个匹配特征点对以及每个匹配特征点对的权重系数。

在本申请的实施例中，电子设备确定出当前图像帧对应的目标图像帧后，首先可以通过图像对齐(Image Alignment)等方法计算当前图像帧与目标图像帧之间的特征点匹配关系。具体的，根据当前图像帧与目标图像帧中描述特征点的纹理特征的特征向量是否匹配，确定出该当前图像帧与目标图像帧之间的至少一个匹配特征点对。

示例性的，由于场景地图中关键图像帧上的特征点可以分为在校正线程中从当前图像帧中提取的特征点、在建图线程中从当前图像帧中提取的目标跟踪对象的特征点以及在建图线程中从当前图像帧中提取的背景环境中的特征点三类，所以，根据关键图像帧中特征点类型的不同，可以分别确定出上述每个匹配特征点对的权重系数。

S203、根据至少一个匹配特征点对的坐标信息以及每个特征点对的权重系数，计算当前图像帧的位姿信息。

在本申请的实施例中，电子设备可以根据匹配特征点对及其对应的权重系数，使用PnP方法计算当前图像帧的位姿信息，也即，6DoF位姿。

在实际应用中，利用PnP方法计算当前图像帧的过程如下：

假设当前图像帧的6DoF位姿通过3×4的矩阵P来表示(其中，前三列是3×3的旋转矩阵，最后一列是3×1的平移向量)，采集当前图像帧的摄像机的内参(如焦距等)可以通过3×3矩阵K来表示，图像帧上特征点的三维坐标通过4×1的齐次向量X来表示，二维坐标通过3×1的齐次向量x来表示。因而，位姿为P、内参为K的摄像机拍摄三维坐标为X的空间点时，这个空间点在成像平面上的坐标x＝KPX。因而，在确定该当前图像帧与目标图像帧之间的至少一个匹配特征点对之后，对于每个匹配特征点对，根据S201中获取到的目标图像帧中每个特征点的坐标信息，可以确定出当前图像帧上特征点的三维坐标和二维坐标，进而根据关系式x＝KPX可以确定出一个方程，这个方程中的未知变量是P。

相应的，对于当前图像帧与目标图像帧之间的至少一个匹配特征点对，即存在至少一组三维坐标和二维坐标，这样可以确定出至少一个方程，从而形成了方程组，求解这个方程组，计算P的解，即计算出了该当前图像帧对应的6DoF位姿，也即，用于采集当前图像帧的摄像机的位姿信息。

进一步的，由于基于目标图像帧上的特征点类型的不同，每个匹配特征点对的权重系数不同，所以，在求解这个方程组的过程中，给每一对三维坐标和二维坐标形成的匹配特征点对分别设置对应的权重系数，从而，电子设备可以结合不同权重系数的匹配特征点对确定出当前图像帧的位姿信息。

S204、根据当前图像帧的位姿信息，对当前图像帧中的目标跟踪对象进行跟踪。

在本申请的实施例中，当确定出当前图像帧的位姿信息时，能够确定出采集当前图像帧的摄像设备所处的位置和姿态，从而可以准确的跟踪当前图像帧中目标跟踪对象的位置信息，其为跟踪当前图像帧中的目标跟踪对象的实现奠定了基础。

本申请实施例提供的目标跟踪方法，通过从预设的场景地图中，获取与待处理的当前图像帧最邻近的目标图像帧以及目标图像帧上的至少一个特征点的坐标信息，确定出当前图像帧与目标图像帧之间的至少一个匹配特征点对以及每个匹配特征点对的权重系数，进一步的能够根据至少一个匹配特征点对的坐标信息以及每个特征点对的权重系数，计算当前图像帧的位姿信息，从而能够根据当前图像帧的位姿信息，实现对当前图像帧中的目标跟踪对象的跟踪。该技术方案，可以结合场景地图中存储的关键帧以及关键帧的位姿信息以及特征点信息，确定当前图像帧的位姿信息以及匹配特征点对的权重系数，从而能够确定出当前图像帧的准确位姿信息，进而提高了目标跟踪的跟踪精度。

示例性的，在上述实施例的基础上，图3是本申请第二实施例提供的目标跟踪方法的流程示意图。如图3所示，上述S202可以通过如下步骤实现：

S301、计算当前图像帧与目标图像帧之间的特征点匹配关系，确定该当前图像帧与目标图像帧之间的至少一个匹配特征点对。

在本申请的实施例中，电子设备从预设的场景地图中，获取到与待处理的当前图像帧最邻近的目标图像帧之后，可以根据当前图像帧上的特征点以及场景地图中存储的关键图像帧的特征点，通过当前图像帧与目标图像帧上特征点的特征向量匹配关系，确定出当前图像帧与目标图像帧之间的至少一个匹配特征点对。

S302、根据每个匹配特征点对中目标图像帧上的特征点类型和预设的权重赋予规则，确定每个匹配特征点对的权重系数。

可选的，在本申请的实施例中，场景地图中关键图像帧上所有的特征点可以分成三类：A类特征点、B类特征点和C类特征点。其中，A类特征点是在校正线程中提取的特征点，B类特征点是在建图线程中提取的目标平面物体上的特征点，C类特征点是在建图线程中提取的背景环境上的特征点。

示例性的，预设的权重赋予规则可以根据如下构思确定：

(1)由于在建图线程中，对于同一个关键图像帧，基于背景环境提取出来的特征点可能远多于基于目标跟踪对象提取的特征点，所以，为了平衡两种特征点的影响程度，可以根据两者之间的数量比例，对基于目标跟踪对象提取的特征点赋予更高的权重。

示例性的，在实际应用中，基于上述构思，预设的权重赋予规则可以通过如下方式确定：

B类特征点对应的权重系数为：C类特征点的数量/(B类特征点的数量+C类特征点的数量)，C类特征点对应的权重系数为：B类特征点的数量/(B类特征点的数量+C类特征点的数量)。

(2)由于在建图线程中从关键图像帧中提取出来的特征点精确度可能低于在校正线程中从关键图像帧中提取出来的特征点的精确度，所以，可以按照预设的计算方法为在校正线程中提出的特征点赋予更高的权重。其中，预设的计算方法包括但不限于使用固定权重数值、特征点数量比例+固定系数等方法进行分配。

示例性的，在实际应用中，预设的权重赋予规则可以通过如下方式确定：

例如，给A类特征点赋予固定权重N(N可以为大于1的整数)；或者，给A类特征点赋予固定权重*特征点数量比例，即：M*(B类特征点的数量+C类特征点的数量)/(B类特征点的数量+C类特征点的数量+A类特征点的数量)，其中，M为大于1的整数。

(3)由于关键图像帧上距离当前图像帧的时间间隔越短，特征点对当前图像帧的影响越大，因而，对于在校正线程中从关键图像帧中提取的特征点，可以按照距离当前图像帧的时间间隔，对于时间间隔越短的关键图像帧，赋予更高的权重。

示例性的，按照上述原则，可以给A类特征点赋予的权重可以如下：L/(特征所在关键帧与当前帧的时间差)，其中，L为大于1的整数。

相应的，由于目标图像帧是场景地图中的一个关键图像帧，所以，目标图像帧上的至少一个特征点可以包括以下至少之一：

在校正线程中从目标图像帧上提取的至少一个特征点；

在建图线程中基于目标图像帧上的目标跟踪对象提取的至少一个特征点；

在建图线程中基于目标图像帧上的背景环境提取的至少一个特征点。

因而，在在本申请的实施例中，电子设备可以根据每个匹配特征点对中目标图像帧上的特征点类型，基于上述的权重赋予规则，确定出每个匹配特征点对的权重系数。

在本申请的实施例中，由于场景地图中的关键图像帧上加入了背景环境的特征点，所以，在具体实现时，可以基于特征点的类型确定出不同匹配特征点对应的权重系数，即使在目标跟踪对象的屏占比较小、或纹理不丰富时，也可以有较高的跟踪精度，并能够实现目标跟踪对象离开摄像设备的视野范围时的持续跟踪。

进一步的，在上述各实施例的基础上，图4是本申请第三实施例提供的目标跟踪方法的流程示意图。如图4所示，该方法还包括如下步骤：

S401、判断当前图像帧是否为关键图像帧；若是，执行S402，若否，结束。

在本申请的实施例中，当根据至少一个匹配特征点对的坐标信息以及每个特征点对的权重系数，计算出当前图像帧的位姿信息，或者，根据当前图像帧的位姿信息，对当前图像帧中的目标跟踪对象进行跟踪后，还可以判断当前图像帧是否为关键图像帧，进而根据判断结果确定是否执行进一步的操作。

示例性的，在本申请的实施例中，判断当前图像帧是否为关键图像帧的方法可以包括但不限制于以下几种：

(1)判断当前图像帧上匹配的特征点数量是否大于预设的数量阈值。

具体的，在当前图像帧上匹配的特征点数量大于预设的数量阈值时，确定当前图像帧为关键图像帧；在当前图像帧上匹配的特征点数量小于或等于预设的数量阈值时，确定当前图像帧不是关键图像帧。

(2)根据当前图像帧的位姿信息和场景地图中该当前图像帧的前一个关键图像帧的位姿信息，确定该当前图像帧对应的摄像机位置与该前一个关键图像帧对应的摄像机位置之间的空间距离是否大于预设的距离阈值。

示例性的，在当前图像帧对应的摄像机位置与该前一个关键图像帧对应的摄像机位置之间的空间距离大于预设的距离阈值时，确定当前图像帧为关键图像帧；在当前图像帧对应的摄像机位置与该前一个关键图像帧对应的摄像机位置之间的空间距离小于或等于预设的距离阈值时，确定当前图像帧不是关键图像帧。

(3)当前图像帧的获取时间与场景地图中该当前图像帧的前一个关键图像帧的获取时间之间的时间间隔是否大于预设的时间阈值。

示例性的，当前图像帧的获取时间与场景地图中该当前图像帧的前一个关键图像帧的获取时间之间的时间间隔大于预设的时间阈值时，确定当前图像帧为关键图像帧；当前图像帧的获取时间与场景地图中该当前图像帧的前一个关键图像帧的获取时间之间的时间间隔小于或等于预设的时间阈值时，确定当前图像帧不是关键图像帧。

S402、分别在校正线程、建图线程和跟踪线程中对当前图像帧进行特征点处理，得到处理结果。

S403、将得到的处理结果分别存储至场景地图中。

在本申请的实施例中，当电子设备确定出当前图像帧为关键图像帧时，还可以分别在校正线程、建图线程和跟踪线程中对其进行特征点处理，并将得到的处理结果(包括从当前图像帧中提取的特征点以及各特征点的二维坐标、三维坐标等坐标信息)保存至场景地图中，为后续的跟踪线程处理提供实现基础。

具体的，在本申请的实施例中，在当前图像帧为关键图像帧时，电子设备可以通过三个方面对其进行处理，并分别将处理结果存储至场景地图中。一方面，将该当前图像帧输入到建图线程执行特征点提取和匹配，更新场景地图；另一方面，将该当前图像帧输入到校正线程进行位姿计算，并将处理结果和该当前图像帧保存至场景地图中；再一方面，在该跟踪线程中，对该当前图像帧执行局部光束法平差(local bundle adjustment，local BA)。最终都将处理结果保存到场景地图中，为后续(例如下一个图像帧)的位姿计算提供条件。

示例性的，如图4所示，在本申请的实施例中，该步骤S402具体可以分为如下分支：

在校正线程中，S4021、将当前图像帧输入到校正线程中执行特征点提取以及位姿计算，得到第一处理结果。

其中，该第一处理结果包括：当前图像帧的位姿信息、当前图像帧上的至少一个特征点以及每个特征点的坐标信息。

在本申请的实施例中，首先通过预设的特征点提取方法提取目标跟踪对象的至少一个特征点并分别计算每个特征点的二维坐标和三维坐标等坐标信息，然后基于预设的特征点提取方法从当前图像帧上提取该目标跟踪对象的至少一个特征点以及并计算每个特征点的二维坐标，再基于特征点的二维坐标对应的特征向量，将从目标跟踪对象提取的至少一个特征点和从当前图像帧上提取的目标跟踪对象的至少一个特征点进行特征匹配，若匹配成功，则确定当前图像帧上的特征点与预先提取的特征点是同一个点，因而，两者具有相同的三维坐标，从而可以确定出当前图像帧上各特征点的三维坐标。

可选的，预设的特征点提取方法可以是尺度不变特征变换(scale-invariantfeature transform，SIFT)，FREAK等。

其中，SIFT是图像处理领域种的一种描述，这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。FREAK算法是一种特征提取算法，也是一种二进制的特征描述算子。通过SIFT、FREAK等特征检测方法，检测出目标跟踪对象的特征点并确定出每个特征点的二维坐标，以及计算出每个特征点的特征向量。

进一步的，电子设备还可以通过随机抽样一致算法(random sample consensus，RANSAC)和PnP算法，将当前图像帧上的匹配错误的特征点去除，从而计算出当前图像帧的位姿信息。

其中，RANSAC是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。PnP算法可以参见上述S203中记载的内容。

在实际应用中，PnP方法最少需要4个方程进行求解。基于RANSAC+PnP的处理过程为如下：

(1)根据当前图像帧中所有特征点的三维坐标-二维坐标对中，随机抽取4对，使用PnP方法，计算得到当前图像帧的一个6DoF位姿；

(2)对于所有的三维坐标按照这个6DoF位姿进行投影(即计算KPX的值)，计算投影出的二维坐标与特征点的二维坐标之间的欧式距离。如果某个三维坐标计算出来的欧式距离超过一定阈值，认为这个三维坐标-二维坐标对是外点，否则是内点，进而再统计内点个数。

(3)循环执行上述(1)和(2)N次，并记录内点个数最多的6DoF位姿，其中，N为大于1的整数。

(4)对(3)中确定的6DoF位姿的内点，计算一次PnP，得到最终结果，从而计算出当前图像帧的位姿信息。

在建图线程中，S4022、将当前图像帧输入到建图线程中执行特征点提取以及特征点处理，得到第二处理结果。

其中，第二处理结果包括：当前图像帧上目标跟踪对象的至少一个特征点及每个特征点的坐标信息、当前图像帧上背景环境的至少一个特征点以及每个特征点的坐标信息。

可选的，为了避免目标跟踪对象在短暂离开摄像设备的视野范，再重新出现在视野范围中时，容易产生较大位姿漂移的问题，在本申请的实施例中，通过将关键图像帧输入到建图线程中进行特征点提取和重建，确定出当前图像帧上目标跟踪对象的至少一个特征点及每个特征点的坐标信息、当前图像帧上背景环境的至少一个特征点以及每个特征点的坐标信息，从而可以更新在跟踪线程中使用的场景地图。

具体的，在本申请的实施例中，该S4022具体可以通过如下步骤实现：

A1、对当前图像帧进行特征点提取，得到第一特征点集合。

在本申请的实施例中，在建图线程中，通过特征检测方法，从当前图像帧中提取至少一个第一特征点，得到第一特征点集合。可选的，该特征检测方法可以是Harris角点方法等。本申请实施例不对特征检测方法的具体实现进行限定，其可以根据实际场景确定，此处不再赘述。

A2、将第一特征点集合中的与场景地图中匹配成功的特征点删除，得到第二特征点集合。

可选的，电子设备在得到当前图像帧对应的第一特征点集合后，可以将第一特征点集合中的每个第一特征点与场景地图中已有关键图像帧中的特征点进行匹配，若两者匹配成功，则认为该第一特征点已经在已有的关键图像帧中存在，因而，为了避免目标跟踪对象的位姿漂移，则将其从第一特征点集合中删除。对于第一特征点集合中的所有第一特征点依次执行上述匹配过程后，将更新后的第一特征点集合称为第二特征点集合。

A3、根据当前图像帧的位姿信息，对第二特征点集合进行划分，得到目标跟踪对象的至少一个特征点和当前图像帧中背景环境的至少一个特征点；

在本申请的实施例中，基于上述S203的操作可以在跟踪线程中确定出当前图像帧的位姿信息(6DoF位姿)，通过将目标跟踪对象(例如，包括的四个角)投影到图像平面上，从而获得目标跟踪对象的范围，这样，可以根据目标跟踪对象的范围，确定出在建图线程中新提取的特征点，以及哪些是目标跟踪对象对应的至少一个特征点，哪些是当前图像帧中背景环境的至少一个特征点。

A4、分别计算目标跟踪对象的每个特征点的坐标信息和当前图像帧中背景环境的每个特征点的坐标信息。

在本申请的实施例中，对于当前图像帧上，基于目标跟踪对象提取的特征点，可以根据预先直接基于目标跟踪对象提取的特征点的坐标信息，也即根据平面先验知识，直接确定当前图像帧上基于目标跟踪对象提取的特征点的坐标信息(三维坐标)。

对于当前图像帧上，基于背景环境提取的特征点，可以通过三角测量方法，估计这些特征点的三维坐标。

示例性的，根据上述图2所示实施例中S203中的记载，利用位姿为P、内参为K的摄像机拍摄三维坐标为X的空间点时，这个空间点在成像平面上的坐标x＝KPX，因而，本申请实施例可以利用x＝KPX这个方程，计算当前图像帧中背景环境上的特征点。

在跟踪线程中，S4023、根据当前图像帧，对场景地图中与当前图像帧存在特征点匹配的所有关键图像帧的位姿信息以及每个特征点的坐标信息进行优化更新。

示例性的，在本申请实施例的跟踪线程中，可以基于Local BA对场景地图中的已有关键图像帧、位姿信息(6DoF位姿)及特征点的三维坐标进行优化，并将优化后的结果保存在场景地图中。

具体的，根据上述图2所示实施例中S203的特征匹配结果，确定出场景地图中与当前图像帧存在匹配特征的所有关键帧，进而执行光束法平差(bundle adjustment，BA)的过程。

可选的，Bundle Adjustment是一个求最优化的问题，主要目标是通过最小化投影误差，计算特征点的最优三维空间坐标及关键图像帧的6DoF位姿，其中，投影误差为将特征点的三维坐标按照其图像的6DoF位姿投影到图像平面后形成的二维坐标与特征点本身的二维坐标之间的欧式距离。

可选的，在本申请的实施例中，为了提高Local BA的计算速度，可采用现有基于滑动窗口的方法。

具体的，由于Local BA的主要目标是最小化投影误差，其中耗时较长的是系数矩阵的构建过程，原始Local BA每次计算时都重新构建系数矩阵，而滑动窗口方法不再重新构建系数矩阵，而是在上一次Local BA构建的系数矩阵的基础上，将不再可见的变量删除，添加新的变量，从而提高了Local BA的计算速度。

本申请实施例提供的目标跟踪方法，在当前图像帧为关键图像帧时，还分别在校正线程、建图线程和跟踪线程中对当前图像帧进行特征点处理，并将得到的处理结果分别存储至场景地图中，其可以提高场景地图的精度，从而提高了目标跟踪的精度，为后续准确的跟踪目标对象奠定了基础。

进一步的，在上述实施例的基础上，图5是本申请第四实施例提供的目标跟踪方法的流程示意图。如图5所示，在上述S201之前，该方法还包括如下步骤：

S501、确定执行目标跟踪的跟踪线程已初始化完成。

其中，该初始化完成包括：输入到校正线程的图像位姿计算成功。

可选的，在执行目标跟踪的跟踪线程已初始化完成时，例如，输入到校正线程的图像位姿计算成功，这时可以将该图像作为关键图像帧输入到场景地图中，以及将该关键图像帧的特征点及位姿信息存储至场景地图中，因而，场景地图中才可以存储有基于关键图像帧确定的特征点以及位姿信息，这样电子设备才能基于采集到的当前图像帧和场景地图中存储的信息执行图2至图4所示的实施例的方法。

可以理解的是，在S501之前，该方法还可以包括如下步骤：

S500、判断执行目标跟踪的跟踪线程是否已初始化完成，若是，执行上述S501，若否，执行S502。

其中，在本申请的实施例中，对于包括校正线程、跟踪线程以及建图线程等处理线程的电子设备而言，判断执行目标跟踪的跟踪线程是否已初始化完成，可以根据该电子设备中处理线程中是否输入过图像或者在输入过图像时，校正线程是否执行成功来判断。

示例性的，若该电子设备中处理线程中未输入过图像，则可以认为执行目标跟踪的跟踪线程处于未初始化状态；若该电子设备中处理线程中输入过图像，但是图像在校正线程中的位姿计算步骤均为失败，则认为执行目标跟踪的跟踪线程也处于未初始化状态；而在输入到校正线程的图像位姿计算成功时，才认为执行目标跟踪的跟踪线程已初始化完成。

示例性的，在执行目标跟踪的跟踪线程已初始化完成时，执行上述图2所示实施例的跟踪任务，根据确定的关键图像帧计算该当前图像帧的6DoF位姿，在执行目标跟踪的跟踪线程未初始化完成时，则进入校正线程执行位姿计算，即校正任务，根据预先基于目标跟踪对象提取的特征点计算当前图像帧的6DoF位姿。

S502、确定执行目标跟踪的跟踪线程未初始化完成。

S503、将待处理的当前图像帧输入到校正线程执行位姿计算，得到当前图像帧的位姿信息以及当前图像帧中的匹配成功特征点的坐标信息。

其中，该匹配成功特征点是当前图像帧上目标跟踪对象对应的所有特征点中与预先提取的目标跟踪对象的特征点匹配成功的特征点。

具体的，在执行目标跟踪的跟踪线程未完成初始化时，首先与上述S4021中记载的一致，可以通过SIFT、FREAK等预设的特征点提取方法提取目标跟踪对象的至少一个特征点，并分别计算每个特征点的二维坐标和三维坐标等坐标信息。

其中，假设三维空间中的坐标系xy平面与目标跟踪对象所在的平面重合，则目标跟踪对象的特征点的z坐标都是0，即，假设特征点的二维坐标是(x,y)，则特征点的三维坐标为(x,y,0)。

其次，对于上述当前图像帧，同样可以通过SIFT、FREAK等预设的特征点提取方法提取该当前图像帧中目标跟踪对象的至少一个特征点，然后将该当前图像帧中目标跟踪对象的特征点及上述预先提取的目标跟踪对象的特征点进行特征匹配，若匹配成功，则认为当前图像帧中的特征点与预先提取的特征点是同一个点，并具有相同的三维坐标。

进一步的，本申请实施例还可以通过RANSAC和PnP算法去除当前图像帧中错误匹配的特征点，并计算当前图像帧的6DoF位姿。

关于该步骤的具体实现可以参见上述图4所示实施例中S4021中的记载，此处不再赘述。

S504、将当前图像帧标记为关键图像帧，并将当前图像帧的位姿信息以及当前图像帧中的匹配成功特征点的坐标信息保存在场景地图中。

在本申请的实施例中，对于在校正线程中位姿计算成功的图像帧，可以将该当前图像帧标记为关键图像帧，并且可以将该当前图像帧中匹配成功的特征点的二维坐标、三维坐标及该当前图像帧的6DoF位姿等保存在场景地图中，这样可以得到预设的场景地图。

本申请实施例提供的目标跟踪方法，在执行目标跟踪的跟踪线程未完成初始化时，可以将该当前图像帧输入到校正线程执行位姿计算，得到当前图像帧的位姿信息以及当前图像帧中的匹配成功特征点的坐标信息，进而可以将当前图像帧标记为关键图像帧，并将当前图像帧的位姿信息以及当前图像帧中的匹配成功特征点的坐标信息保存在场景地图中。该技术方案中，通过校正线程确定当前图像帧的特征点的坐标信息，其为后续目标跟踪对象的持续跟踪提供了实现基础。

综合上述各实施例的记载可知，本申请实施例提供目标跟踪方法，针对现有技术中跟踪任务的跟踪的特征点较少，导致跟踪精确度不高，以及当目标平面物体暂时离开摄像头的视线范围，存在跟踪失败、无法实现持续跟踪的问题，本方案中，通过在跟踪任务中加入背景环境中特征点，在计算图像的6DoF位姿时融合纹理较为丰富的背景环境特征，提高了跟踪任务的跟踪精度，解决了由于目标平面物体的屏占比较小、或纹理不丰富导致跟踪精度不高的问题；另外，通过增加了背景环境中的特征点，在目标平面物体暂时离开屏幕时，也可以实现持续的跟踪，提高了跟踪的持续性。

上述介绍了本申请实施例提到的目标跟踪方法的具体实现，下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图6是本申请实施例提供的目标跟踪装置的结构示意图。该装置可以集成在电子设备中，也可以通过电子设备实现。如图6所示，在本实施例中，该目标跟踪装置60可以包括：获取模块601、确定模块602、处理模块603和跟踪模块604。

其中，获取模块601，用于从预设的场景地图中，获取与待处理的当前图像帧最邻近的目标图像帧以及所述目标图像帧上的至少一个特征点的坐标信息，所述场景地图中存储有针对目标跟踪对象采集的至少一个关键图像帧以及每个关键图像帧的位姿信息、各个特征点的坐标信息；

确定模块602，用于确定所述当前图像帧与所述目标图像帧之间的至少一个匹配特征点对以及每个匹配特征点对的权重系数；

处理模块603，用于根据所述至少一个匹配特征点对的坐标信息以及每个特征点对的权重系数，计算所述当前图像帧的位姿信息；

跟踪模块604，用于根据所述当前图像帧的位姿信息，对所述当前图像帧中的目标跟踪对象进行跟踪。

示例性的，在本申请的一种可能设计中，确定模块602，具体用于计算所述当前图像帧与所述目标图像帧之间的特征点匹配关系，确定所述当前图像帧与所述目标图像帧之间的至少一个匹配特征点对，以及根据每个匹配特征点对中所述目标图像帧上的特征点类型和预设的权重赋予规则，确定每个匹配特征点对的权重系数。

示例性的，在本申请的另一种可能设计中，所述目标图像帧上的至少一个特征点包括以下至少之一：

在校正线程中从所述目标图像帧上提取的至少一个特征点；

在建图线程中基于所述目标图像帧上的所述目标跟踪对象提取的至少一个特征点；

在建图线程中基于所述目标图像帧上的背景环境提取的至少一个特征点。

示例性的，在本申请的再一种可能设计中，在所述当前图像帧为关键图像帧时，处理模块603，还用于分别在校正线程、建图线程和跟踪线程中对所述当前图像帧进行特征点处理；

可选的，该装置还包括：存储模块605；

该存储模块605，用于将得到的处理结果分别存储至所述场景地图中。

可选的，在本申请的实施例中，处理模块603，用于分别在校正线程、建图线程和跟踪线程中对所述当前图像帧进行特征点处理，具体为：

处理模块603，具体用于：

将所述当前图像帧输入到所述校正线程中执行特征点提取以及位姿计算，得到第一处理结果，所述第一处理结果包括：所述当前图像帧的位姿信息、所述当前图像帧上的至少一个特征点以及每个特征点的坐标信息；

将所述当前图像帧输入到建图线程中执行特征点提取以及特征点处理，得到第二处理结果，所述第二处理结果包括：所述当前图像帧上目标跟踪对象的至少一个特征点及每个特征点的坐标信息、所述当前图像帧上背景环境的至少一个特征点以及每个特征点的坐标信息；

在所述跟踪线程中，根据所述当前图像帧，对所述场景地图中与所述当前图像帧存在特征点匹配的所有关键图像帧的位姿信息以及每个特征点的坐标信息进行优化更新。

其中，处理模块603，用于将所述当前图像帧输入到建图线程中执行特征点提取以及特征点处理，得到第二处理结果，具体为：

处理模块603，具体用于：

对所述当前图像帧进行特征点提取，得到第一特征点集合；

将所述第一特征点集合中的与所述场景地图中匹配成功的特征点删除，得到第二特征点集合；

根据所述当前图像帧的位姿信息，对所述第二特征点集合进行划分，得到所述目标跟踪对象的至少一个特征点和所述当前图像帧中背景环境的至少一个特征点；

分别计算所述目标跟踪对象的每个特征点的坐标信息和所述当前图像帧中背景环境的每个特征点的坐标信息。

示例性的，在本申请的又一种可能设计中，确定模块602，还用于在获取模块601从预设的场景地图中，获取与待处理的当前图像帧最邻近的目标图像帧以及所述目标图像帧上的至少一个特征点的坐标信息之前，确定执行目标跟踪的跟踪线程已初始化完成，所述初始化完成包括：输入到校正线程的图像位姿计算成功。

可选的，处理模块603，还用于：

在执行目标跟踪的跟踪线程未完成初始化时，将待处理的所述当前图像帧输入到校正线程执行位姿计算，得到所述当前图像帧的位姿信息以及所述当前图像帧中的匹配成功特征点的坐标信息，所述匹配成功特征点是所述当前图像帧上所述目标跟踪对象对应的所有特征点中与预先提取的目标跟踪对象的特征点匹配成功的特征点；

将所述当前图像帧标记为关键图像帧，并将所述当前图像帧的位姿信息以及所述当前图像帧中的匹配成功特征点的坐标信息保存在所述场景地图中。

本申请实施例提供的装置，可用于执行图2至图5所示实施例中的方法，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

进一步的，根据本申请的实施例，本申请还提供了一种电子设备和一种计算机可读存储介质。

图7是用来实现本申请实施例的目标跟踪方法的电子设备的框图。该电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。可选的，图7中以一个处理器701为例进行说明。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的目标跟踪方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的目标跟踪方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的目标跟踪方法对应的程序指令/模块(例如，附图6所示的获取模块601、确定模块602、处理模块603和跟踪模块604)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的目标跟踪方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据目标跟踪的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至目标跟踪的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

目标跟踪方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与目标跟踪的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

进一步的，本申请还提供了一种目标跟踪方法，包括：

根据本申请实施例的技术方案，通过根据从预设的场景地图中获取到的目标图像帧，进而可以基于该目标图像帧上的多个特征点的坐标信息，计算当前图像帧的位姿信息，从而能够根据当前图像帧的位姿信息，实现对当前图像帧中的目标跟踪对象的跟踪。该技术方案，可以结合场景地图中存储的关键帧以及关键帧的位姿信息以及特征点信息，确定当前图像帧的位姿信息以及匹配特征点对的权重系数，从而能够确定出当前图像帧的准确位姿信息，进而提高了目标跟踪的跟踪精度。

根据本申请的实施例，本申请还提供了一种计算机程序产品，包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行前述任一方法实施例的方案。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims

1.一种目标跟踪方法，包括：

2.根据权利要求1所述的方法，其中，所述确定所述当前图像帧与所述目标图像帧之间的至少一个匹配特征点对以及每个匹配特征点对的权重系数，包括：

计算所述当前图像帧与所述目标图像帧之间的特征点匹配关系，确定所述当前图像帧与所述目标图像帧之间的至少一个匹配特征点对；

根据每个匹配特征点对中所述目标图像帧上的特征点类型和预设的权重赋予规则，确定每个匹配特征点对的权重系数。

3.根据权利要求1所述的方法，其中，所述目标图像帧上的至少一个特征点包括以下至少之一：

在校正线程中从所述目标图像帧上提取的至少一个特征点；

4.根据权利要求1-3任一项所述的方法，在所述当前图像帧为关键图像帧时，所述方法还包括：

分别在校正线程、建图线程和跟踪线程中对所述当前图像帧进行特征点处理，并将得到的处理结果分别存储至所述场景地图中。

5.根据权利要求4所述的方法，其中，所述分别在校正线程、建图线程和跟踪线程中对所述当前图像帧进行处理，包括：

6.根据权利要求5所述的方法，其中，所述将所述当前图像帧输入到建图线程中执行特征点提取以及特征点处理，得到第二处理结果，包括：

对所述当前图像帧进行特征点提取，得到第一特征点集合；

7.根据权利要求1-3、5-6任一项所述的方法，其中，在所述从预设的场景地图中，获取与待处理的当前图像帧最邻近的目标图像帧以及所述目标图像帧上的至少一个特征点的坐标信息之前，所述方法还包括：

确定执行目标跟踪的跟踪线程已初始化完成，所述初始化完成包括：输入到校正线程的图像位姿计算成功。

8.根据权利要求7所述的方法，还包括：

在确定执行目标跟踪的跟踪线程未完成初始化时，将待处理的所述当前图像帧输入到校正线程执行位姿计算，得到所述当前图像帧的位姿信息以及所述当前图像帧中的匹配成功特征点的坐标信息，所述匹配成功特征点是所述当前图像帧上所述目标跟踪对象对应的所有特征点中与预先提取的目标跟踪对象的特征点匹配成功的特征点；

9.一种目标跟踪装置，包括：获取模块、确定模块、处理模块和跟踪模块；

10.根据权利要求9所述的装置，其中，所述确定模块，具体用于计算所述当前图像帧与所述目标图像帧之间的特征点匹配关系，确定所述当前图像帧与所述目标图像帧之间的至少一个匹配特征点对，以及根据每个匹配特征点对中所述目标图像帧上的特征点类型和预设的权重赋予规则，确定每个匹配特征点对的权重系数。

11.根据权利要求9所述的装置，其中，所述目标图像帧上的至少一个特征点包括以下至少之一：

在校正线程中从所述目标图像帧上提取的至少一个特征点；

12.根据权利要求9-11任一项所述的装置，在所述当前图像帧为关键图像帧时，所述处理模块，还用于分别在校正线程、建图线程和跟踪线程中对所述当前图像帧进行特征点处理；

所述装置还包括：存储模块；

所述存储模块，用于将得到的处理结果分别存储至所述场景地图中。

13.根据权利要求12所述的装置，其中，所述处理模块，用于分别在校正线程、建图线程和跟踪线程中对所述当前图像帧进行特征点处理，具体为：

所述处理模块，具体用于：

14.根据权利要求13所述的装置，其中，所述处理模块，用于将所述当前图像帧输入到建图线程中执行特征点提取以及特征点处理，得到第二处理结果，具体为：

所述处理模块，具体用于：

对所述当前图像帧进行特征点提取，得到第一特征点集合；

15.根据权利要求9-11、13-14任一项所述的装置，其中，所述确定模块，还用于在所述获取模块从预设的场景地图中，获取与待处理的当前图像帧最邻近的目标图像帧以及所述目标图像帧上的至少一个特征点的坐标信息之前，确定执行目标跟踪的跟踪线程已初始化完成，所述初始化完成包括：输入到校正线程的图像位姿计算成功。

16.根据权利要求15所述的装置，所述处理模块，还用于：

17.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。