CN109255802B - 行人跟踪方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种行人跟踪方法、装置、终端设备及存储介质，所述方法包括：获取原始图像，采用行人检测算法获取原始图像中的行人图像，得到M个待跟踪行人包括跟踪区域；获取目标跟踪行人信息，包括N个行人标识和行人标识对应的行人区域，计算跟踪区域和其他跟踪区域之间的位置状态关系，以及跟踪区域在原始图像中的边缘状态关系；根据位置状态关系和边缘状态关系得到对应的待跟踪行人的行人视觉状态；根据待跟踪行人的行人视觉状态获取对应的行人跟踪算法；采用行人跟踪算法对跟踪区域和行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果，所述行人跟踪方法通过采用对应的行人跟踪算法进行匹配跟踪，提高了行人跟踪算方法的精度。

Description

行人跟踪方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种行人跟踪方法、装置、计算机设备及存储介质。

背景技术

行人跟踪系统在很多领域都有很大的作用，如安防领域，交通控制等。然而，由于行人的快速变化和运动的复杂性，使得多人跟踪非常困难。现有的多人跟踪系统中，各种改进算法均集中在用一种算法来提升效果，在行人发生遮挡，和彼此之间有交叉时，检测精度往往很难让人满意。

发明内容

本发明实施例提供一种行人跟踪方法、装置、计算机设备及存储介质，以解决行人跟踪方法精度较低的问题。

一种行人跟踪方法，包括：

获取原始图像，采用行人检测算法获取所述原始图像中的行人图像，得到M个待跟踪行人，每一所述待跟踪行人包括跟踪区域，其中，M为正整数；

获取目标跟踪行人信息，其中，目标跟踪行人信息包括N个行人标识和每一所述行人标识对应的行人区域，其中，N为正整数；

计算每一所述跟踪区域和其他跟踪区域之间的位置状态关系，以及每一跟踪区域在所述原始图像中的边缘状态关系；

根据所述位置状态关系和所述边缘状态关系得到对应的每一所述待跟踪行人的行人视觉状态；

根据每一所述待跟踪行人的所述行人视觉状态获取对应的行人跟踪算法；

采用所述行人跟踪算法对所述跟踪区域和每一所述行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果。

一种行人跟踪装置，包括：

原始图像获取模块，用于获取原始图像，采用行人检测算法获取所述原始图像中的行人图像，得到M个待跟踪行人，每一所述待跟踪行人包括跟踪区域，其中，M为正整数；

目标跟踪行人获取模块，用于获取目标跟踪行人信息，其中，目标跟踪行人信息包括N个行人标识和每一所述行人标识对应的行人区域，其中，N为正整数；

状态关系计算模块，用于计算每一所述跟踪区域和其他跟踪区域之间的位置状态关系，以及每一跟踪区域在所述原始图像中的边缘状态关系；

行人视觉状态获取模块，用于根据所述位置状态关系和所述边缘状态关系得到对应的每一所述待跟踪行人的行人视觉状态；

行人跟踪算法获取模块，用于根据每一所述待跟踪行人的所述行人视觉状态获取对应的行人跟踪算法；

行人跟踪结果获取模块，用于采用所述行人跟踪算法对所述跟踪区域和每一所述行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述行人跟踪方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述行人跟踪方法的步骤。

上述行人跟踪方法、装置、计算机设备及存储介质，首先采用行人检测算法获取原始图像中的行人图像，得到M个待跟踪行人，包括跟踪区域，然后获取目标跟踪行人信息，包括N个行人标识和每一行人标识对应的行人区域，使得每一行人在任意一个摄像机视野中编号唯一，从而方便辨识。计算每一所跟踪区域和其他跟踪区域之间的位置状态关系，以及每一跟踪区域在原始图像中的边缘状态关系，接着根据位置状态关系和边缘状态关系得到对应的每一待跟踪行人的行人视觉状态，通过分析跟踪行人的行人视觉状态，再根据每一待跟踪行人的行人视觉状态获取对应的行人跟踪算法，采用合适的行人跟踪算法，从而提高了跟踪匹配过程的匹配准确率，最后采用行人跟踪算法对跟踪区域和每一行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果，提高了行人跟踪的准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的行人跟踪方法的应用环境示意图；

图2是本发明实施例提供的行人跟踪方法一示例图；

图3是本发明实施例提供的行人跟踪方法的另一示例图；

图4是本发明实施例提供的行人跟踪方法的另一示例图；

图5是本发明实施例提供的行人跟踪方法的另一示例图；

图6是本发明实施例提供的行人跟踪方法的另一示例图；

图7是本发明实施例提供的行人跟踪方法的另一示例图；

图8是本发明实施例提供的行人跟踪装置的一原理框图；

图9是本发明实施例提供的计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的行人跟踪方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信，服务端接收客户端发送的原始图像，对该原始图像进行检测，得到待跟踪行人的跟踪区域，然后获取目标跟踪行人信息，进而计算跟踪区域的位置状态关系和边缘状态关系，根据得到的位置状态关系和边缘状态关系选取对应的行人跟踪算法对跟踪区域进行跟踪，得到行人跟踪结果。其中，客户端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，以该方法应用于图1中的服务端为例进行说明，包括如下步骤：

S10：获取原始图像，采用行人检测算法获取原始图像中的行人图像，得到M个待跟踪行人，每一待跟踪行人包括跟踪区域，其中，M为正整数。

其中，原始图像是指摄像头拍摄的连续多帧图像中的任意一帧图像。行人图像是指原始图像中包含有行人的图像。可以理解地，一帧图像中可能没有行人(如原始图像都是背景)，也可能有多个行人(如M个待跟踪行人)，跟踪区域是指每个待跟踪行人所在的具有规则形状的区域，具体地，跟踪区域是依据场景需要进行框选得到的区域，如矩形区域或者圆形区域等。本实施例中，跟踪区域是框选出待跟踪行人对应的最小外接矩形。值得说明的是，最小外接矩形是指以给定行人图像所在的区域对应的各顶点中的最大横坐标、最小横坐标、最大纵坐标和最小纵坐标定下边界的矩形，通过最小外接矩形框选行人区域，能够完整得获取包含行人图像的丰富细节特征。本实施例中，M个待跟踪行人对应M个跟踪区域，其中，M为正整数。

在一具体实施方式中，原始图像是从一个视频序列中获取得到的，客户端可以从视频序列中获取原始图像，再将原始图像发送到服务端，也可以直接将视频序列发送到服务端，服务端再从视频序列中获取原始图像，再采用行人检测算法对原始图像进行检测，得到M个待跟踪行人。

其中，行人检测算法是指通过检测来判断图像或者视频序列中是否存在行人并给予精确定位的算法。具体地，行人检测算法可以是人工提取特征的行人检测算法，也可以基于神经网络的行人检测算法，还可以是基于深度学习的行人检测算法，优选地，本实施例中采用基于深度学习的行人检测算法。

S20：获取目标跟踪行人信息，其中，目标跟踪行人信息包括N个行人标识和每一行人标识对应的行人区域，其中，N为正整数。

其中，目标跟踪行人是指预先选取的目标行人的图像，用来与待跟踪行人进行跟踪匹配。可以理解地，监控视频下通常有多个行人，因此，目标跟踪行人指多个行人，行人标识是用于对目标跟踪行人进行的唯一性标识，每个目标跟踪行人对应一标识。该标识可以是编号，也可以是每一行人的昵称等，对每一目标跟踪行人进行标识，使得每一行人在任意一个摄像机视野中编号唯一，从而方便辨识。例如，在A摄像机下的8个目标跟踪行人的行人标识可分别为1，2…7，8。可选地，目标跟踪行人信息可以是从视频序列中原始图像的上一帧图像采集到的行人图像对应的行人信息，还可以是预先建立的需要进行跟踪的行人信息。

行人区域是指每个目标跟踪行人所在的具有规则形状的区域，具体地，依据场景需要进行框选得到的区域。值得说明的是，本实施例中的行人区域的框选方法与步骤S10中的待跟踪区域的框选方法一致，即都是框选出待跟踪行人和目标行人的最小外接矩形。

S30：计算每一跟踪区域和其他跟踪区域之间的位置状态关系，以及每一跟踪区域在原始图像中的边缘状态关系。

其中，位置状态关系是用于判断待处理区域之间是否存在遮挡关系的指标。具体地，本实施例中的位置状态关系是通过计算每一跟踪区域与其他跟踪区域的相互位置关系，从而获取每一跟踪区域和其他跟踪区域之间是否存在遮挡关系的结果。可以理解地，位置状态关系对行人跟踪的效果会产生直接影响，例如，若跟踪区域存在遮挡，显然会对跟踪匹配产生一定的影响，如果仅仅采用传统的跟踪算法(Meanshift算法或者Camshift算法)，由于遮挡区域的信息干扰会降低行人跟踪的准确率。

值得说明的是，计算每一跟踪区域和其他跟踪区域之间的位置状态关系，是指针对每个跟踪区域，计算该跟踪区域与剩余所有跟踪区域的位置状态关系。

例如，在一具体实施方式中，共存在4个跟踪区域，分别为区域1、区域2、区域3和区域4，针对区域1，计算区域1与区域2、区域1与区域3、区域1与区域4的位置状态关系，此时区域1为跟踪区域，区域2、区域3和区域4为其他跟踪区域。

其中，边缘状态关系是用于判断待处理的区域是否位于所在图像的边缘的指标。具体地，本实施例中的边缘状态关系是通过计算每一跟踪区域在原始图像中的位置，从而获取每一跟踪区域在原始图像中是否从位于图像的边缘的结果。本实施例中，通过计算位置状态关系和边缘状态关系，以便后续根据位置状态关系和边缘状态关系选取合适的行人跟踪算法对跟踪区域进行跟踪匹配，提高后续行人跟踪的准确率。

本实施例中，通过计算分析每一跟踪区域的位置状态关系和边缘状态关系，以便后续根据两种状态的组合，采用高效的行人跟踪算法进行匹配跟踪，提高行人跟踪准确率。

S40：根据位置状态关系和边缘状态关系得到对应的每一待跟踪行人的行人视觉状态。

其中，行人视觉状态是指位置状态关系和边缘状态关系的这两种状态关系的组合形成的状态，例如，某个跟踪区域的位置状态关系有J和K两种，边缘状态关系有X和Y两种，这个跟踪区域的对应的行人视觉状态可能有JX、JY、KX和KY这四种。例如，行人视觉状态可能是有遮挡，也有可能是无遮挡并从边缘进入等。通过比较待跟踪行人以及目标跟踪行人的实时位置关系判断待跟踪行人的行人视觉状态。通过分析跟踪行人的行人视觉状态，以便针对不同行人视觉状态采用合适的行人跟踪算法对跟踪区域进行跟踪匹配，从而提高行人跟踪的准确率。

S50：根据每一待跟踪行人的行人视觉状态获取对应的行人跟踪算法。

其中，行人跟踪算法是指对行人的运动轨迹进行跟踪的算法。行人算法有多种，每种行人跟踪算法都有各自的适应场景。具体地，每一行人状态对应一种行人跟踪算法，通过分析每一待跟踪行人的行人视觉状态，针对不同的行人视觉状态选取合适的行人跟踪算法对跟踪区域进行跟踪匹配，通过采用合适的行人跟踪算法，从而提高了跟踪匹配过程的匹配准确率。

S60：采用行人跟踪算法对跟踪区域和每一行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果。

具体地，通过将跟踪区域和每一行人标识对应的行人区域采用相对应的行人跟踪算法进行匹配跟踪。若能匹配成功，则获取匹配成功的行人区域对应的行人标识，作为行人跟踪结果，若未能匹配成功，则行人跟踪结果可以为跟踪失败。由于对每个跟踪区域和每一行人标识对应的行人区域采用相对应的行人跟踪算法进行匹配跟踪，从而保证了复杂状态下(如交叉遮挡的行人视觉状态下)也能够获得较高精度的跟踪结果，提高了行人跟踪的准确率。

本实施例中，首先采用行人检测算法获取原始图像中的行人图像，得到M个待跟踪行人，包括跟踪区域，然后获取目标跟踪行人信息，包括N个行人标识和每一行人标识对应的行人区域，使得每一行人在任意一个摄像机视野中编号唯一，从而方便辨识。计算每一所跟踪区域和其他跟踪区域之间的位置状态关系，以及每一跟踪区域在原始图像中的边缘状态关系，接着根据位置状态关系和边缘状态关系得到对应的每一待跟踪行人的行人视觉状态，通过分析跟踪行人的行人视觉状态，再根据每一待跟踪行人的行人视觉状态获取对应的行人跟踪算法，采用合适的行人跟踪算法，从而提高了跟踪匹配过程的匹配准确率，最后采用行人跟踪算法对跟踪区域和每一行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果，提高了行人跟踪的准确率。

在一实施例中，每一跟踪区域包括位置参数和坐标参数，原始图像包括原始图像阈值参数；

其中，位置参数是指每一跟踪区域的尺寸的参数，如跟踪区域的宽度大小和高度大小。坐标参数是指每一跟踪区域的坐标的参数，如边缘坐标和中心坐标。原始图像阈值参数是指用于判断跟踪区域的边缘状态关系的临界值的参数，如原始图像的左边距阈值和右边距阈值。

在这个实施例中，如图3所示，步骤S30中，计算每一跟踪区域和其他跟踪区域之间的位置状态关系，以及每一跟踪区域在原始图像中的边缘状态关系，包括：

S31：根据位置参数和坐标参数获取每一待跟踪行人和其他待跟踪行人的位置状态关系，其中，位置状态关系包括有遮挡和无遮挡。

具体地，通过对每一跟踪区域的位置参数和坐标参数进行计算比较，得到每一待跟踪行人和其他待跟踪行人的位置状态关系。例如，若原始图像中包括3个待跟踪行人A、B和C，则该步骤即为一一计算一个待跟踪行人(A)和另外两个待跟踪行人(B和C)的位置状态关系。需要说明的是，由于原始图像都是在相同的视频序列中获取的，因此，每一幅原始图像的分辨率都是一样，例如1080x720。可理解地，原始图像的尺寸也是一致的。并且每一个检测出的待跟踪行人都是该原始图像中一个区域的子图。即跟踪区域有相对于原始图像的坐标信息和位置信息(自身的尺寸信息)，如宽和高为120x60的位置参数，左上角位置为(800,500)和右下角位置为(820，560)的坐标参数。

具体地，跟踪区域在原始图像水平方向上的目标位置(最小外接矩形)的最小值、最大值(最小外接矩形的左上角对应的横坐标、右下角对应的横坐标坐标)分别表示为min_x_M，max_x_M,跟踪区域在原始图像垂直方向上的目标位置(最小外接矩形)的最小值、最大值(最小外接矩形的左上角对应的纵坐标、右下角对应的纵坐标)分别表示为min_y_M，max_y_M,由此可以得到跟踪区域对应的最小外接矩形的宽度width_M、高度height_M和中心位置坐标(x_M,y_M)，其中x_M＝(max_x_M+min_x_M)/2，y_M＝(max_y_M+min_y_M)/2。其他跟踪区域的中心位置坐标计算方法与上述描述方法一致。

具体地，以原始图像中包括3个待跟踪行人A、B和C为例，待跟踪行人A的跟踪区域的位置参数包括区域宽度width_A和区域高度height_A，坐标参数包括中心坐标(x_A,y_A)，左上角对应的坐标(min_x_A，min_y_A)，右下角对应的坐标为(max_x_A，max_y_A)，其中，x_A＝(max_x_A+min_x_A)/2，y_A＝(max_y_A+min_y_A)/2；

待跟踪行人B的跟踪区域的位置参数包括区域宽度width_B和区域高度height_B，坐标参数包括中心坐标(x_B,y_B)，左上角对应的坐标(min_x_B，min_y_B)，右下角对应的坐标为(max_x_B，max_y_B)，其中，x_B＝(max_x_B+min_x_B)/2，y_B＝(max_y_B+min_y_B)/2；

若待跟踪行人A与待跟踪行人B的中心坐标分别为(x_A,y_A)、(x_B,y_B)，待跟踪行人A的跟踪区域对应的宽度和高度分别为width_A、height_A，待跟踪行人B的跟踪区域对应的宽度和高度分别为width_B、height_B。采用如下不等式对待跟踪行人A和待跟踪行人B进行位置状态识别，得到位置状态关系，若二者的中心坐标位置满足如下不等式(1)，则可以确定发生遮挡：

具体地，若位置参数和坐标参数不满足不等式(1)，则说明待跟踪行人A和待跟踪行人B的位置状态关系为无遮挡，若位置参数和坐标参数满足不等式(1)，则说明待跟踪行人A和待跟踪行人B的位置状态关系为有遮挡。

根据上述方式再确定待跟踪行人A和待跟踪行人C的位置状态关系。可以理解地，若待跟踪行人A与待跟踪行人B和待跟踪行人C中任意一个的位置状态关系为有遮挡，则待跟踪行人A的位置状态关系则为有遮挡。若待跟踪行人A与待跟踪行人B和待跟踪行人C中的位置状态关系均为无遮挡，则待跟踪行人A的位置状态关系则为无遮挡。

在获取了待跟踪行人A的位置状态关系之后，再对待跟踪行人B以及待跟踪行人C执行上述相似的过程，即得到每一待跟踪行人的跟踪区域的位置状态关系。

S32：根据坐标参数和原始图像阈值参数获取每一待跟踪行人的边缘状态关系，其中，边缘状态关系包括边缘进入和中间进入。

其中，边缘进入是指待跟踪行人位于原始图像的边缘的一种边缘状态关系，可以理解地，若指待跟踪行人的边缘状态关系是边缘进入，则该待跟踪像人的特征信息显示不完整。中间进入是指待跟踪行人位于原始图像的非边缘的一种边缘状态关系。可以理解地，若指待跟踪行人的边缘状态关系是中间进入，则该待跟踪行人的特征信息显示完整。具体地，若待跟踪行人B的跟踪区域在原始图像的水平方向上的目标位置(最小外接矩形)的最小值或者最大值满足下述不等式(2)，则可以确定待跟踪行人B是从边缘方向进入：

min_x_M≥αor max_x_M≤λ(2)；

式中，α、λ分别为原始图像的左边距阈值和原始图像的右边距阈值，该阈值大小依原始图像的分辨率及跟踪区域情况而定，此处不做限制。

本实施例中，根据图片和尺寸信息，可以得到被检测出来的行人处于摄像机视野中的位置，以及跟其他被检测出的行人直接的关系。再结合之前行人的位置可以判断出当前行人的状态。

在一实施例中，如图4所示，步骤S40中，根据位置状态关系和边缘状态关系得到对应的每一待跟踪行人的行人视觉状态，包括：

S41：若确定位置状态关系为无遮挡，且边缘状态关系为中间进入，则对应的待跟踪行人的行人视觉状态为第一视觉状态。

其中，第一视觉状态是指待跟踪行人的跟踪区域的位置状态关系为无遮挡，且边缘状态关系为中间进入。具体地，当跟踪区域的位置参数和坐标参数以及其他跟踪区域的位置参数和坐标参数不满足不等式(1)且不满足不等式(2)，则待跟踪行人的行人视觉状态为第一视觉状态。

S42：若确定位置状态关系为无遮挡，且边缘状态关系为边缘进入，则对应的待跟踪行人的行人视觉状态为第二视觉状态。

其中，第二视觉状态是指待跟踪行人的跟踪区域的位置状态关系为无遮挡，且边缘状态关系为边缘进入。具体地，当跟踪区域的位置参数和坐标参数以及其他跟踪区域的位置参数和坐标参数不满足不等式(1)且满足不等式(2)，则待跟踪行人的行人视觉状态为第二视觉状态。

S43：若确定位置状态关系为有遮挡，则对应的待跟踪行人的行人视觉状态为第三视觉状态。

其中，第三视觉状态是指待跟踪行人的跟踪区域的位置状态关系为有遮挡。具体地，当跟踪区域的位置参数和坐标参数以及其他跟踪区域的位置参数和坐标参数满足不等式(1)则待跟踪行人的行人视觉状态为第三视觉状态。

本实施例中，通过结合位置状态关系和边缘状态关系的组合情况，得到了三种行人视觉状态，充分考虑了每一跟踪行人的行人视觉状态，以便后续对跟踪区域的进一步跟踪处理。

在一实施例中，如图5所示，步骤S50中，根据每一待跟踪行人的行人视觉状态获取对应的行人跟踪算法，包括：

S51：若确定待跟踪行人的行人视觉状态为第一视觉状态，则获取的行人跟踪算法为卡尔曼滤波跟踪算法。

其中，卡尔曼滤波跟踪算法是指采用卡尔曼滤波的理论对跟踪区域进行滤波处理后再进行匹配跟踪的算法。可以理解地，当跟踪行人的行人视觉状态为第一视觉状态，即位置状态关系为无遮挡，且边缘状态关系为中间进入，该跟踪区域是处于较理想的行人视觉状态，因此采用传统的跟踪算法对每一待跟踪行人进行匹配跟踪，通过简单的行人跟踪算法在保证取得较好效果的情况下还能提高行人跟踪的处理速度。

S52：若确定待跟踪行人的行人视觉状态为第二视觉状态，则获取的行人跟踪算法为行人重识别算法。

其中，行人重识别算法用于查找行人在某个区域是否出现的一种图像检索算法。具体地，通过对跟踪区域和每一行人区域进行匹配识别，从而得到待跟踪行人的跟踪结果。可以理解地，当跟踪行人的行人视觉状态为第二视觉状态，即位置状态关系为无遮挡，且边缘状态关系为边缘进入，该种行人视觉状态下，有可能跟踪区域的信息不完整，通过行人重识别算法中充分利用跟踪区域的局部特征信息进行匹配跟踪，由于利用局部特征信息的情况下，不需要完整信息，因此该行人重识别算法能够提高跟踪匹配的准确率。

S53：若确定待跟踪行人的行人视觉状态为第三视觉状态，则获取的行人跟踪算法为卡尔曼滤波跟踪算法与行人重识别算法结合的算法。

其中，卡尔曼滤波跟踪算法与行人重识别算法结合的算法是指先采用卡尔曼滤波跟踪算法对跟踪区域进行匹配获取无遮挡区域然后对无遮挡区域采用行人重识别算法进行跟踪的算法。可以理解地，当待跟踪行人的行人视觉状态为第三视觉状态，即位置状态关系为有遮挡，则在遮挡区域会产生干扰信息，影响跟踪效果。因此通过卡尔曼滤波跟踪算法中的卡尔曼滤波理论去除干扰信息，得到跟踪区域中的无遮挡区域，而无遮挡区域可能特征信息不完整，通过行人重识别算法中充分利用跟踪区域的局部特征信息进行匹配跟踪，由于利用局部特征信息的情况下，不需要完整信息，所以该行人重识别算法能够提高跟踪匹配的识别率。因此，卡尔曼滤波跟踪算法与行人重识别算法结合的算法提高了行人跟踪效果。

在一实施例中，若待跟踪行人的行人视觉状态为第二视觉状态，则采用行人重识别算法对跟踪区域和每一行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果。

在这个实施例中，如图6所示，步骤S60中，采用行人跟踪算法对跟踪区域和每一行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果，包括：

S61：将跟踪区域按照预设方式进行分块，得到跟踪图像块，并对每一跟踪图像块进行特征提取，得到跟踪区域的跟踪特征向量。

其中，预设方式是指预先设定的分块方式，如对跟踪区域水平划分的分块方式或者对跟踪区域垂直划分的分块方式。跟踪图像块是指将跟踪区域按照预设方式进行分块后得到的图像块。跟踪特征向量是指对每个跟踪图像块进行特征提取后得到的特征向量，可以理解地，跟踪图像块是跟踪区域的局部区域，跟踪区域是图像的全部区域，通过提取跟踪图像块的特征向量，能够更加凸显跟踪区域的局部细节特征，提高了后续行人重识别的准确率，同时在分块后，得到跟踪区域的特征向量，即跟踪区域的全局特征，可以较好地结合跟踪区域的局部特征和全局特征的优点。

本实施例中，通过对跟踪区域分块再进行特征提取，以便得到多个局部特征，由于局部特征更能凸显行人的细节特征，从而有利于提高后续行人重识别的准确率。

S62：将每一行人区域按照预设方式进行分块，得到目标图像块，并对每一目标图像块进行特征提取，得到行人区域的目标特征向量。

其中，目标图像块是指将行人区域进行分块后得到的图像块。目标特征向量是指对每个目标图像块进行特征提取后得到的特征向量。值得说明的是，本实施例中的特征提取方法与步骤S61中的特征提取方法相同，并且进行分块的方式都是按照预设方式进行分块，以保证跟踪区域和行人区域在识别过程的度量标准一致，提高识别准确度。

S63：计算跟踪特征向量和每一目标特征向量的向量相似度。

其中，向量相似度是指两幅图像内容的相似程度，用于对两幅图像之间内容的相似程度进行打分，根据分数的高低来判断图像内容的相近程度。具体地，计算每一跟踪图像块的特征向量和每一行人标识对应的每个目标图像块的特征向量的标准距离，可以理解地，若跟踪区域和行人区域都分成了N块，其中，N为正整数，按照分块的方式计算对应的跟踪图像块的特征向量和目标图像块的特征向量的标准距离。将得到的N个标准距离乘以各自权值后进行求和运算，得到跟踪特征向量和每一目标特征向量的向量相似度。通过结合跟踪区域和行人区域的全局和局部特征向量的优点，提高了跟踪区域与行人区域的匹配跟踪过程中的匹配的准确率。

S64：将每一向量相似度与阈值相似度进行比较，若任一向量相似度大于或者等于阈值相似度，则将该向量相似度对应的行人标识，作为行人跟踪结果。

其中，阈值相似度用于判断行人区域中是否包含跟踪区域的临界值。具体地，若向量相似度大于或者等于阈值相似度，则将该向量相似度对应的行人标识，作为行人跟踪结果。

S65：若向量相似度均小于阈值相似度，则行人跟踪结果为跟踪失败。

具体地，若向量相似度小于阈值相似度，则得到的行人跟踪结果为跟踪失败。

本实施例中，通过对行人区域和跟踪区域分块再进行特征提取，以便得到多个局部特征，由于局部特征更能凸显行人的细节特征，并且充分结合了跟踪区域和行人的局部特征和全局特征的优点，然后计算跟踪特征向量和每个目标图像特征向量的向量相似度，最后将向量相似度与阈值相似度进行比较，获取更为准确的识别结果。

在一实施例中，如图7所示，若待跟踪行人的行人视觉状态为第三视觉状态，则采用则采用卡尔曼滤波跟踪算法与行人重识别算法结合的算法对跟踪区域和每一行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果，包括：

S61’：采用卡尔曼滤波跟踪算法对跟踪区域进行匹配跟踪，得到跟踪区域的无遮挡区域。

其中，无遮挡区域是指去掉跟踪与区域与其他跟踪区域之间的遮挡区域后的区域。具体地，通过卡尔曼滤波跟踪算法中的卡尔曼滤波对跟踪区域进行滤波处理，从而得到准确的无遮挡区域。

S62’：对无遮挡区域和每一行人标识对应的行人区域采用行人重识别算法进行匹配跟踪，得到跟踪结果。

具体地，对无遮挡区域和行人区域采用行人重识别算法进行跟踪，具体地，将其中的无遮挡区域和行人区域采用步骤S61-步骤S65的方法进行匹配识别，得到匹配结果后，并依据行人标识进行判断，进而得到跟踪结果。

本实施例中，首先采用卡尔曼滤波跟踪算法对跟踪区域进行匹配跟踪，得到准确无遮挡区域，然后采用行人重识别算法对无遮挡区域进行跟踪，得到跟踪结果，很好地克服了交叉遮挡降低行人跟踪效果的问题。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种行人跟踪装置，该行人跟踪装置与上述实施例中行人跟踪方法一一对应。如图8所示，该行人跟踪装置包括原始图像获取模块10、目标跟踪行人获取模块20、状态关系计算模块30、行人视觉状态获取模块40、行人跟踪算法获取模块50和行人跟踪结果获取模块60。各功能模块详细说明如下：

原始图像获取模块10，用于获取原始图像，采用行人检测算法获取原始图像中的行人图像，得到M个待跟踪行人，每一待跟踪行人包括跟踪区域，其中，M为正整数；

目标跟踪行人获取模块20，用于获取目标跟踪行人信息，其中，目标跟踪行人信息包括N个行人标识和每一行人标识对应的行人区域，其中，N为正整数；

状态关系计算模块30，用于计算每一跟踪区域和其他跟踪区域之间的位置状态关系，以及每一跟踪区域在原始图像中的边缘状态关系；

行人视觉状态获取模块40，用于根据位置状态关系和边缘状态关系得到对应的每一待跟踪行人的行人视觉状态；

行人跟踪算法获取模块50，用于根据每一待跟踪行人的行人视觉状态获取对应的行人跟踪算法；

行人跟踪结果获取模块60，用于采用行人跟踪算法对跟踪区域和每一行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果。

具体地，每一跟踪区域包括位置参数和坐标参数，原始图像包括原始图像阈值参数；状态关系计算模块包括位置状态关系计算单元31和边缘状态关系计算单元32。

位置状态关系计算单元31，用于根据位置参数和坐标参数获取每一待跟踪行人和其他待跟踪行人的位置状态关系，其中，位置状态关系包括有遮挡和无遮挡；

边缘状态关系计算单元32，用于根据坐标参数和原始图像阈值参数获取每一待跟踪行人的边缘状态关系，其中，边缘状态关系包括边缘进入和中间进入。

具体地，行人视觉状态获取模块包括第一视觉状态获取单元41、第二视觉状态获取单元42和第三视觉状态获取单元43。

第一视觉状态获取单元41，用于若确定位置状态关系为无遮挡，且边缘状态关系为中间进入，则对应的待跟踪行人的行人视觉状态为第一视觉状态；

第二视觉状态获取单元42，用于若确定位置状态关系为无遮挡，且边缘状态关系为边缘进入，则对应的待跟踪行人的行人视觉状态为第二视觉状态；

第三视觉状态获取单元43，用于若确定位置状态关系为有遮挡，则对应的待跟踪行人的行人视觉状态为第三视觉状态。

具体地，行人跟踪算法获取模块包括第一行人跟踪算法获取单元51、第二行人跟踪算法获取单元52和第三行人跟踪算法获取单元53。

第一行人跟踪算法获取单元51，用于若确定待跟踪行人的行人视觉状态为第一视觉状态，则获取的行人跟踪算法为卡尔曼滤波跟踪算法；

第二行人跟踪算法获取单元52，用于若确定待跟踪行人的行人视觉状态为第二视觉状态，则获取的行人跟踪算法为行人重识别算法；

第三行人跟踪算法获取单元53，用于若确定待跟踪行人的行人视觉状态为第三视觉状态，则获取的行人跟踪算法为卡尔曼滤波跟踪算法与行人重识别算法结合的算法。

具体地，行人跟踪结果获取模块60包括跟踪特征向量获取单元61、目标特征向量获取单元62、向量相似度计算单元63、第一行人跟踪结果获取单元64、第二行人跟踪结果获取单元65。

跟踪特征向量获取单元61，用于将跟踪区域按照预设方式进行分块，得到跟踪图像块，并对每一跟踪图像块进行特征提取，得到跟踪区域的跟踪特征向量；

目标特征向量获取单元62，用于将每一行人区域按照预设方式进行分块，得到目标图像块，并对每一目标图像块进行特征提取，得到每一行人区域的目标特征向量；

向量相似度计算单元63，用于计算跟踪特征向量和每一目标特征向量的向量相似度；

第一行人跟踪结果获取单元64，用于将每一向量相似度与阈值相似度进行比较，若任一向量相似度大于或者等于阈值相似度，则将该向量相似度对应的行人标识，作为行人跟踪结果；

第二行人跟踪结果获取单元65，用于若向量相似度均小于阈值相似度，则行人跟踪结果为跟踪失败。

具体地，行人跟踪结果获取模块60包括无遮挡区域获取单元61’和跟踪结果获取单元62’。

无遮挡区域获取单元61’，用于采用卡尔曼滤波跟踪算法对跟踪区域进行匹配跟踪，得到跟踪区域的无遮挡区域；

跟踪结果获取单元62’，用于对无遮挡区域和每一行人标识对应的行人区域采用行人重识别算法进行匹配跟踪，得到跟踪结果。

关于行人跟踪装置的具体限定可以参见上文中对于行人跟踪方法的限定，在此不再赘述。上述行人跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始图像和目标跟踪行人信息。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种行人跟踪方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例行人跟踪方法的步骤，例如图2所示的步骤S10至步骤S60。或者，处理器执行计算机程序时实现上述实施例行人跟踪装置的各模块/单元的功能，例如图8所示的模块10至模块60。为避免重复，这里不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例行人跟踪方法的步骤，或者，计算机程序被处理器执行时实现上述实施例行人跟踪装置的各模块/单元的功能，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (7)

1.一种行人跟踪方法，其特征在于，所述行人跟踪方法包括：

获取原始图像，采用行人检测算法获取所述原始图像中的行人图像，得到M个待跟踪行人，每一所述待跟踪行人设置有跟踪区域，其中，M为正整数；

获取目标跟踪行人信息，其中，目标跟踪行人信息包括N个行人标识和每一所述行人标识对应的行人区域，其中，N为正整数；

计算每一所述跟踪区域和其他跟踪区域之间的位置状态关系，以及每一跟踪区域在所述原始图像中的边缘状态关系；

根据所述位置状态关系和所述边缘状态关系得到对应的每一所述待跟踪行人的行人视觉状态；

根据每一所述待跟踪行人的所述行人视觉状态获取对应的行人跟踪算法；

采用所述行人跟踪算法对所述跟踪区域和每一所述行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果；

每一所述跟踪区域包括位置参数和坐标参数，所述原始图像包括原始图像阈值参数；

所述计算每一所述跟踪区域和其他跟踪区域之间的位置状态关系，以及每一跟踪区域在所述原始图像中的边缘状态关系，包括：

根据所述位置参数和所述坐标参数获取每一待跟踪行人和其他待跟踪行人的所述位置状态关系，其中，所述位置状态关系包括有遮挡和无遮挡；

根据所述坐标参数和所述原始图像阈值参数获取每一待跟踪行人的所述边缘状态关系，其中，所述边缘状态关系包括边缘进入和中间进入；

所述根据所述位置状态关系和所述边缘状态关系得到对应的每一所述待跟踪行人的行人视觉状态，包括：

若确定所述位置状态关系为无遮挡，且所述边缘状态关系为中间进入，则对应的所述待跟踪行人的行人视觉状态为第一视觉状态；

若确定所述位置状态关系为无遮挡，且所述边缘状态关系为边缘进入，则对应的所述待跟踪行人的行人视觉状态为第二视觉状态；

若确定所述位置状态关系为有遮挡，则对应的所述待跟踪行人的行人视觉状态为第三视觉状态。

2.如权利要求1所述的行人跟踪方法，其特征在于，所述根据每一所述待跟踪行人的所述行人视觉状态获取对应的行人跟踪算法，包括：

若确定所述待跟踪行人的所述行人视觉状态为第一视觉状态，则获取的行人跟踪算法为卡尔曼滤波跟踪算法；

若确定所述待跟踪行人的所述行人视觉状态为第二视觉状态，则获取的行人跟踪算法为行人重识别算法；

若确定所述待跟踪行人的所述行人视觉状态为第三视觉状态，则获取的行人跟踪算法为卡尔曼滤波跟踪算法与行人重识别算法结合的算法。

3.如权利要求2所述的行人跟踪方法，其特征在于，若所述待跟踪行人的所述行人视觉状态为第二视觉状态，则所述采用所述行人跟踪算法对所述跟踪区域和每一所述行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果，包括：

将所述跟踪区域按照预设方式进行分块，得到跟踪图像块，并对每一所述跟踪图像块进行特征提取，得到所述跟踪区域的跟踪特征向量；

将每一所述行人区域按照预设方式进行分块，得到目标图像块，并对每一所述目标图像块进行特征提取，得到每一所述行人区域的目标特征向量；

计算所述跟踪特征向量和每一所述目标特征向量的向量相似度；

将每一所述向量相似度与阈值相似度进行比较，若任一所述向量相似度大于或者等于阈值相似度，则将该向量相似度对应的行人标识，作为行人跟踪结果；

若所述向量相似度均小于阈值相似度，则所述行人跟踪结果为跟踪失败。

4.如权利要求3所述的行人跟踪方法，其特征在于，若所述待跟踪行人的所述行人视觉状态为第三视觉状态，则所述采用所述行人跟踪算法对所述跟踪区域和每一所述行人区域进行匹配跟踪，得到行人跟踪结果，包括：

采用卡尔曼滤波跟踪算法对所述跟踪区域进行匹配跟踪，得到所述跟踪区域的无遮挡区域；

对所述无遮挡区域和每一所述行人标识对应的行人区域采用行人重识别算法进行匹配跟踪，得到所述跟踪结果。

5.一种行人跟踪装置，其特征在于，所述行人跟踪装置包括：

原始图像获取模块，用于获取原始图像，采用行人检测算法获取所述原始图像中的行人图像，得到M个待跟踪行人，每一所述待跟踪行人包括跟踪区域，其中，M为正整数；

目标跟踪行人获取模块，用于获取目标跟踪行人信息，其中，目标跟踪行人信息包括N个行人标识和每一所述行人标识对应的行人区域，其中，N为正整数；

状态关系计算模块，用于计算每一所述跟踪区域和其他跟踪区域之间的位置状态关系，以及每一跟踪区域在所述原始图像中的边缘状态关系；

行人视觉状态获取模块，用于根据所述位置状态关系和所述边缘状态关系得到对应的每一所述待跟踪行人的行人视觉状态；

行人跟踪算法获取模块，用于根据每一所述待跟踪行人的所述行人视觉状态获取对应的行人跟踪算法；

行人跟踪结果获取模块，用于采用所述行人跟踪算法对所述跟踪区域和每一所述行人标识对应的行人区域进行匹配跟踪，得到行人跟踪结果；

每一所述跟踪区域包括位置参数和坐标参数，所述原始图像包括原始图像阈值参数；

所述状态关系计算模块包括：

位置状态关系计算单元，用于根据所述位置参数和所述坐标参数获取每一待跟踪行人和其他待跟踪行人的所述位置状态关系，其中，所述位置状态关系包括有遮挡和无遮挡；

边缘状态关系计算单元，用于根据所述坐标参数和所述原始图像阈值参数获取每一待跟踪行人的所述边缘状态关系，其中，所述边缘状态关系包括边缘进入和中间进入；

所述根据所述位置状态关系和所述边缘状态关系得到对应的每一所述待跟踪行人的行人视觉状态，包括：

若确定所述位置状态关系为无遮挡，且所述边缘状态关系为中间进入，则对应的所述待跟踪行人的行人视觉状态为第一视觉状态；

若确定所述位置状态关系为无遮挡，且所述边缘状态关系为边缘进入，则对应的所述待跟踪行人的行人视觉状态为第二视觉状态；

若确定所述位置状态关系为有遮挡，则对应的所述待跟踪行人的行人视觉状态为第三视觉状态。

6.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述行人跟踪方法。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述行人跟踪方法的步骤。