CN109919981B - 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法 - Google Patents

Abstract

一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，首先读取视频帧中的任意两帧图像，将预处理过的图像输入到多目标检测器中，得到视频中各帧的检测结果。引入了目标遮挡机制，该判断机制根据目标中心点的坐标和目标的大小来判断，若被遮挡部分较小或无遮挡时，检测器将检测框的质心坐标和预处理视频帧输入到预训练的卷积神经网络中，提取目标的浅层和深层的语义信息，并级联起来构成特征矩阵，再将两帧的特征矩阵进行相似性估计，得到最优轨迹。如果检测到的目标遮挡情况严重，则将检测框的质心坐标输入到卡尔曼滤波器中，根据目标之前的运动状态来估计该目标在下一帧中的位置信息，用估计的坐标信息和实际检测结果相比对，得出最佳的轨迹。

Description

一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法

技术领域

本发明属于智能视频多目标追踪技术领域，具体涉及一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法。

背景技术

如何构建一个安全和谐的社会治安环境，从而有效保护国家与人民的生命与财产安全，是摆在各国政府面前的一个艰难而又亟待解决的重要课题。视频监控系统是安防系统的重要组成部分，其先通过前端视频采集设备(如摄像头)获取实时的视频帧，然后通过人工浏览或智能视频分析等技术对监控场景进行实时监控，是一种防范能力较强的综合系统。多目标检测与跟踪系统，作为视频分析技术的核心部分，是通过计算机视觉、机器学习、图像处理等技术对视频中的多个运动目标进行可靠稳定检测与跟踪的。目前主要使用的目标检测算法可分为两类，一类是基于背景差分法和帧间差分法等传统的目标检测方法，这类方法运算速度快，对单一不变的背景情况下检测效果较好，但同时易受天气、光线强度的影响，特别是对光线较暗或者有阴影的目标的检测效果较差。另一类是基于深度神经网络的目标检测，主要是基于RegionProposal的目标检测方法，如Fast-RCNN、Faster-RCNN等。

与此同时目前的目标跟踪技术主要存在以下不足：(一)大多是面向半自动的单目标跟踪系统，还需要人工的参与，效率较低且无法满足多个目标的跟踪要求；(二)即使目前已有小部分多目标跟踪系统，但这些系统运算复杂度过高，较难满足视频监控的实时性要求且难以保证跟踪结果的准确性。

发明内容

本发明的目的之一在于提出一种卡尔曼滤波与多特征融合的多目标跟踪方法，提高在视频监控中，在视角、姿态、遮挡等多种干扰因素下，如何较为快速准确的检测到目标并对目标进行跟踪的问题。

一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，所述方法包括以下步骤：

步骤1，将长视频序列中，最大间隔为δ_b的任意两帧图像进行预处理；

步骤2，将预处理后的图像输入到Faster R-CNN多目标检测器中；

步骤3，首先判断Faster R-CNN多目标检测器输出的检测结果的遮挡情况，如果遮挡不严重，将预处理后的两帧图像和检测器所输出的检测框的质心坐标输入到预训练好的卷积神经网络中；如果遮挡严重，将检测器所输出的检测框的质心坐标输入到卡尔曼滤波器中，根据目标之前的运动状态来估计该目标在下一帧中的位置信息，得到估计的坐标信息即质心坐标预测值；

所述卷积神经网络是以ResNet为基础网络，ResNet层之后，通过使用更深层次的卷积层，将超过56×56的feature map的空间维度进行缩减；后使用扩展网络逐渐将feature map缩减到3×3的尺寸，再将提取的feature map进行级联，得到表观特征矩阵；

步骤4，在目标遮挡不严重或未发生遮挡的情况下，利用深度卷积神经网络提取的表观特征矩阵进行相似度估计，得到表观相似度矩阵；在遮挡严重的情况下，利用获取的运动目标的质心坐标检测值和步骤3获取的质心坐标预测值进行指派，得到运动相似度矩阵；

步骤5，利用匈牙利算法，分别将表观相似度矩阵和运动相似度矩阵作为代价矩阵进行数据关联；

步骤6，根据目标遮挡机制，分别利用数据关联矩阵进行轨迹段匹配；

步骤7，利用当前帧完成匹配的检测框更新卡尔曼滤波器，并将当前帧的表观特征矩阵加入到表观特征矩阵集合中，更新表观特征矩阵集合；将未与轨迹段相匹配的检测框初始化一条新的轨迹，设为暂时轨迹段；若连续10帧都能检测到，则将此轨迹段设置为永久轨迹段；将未与检测框相匹配的轨迹段设为暂时状态，继续进行预测，并与下一帧检测结果进行数据关联，并将此轨迹段保留δ_w帧，若该目标连续δ_w帧未被关联，则将该未被关联的预测结果对应的目标的轨迹删除。

进一步地，步骤1中前期数据准备和预处理方法包括：先对图像帧中的每一个像素值进行成比例缩放，转换成HSV格式，并对图片的饱和度进行缩放，转换成RGB格式，再对图片的尺寸进行放大，裁剪；之后将帧的大小统一固定，最后将帧图像对进行水平翻转。

进一步地，步骤2中将预处理后的图像输入到FasterR-CNN多目标检测器中，得到帧图像中的所有目标；并假设每帧图片中最多有 N_m个目标，非真实的目标的特征向量为0向量。

进一步地，步骤3中首先采用遮挡判断机制判断目标遮挡情况，再根据目标遮挡的严重程度分别将检测到的目标输入到不同的网络中；如果目标遮挡不严重或未发生遮挡，则提取物体表观特征，并对提取到的物体的特征进行建模；如果目标发生严重遮挡，初始化卡尔曼滤波器参数，利用卡尔曼滤波器进行多目标跟踪，预测出运动目标在下一帧的质心坐标。

进一步地，步骤4中，利用深度卷积神经网络提取的表观特征矩阵进行相似度估计的具体步骤如下：

步骤4-1，依次计算当前帧图像中的每个目标的表观特征矩阵与前n帧图像中的每个目标之间的表观特征的相似性，利用求到的相似性值建立相似性矩阵；

步骤4-2，分别以当前帧图像中的每个目标和前n帧图像中的每个目标为行和列建立代价矩阵，代价矩阵中每个元素初始值均设置为 0；

步骤4-3，假设每帧最多有N_m个目标，若当前帧t检测到的目标数为m₁,且m₁＜N_m，则增加N_m-m₁列，称为虚构列；若与当前帧相关联的t-n帧有m₂个目标，且m₂＜N_m，则增加N_m-m₂行，称为虚构行；最后可得n个相似度矩阵，并将求到的相似度矩阵保存在一个数组中。其中0≤n≤δ_b；

步骤4-4，确定相似性阈值，根据代价矩阵中每个元素对应的相似性值对所述代价矩阵中的每个元素进行赋值；大于预定阈值的代价矩阵所在的位置处设置为1，小于设定阈值的位置处设置为0；

步骤4-5，用累加器矩阵将当前帧中的目标与前n帧之间的目标进行关联度求和；如累加器矩阵索引(i,j)处的系数是前n帧的轨迹段集合的T_τ-1中的第i个目标与当前帧的第j个目标的关联度之和；

步骤4-6，设在第t帧深度表观特征提取器提取的表观特征矩阵为 F_t,F_t分别与数组F中的特征矩阵集合F_0:t-1求表观相似度矩阵，且t≤δ_b，得到t个表观相似度矩阵A_0:t-1,t；

步骤4-7，将第t帧深度表观特征矩阵F_t保存在数组F中。用计算出的表观相似度矩阵将当前帧的检测到的目标与前t帧的轨迹段利用匈牙利算法关联起来，从而更新当前帧的轨迹段集合。

进一步地，步骤5中在目标遮挡不严重或未发生遮挡的情况下，利用匈牙利算法对表观相似度矩阵进行数据关联的具体步骤为：

步骤5-1，当目标未发生遮挡或遮挡不严重时，利用匈牙利算法对表观相似度矩阵进行数据关联的具体步骤为：

步骤5-1-1，设在第0帧图片I₀检测到n个目标，则初始化一个包含n条轨迹段的轨迹集合λ₀，每条轨迹段是一个最多包含δ_b个列表，每个列表是一个2元数组，数组中包含目标所在的帧号和唯一的ID 号；

步骤5-1-2，更新当前帧的轨迹段集合的具体步骤如下：初始化一个新的累加器矩阵Λ_t，更新当前帧的轨迹段集合是将累加器矩阵作为代价矩阵，利用匈牙利算法求最佳匹配。如上面所述当前帧中的目标分别与前δ_b帧的目标求关联度，可得δ_b个关联度，累加器矩阵的作用是在对应位置处对关联度求和。如累加器矩阵索引(i,j)处的系数是前n帧的轨迹段集合的T_τ-1中的第i个目标与当前帧的第j个目标的关联度之和；

步骤5-1-3，在使用匈牙利算法时为了表征t-δ_b与当前帧这个时间间隔内多个物体离开画面的情景，可以将多条轨迹段分配给累加器矩阵的最后一列(累加器最后一列都是非识别的物体)，确保了所有未识别的轨迹都能映射到未识别的物体上；

步骤5-2中，当目标发生严重遮挡时，利用匈牙利算法对步骤2 获取的运动目标的质心坐标的检测值和步骤3获取的质心坐标预测值进行指派，得到最优匹配。

进一步地，步骤6去除利用卡尔曼滤波器以及表观相似度矩阵进行多目标跟踪中不满足要求的部分，同时为未指派的检测建立跟踪单元。

本发明所提出的一种基于深度神经网络的多目标检测与跟踪方法，在目标检测上使用最近在准确度上一直领先的深度学习方法，综合利用了多种特征，不仅能够准确的检测、识别出目标，而且在视角变化、遮挡等多种干扰下仍能稳定的跟踪，可以应用于视频监控、异常行为分析等现实场景。

附图说明

图1为本发明基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法流程图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，所述方法包括以下步骤：

步骤1，将长视频序列中，最大间隔为δ_b的任意两帧图像进行预处理。

所述的预处理的方法包括以下步骤：

步骤1-1，对图像帧中的每一个像素值进行成比例缩放。

步骤1-2，将处理过的图片转换成HSV格式，并对图片的饱和度进行缩放，缩放因子均为[0.7，1.5]的任意值。

步骤1-3，再将图片转换成RGB格式，最后再以相同的方法进行缩放，并对图片的尺寸进行放大，裁剪。

步骤1-4，上述的数据预处理都是以概率0.3顺序应用在帧图像对上。然后把帧的大小统一固定为H×W×3，最后以0.5的概率进行水平翻转。

步骤2，将预处理后的图像输入到FasterR-CNN多目标检测器中，得到帧图像中的所有目标；并假设每帧图片中最多有N_m个目标，非真实的目标的特征向量为0向量。

步骤3，首先判断FasterR-CNN多目标检测器输出的检测结果的遮挡情况，如果遮挡不严重，将预处理后的两帧图像和检测器所输出的检测框的质心坐标输入到预训练好的卷积神经网络中；如果遮挡严重，将检测器所输出的检测框的质心坐标输入到卡尔曼滤波器中，根据目标之前的运动状态来估计该目标在下一帧中的位置信息，得到估计的坐标信息即质心坐标预测值。

所述卷积神经网络是以ResNet为基础网络，ResNet层之后，通过使用更深层次的卷积层，将超过56×56的featuremap的空间维度进行缩减；后使用扩展网络逐渐将featuremap缩减到3×3的尺寸，再将提取的featuremap进行级联，得到表观特征矩阵。

所述表观特征矩阵建模包括以下步骤：

步骤3-1，特征的抽取是通过以视频中的帧图像对和物体的质心坐标信息作为输入，两条卷积层流分别将第t帧和第(t-n)帧的检测结果和预处理视频做为输入信号流。

步骤3-2，两个卷积层流共享模型参数，而其模型架构来自于 ResNet网络，ResNet网络层之后，通过使用更深层次的卷积层，将超过56×56的featuremap的空间维度进行缩减。

步骤3-3，对于当前帧即第t帧和与第t帧最大间隔为δ_b的先前帧分别通过1×1卷积内核以及池化的作用来降低维数。凭经验从网络中选择了9个层的featuremap，通过提取目标的浅层和深层的语义信息，并将这些语义信息级联起来而形成520维的综合特征向量。如前面所述第t帧最多允许有N_m个检测对象，因此得到特征矩阵为520×N_m，相应的第(t-n)帧的特征矩阵也为520×N_m，其中0≤n≤δ_b。

步骤3-4，再将两个综合特征相量的列沿着张量的深度方向，以 N_m×N_m种可能进行排列连接，最后形成1040×N_m×N_m的张量。

步骤3-5，通过使用带有1×1卷积核的5层卷积压缩网络将上述张量映射到N_m×N_m的矩阵M中。

步骤3-6，如果目标发生严重遮挡，初始化卡尔曼滤波器参数，利用卡尔曼滤波器进行多目标跟踪，预测出运动目标在下一帧的质心坐标。

步骤4，在目标遮挡不严重或未发生遮挡的情况下，利用深度卷积神经网络提取的表观特征矩阵进行相似度估计，得到表观相似度矩阵；在遮挡严重的情况下，利用获取的运动目标的质心坐标检测值和步骤3获取的质心坐标预测值进行指派，得到运动相似度矩阵。

步骤4中，利用深度卷积神经网络提取的表观特征矩阵进行相似度估计的具体步骤如下：

步骤4-1，依次计算当前帧图像中的每个目标的表观特征矩阵与前n帧图像中的每个目标之间的表观特征的相似性，利用求到的相似性值建立相似性矩阵。

步骤4-2，分别以当前帧图像中的每个目标和前n帧图像中的每个目标为行和列建立代价矩阵，代价矩阵中每个元素初始值均设置为 0。

步骤4-3，如步骤2所述，假设每帧最多有N_m个目标，若当前帧 t检测到的目标数为m₁,且m₁＜N_m，则增加N_m-m₁列，称为虚构列。若与当前帧相关联的t-n帧有m₂个目标，且m₂＜N_m，则增加N_m-m₂行，称为虚构行。最后可得n个相似度矩阵，其中0≤n≤δ_b。

步骤4-4，确定相似性阈值，根据代价矩阵中每个元素对应的相似性值对所述代价矩阵中的每个元素进行赋值；大于预定阈值的代价矩阵所在的位置处设置为1，小于设定阈值的位置处设置为0。

步骤4-5，初始化一个新的数组F，用来存储每帧图像的特征矩阵。表观特征矩阵是用深度表观特征提取器提取的。每一帧提取的表观特征矩阵保存在数组F中，此数组最多能保存δ_b个特征矩阵。如果在第t帧时数组F的长度超过了δ_b，则删除第(t-δ_b)的帧特征矩阵。

步骤4-6，设在第t帧深度表观特征提取器提取的表观特征矩阵为 F_t,F_t分别与数组F中的特征矩阵集合F_0:t-1求表观相似度矩阵，且t≤δ_b，得到t个表观相似度矩阵A_0:t-1,t。

步骤4-7，将第t帧深度表观特征矩阵F_t保存在数组F中。用计算出的表观相似度矩阵将当前帧的检测到的目标与前t帧的轨迹段利用匈牙利算法关联起来，从而更新当前帧的轨迹段集合。

步骤5，利用匈牙利算法，分别将表观相似度矩阵和运动相似度矩阵作为代价矩阵进行数据关联。

步骤5中在目标遮挡不严重或未发生遮挡的情况下，利用匈牙利算法对表观相似度矩阵进行数据关联的具体步骤为：

步骤5-1，当目标未发生遮挡或遮挡不严重时，利用匈牙利算法对表观相似度矩阵进行数据关联的具体步骤为：

步骤5-1-1，设在第0帧图片I₀检测到n个目标，则初始化一个包含n条轨迹段的轨迹集合λ₀，每条轨迹段是一个最多包含δ_b个列表，每个列表是一个2元数组，数组中包含目标所在的帧号和唯一的ID 号。

步骤5-1-2，更新当前帧的轨迹段集合的具体步骤如下：初始化一个新的累加器矩阵Λ_t，更新当前帧的轨迹段集合是将累加器矩阵作为代价矩阵，利用匈牙利算法求最佳匹配。如上面所述当前帧中的目标分别与前δ_b帧的目标求关联度，可得δ_b个关联度，累加器矩阵的作用是在对应位置处对关联度求和。如累加器矩阵索引(i,j)处的系数是前n帧的轨迹段集合的T_τ-1中的第i个目标与当前帧的第j个目标的关联度之和。

步骤5-1-3，在使用匈牙利算法时为了表征t-δ_b与当前帧这个时间间隔内多个物体离开画面的情景，可以将多条轨迹段分配给累加器矩阵的最后一列(累加器最后一列都是非识别的物体)，确保了所有未识别的轨迹都能映射到未识别的物体上。

步骤5-2中，当目标发生严重遮挡时，利用匈牙利算法对步骤2 获取的运动目标的质心坐标的检测值和步骤3获取的质心坐标预测值进行指派，得到最优匹配。计算最优匹配的具体步骤为：

设o为k时刻检测到的运动目标总数，r为k+1时刻检测到的运动目标总数。检测集合是Y_k＝{y₁,y₂,y₃...,y_o}，利用卡尔曼滤波器对Y_k中的每个运动目标的质心坐标y_i进行预测得到下一刻质心坐标p_i，即得到质心坐标预测集合P_k＝{p₁,p₂,p₃...,p_o}，k+1时刻运动目标的质心检测集合是Y_k+1＝{y₁,y₂,y₃...,y_r}，此时将质心预测坐标和下一时刻检测坐标的欧式距离作为代价矩阵，利用匈牙利算法求得最佳匹配。

步骤6，根据目标遮挡机制，分别利用数据关联矩阵进行轨迹段匹配。

步骤6去除利用卡尔曼滤波器以及表观相似度矩阵进行多目标跟踪中不满足要求的部分，同时为未指派的检测建立跟踪单元。

步骤7，利用当前帧完成匹配的检测框更新卡尔曼滤波器，并将当前帧的表观特征矩阵加入到表观特征矩阵集合中，更新表观特征矩阵集合；将未与轨迹段相匹配的检测框初始化一条新的轨迹，设为暂时轨迹段；若连续10帧都能检测到，则将此轨迹段设置为永久轨迹段；将未与检测框相匹配的轨迹段设为暂时状态，继续进行预测，并与下一帧检测结果进行数据关联，并将此轨迹段保留δ_w帧，若该目标连续δ_w帧未被关联，则将该未被关联的预测结果对应的目标的轨迹删除。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (7)

1.一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：所述方法包括以下步骤：

步骤1，将长视频序列中，最大间隔为δ_b的任意两帧图像进行预处理；

步骤2，将预处理后的图像输入到Faster R-CNN多目标检测器中；

步骤3，首先判断Faster R-CNN多目标检测器输出的检测结果的遮挡情况，如果遮挡不严重，将预处理后的两帧图像和检测器所输出的检测框的质心坐标输入到预训练好的卷积神经网络中；如果遮挡严重，将检测器所输出的检测框的质心坐标输入到卡尔曼滤波器中，根据目标之前的运动状态来估计该目标在下一帧中的位置信息，得到估计的坐标信息即质心坐标预测值；

所述卷积神经网络是以ResNet为基础网络，ResNet层之后，通过使用更深层次的卷积层，将超过56×56的feature map的空间维度进行缩减；后使用扩展网络逐渐将featuremap缩减到3×3的尺寸，再将提取的feature map进行级联，得到表观特征矩阵；

步骤4，在目标遮挡不严重或未发生遮挡的情况下，利用深度卷积神经网络提取的表观特征矩阵进行相似度估计，得到表观相似度矩阵；在遮挡严重的情况下，利用获取的运动目标的质心坐标检测值和步骤3获取的质心坐标预测值进行指派，得到运动相似度矩阵；

步骤5，利用匈牙利算法，分别将表观相似度矩阵和运动相似度矩阵作为代价矩阵进行数据关联；

步骤6，根据目标遮挡机制，分别利用数据关联矩阵进行轨迹段匹配；

步骤7，利用当前帧完成匹配的检测框更新卡尔曼滤波器，并将当前帧的表观特征矩阵加入到表观特征矩阵集合中，更新表观特征矩阵集合；将未与轨迹段相匹配的检测框初始化一条新的轨迹，设为暂时轨迹段；若连续10帧都能检测到，则将此轨迹段设置为永久轨迹段；将未与检测框相匹配的轨迹段设为暂时状态，继续进行预测，并与下一帧检测结果进行数据关联，并将此轨迹段保留δ_w帧，若该目标连续δ_w帧未被关联，则将该未被关联的预测结果对应的目标的轨迹删除。

2.根据权利要求1所述的基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：步骤1中前期数据准备和预处理方法包括：先对图像帧中的每一个像素值进行成比例缩放，转换成HSV格式，并对图片的饱和度进行缩放，转换成RGB格式，再对图片的尺寸进行放大，裁剪；之后将帧的大小统一固定，最后将帧图像对进行水平翻转。

3.根据权利要求1所述的基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：步骤2中将预处理后的图像输入到FasterR-CNN多目标检测器中，得到帧图像中的所有目标；并假设每帧图片中最多有N_m个目标，非真实的目标的特征向量为0向量。

4.根据权利要求1所述的基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：步骤3中首先采用遮挡判断机制判断目标遮挡情况，再根据目标遮挡的严重程度分别将检测到的目标输入到不同的网络中；如果目标遮挡不严重或未发生遮挡，则提取物体表观特征，并对提取到的物体的特征进行建模；如果目标发生严重遮挡，初始化卡尔曼滤波器参数，利用卡尔曼滤波器进行多目标跟踪，预测出运动目标在下一帧的质心坐标。

5.根据权利要求1所述的基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：步骤4中，利用深度卷积神经网络提取的表观特征矩阵进行相似度估计的具体步骤如下：

步骤4-1，依次计算当前帧图像中的每个目标的表观特征矩阵与前n帧图像中的每个目标之间的表观特征的相似性，利用求到的相似性值建立相似性矩阵；

步骤4-2，分别以当前帧图像中的每个目标和前n帧图像中的每个目标为行和列建立代价矩阵，代价矩阵中每个元素初始值均设置为0；

步骤4-3，假设每帧最多有N_m个目标，若当前帧t检测到的目标数为m₁,且m₁＜N_m，则增加N_m-m₁列，称为虚构列；若与当前帧相关联的t-n帧有m₂个目标，且m₂＜N_m，则增加N_m-m₂行，称为虚构行；最后可得n个相似度矩阵，并将求到的相似度矩阵保存在一个数组中；其中0≤n≤δ_b；

步骤4-4，确定相似性阈值，根据代价矩阵中每个元素对应的相似性值对所述代价矩阵中的每个元素进行赋值；大于预定阈值的代价矩阵所在的位置处设置为1，小于设定阈值的位置处设置为0；

步骤4-5，用累加器矩阵将当前帧中的目标与前n帧之间的目标进行关联度求和；如累加器矩阵索引(i,j)处的系数是前n帧的轨迹段集合的T_τ-1中的第i个目标与当前帧的第j个目标的关联度之和；

步骤4-6，设在第t帧深度表观特征提取器提取的表观特征矩阵为F_t,F_t分别与数组F中的特征矩阵集合F_0:t-1求表观相似度矩阵，且t≤δ_b，得到t个表观相似度矩阵A_0:t-1,t；

步骤4-7，将第t帧深度表观特征矩阵F_t保存在数组F中；用计算出的表观相似度矩阵将当前帧的检测到的目标与前t帧的轨迹段利用匈牙利算法关联起来，从而更新当前帧的轨迹段集合。

6.根据权利要求1所述的基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：步骤5中在目标遮挡不严重或未发生遮挡的情况下，利用匈牙利算法对表观相似度矩阵进行数据关联的具体步骤为：

步骤5-1，当目标未发生遮挡或遮挡不严重时，利用匈牙利算法对表观相似度矩阵进行数据关联的具体步骤为：

步骤5-1-1，设在第0帧图片I₀检测到n个目标，则初始化一个包含n条轨迹段的轨迹集合λ₀，每条轨迹段是一个最多包含δ_b个列表，每个列表是一个2元数组，数组中包含目标所在的帧号和唯一的ID号；

步骤5-1-2，更新当前帧的轨迹段集合的具体步骤如下：初始化一个新的累加器矩阵Λ_t，更新当前帧的轨迹段集合是将累加器矩阵作为代价矩阵，利用匈牙利算法求最佳匹配；如上面所述当前帧中的目标分别与前δ_b帧的目标求关联度，可得δ_b个关联度，累加器矩阵的作用是在对应位置处对关联度求和；如累加器矩阵索引(i,j)处的系数是前n帧的轨迹段集合的T_τ-1中的第i个目标与当前帧的第j个目标的关联度之和；

步骤5-1-3，在使用匈牙利算法时为了表征t-δ_b与当前帧这个时间间隔内多个物体离开画面的情景，可以将多条轨迹段分配给累加器矩阵的最后一列，累加器最后一列都是非识别的物体，确保了所有未识别的轨迹都能映射到未识别的物体上；

步骤5-2中，当目标发生严重遮挡时，利用匈牙利算法对步骤2获取的运动目标的质心坐标的检测值和步骤3获取的质心坐标预测值进行指派，得到最优匹配。

7.根据权利要求1所述的基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法，其特征在于：步骤6去除利用卡尔曼滤波器以及表观相似度矩阵进行多目标跟踪中不满足要求的部分，同时为未指派的检测建立跟踪单元。

Images