Nothing Special   »   [go: up one dir, main page]

CN111292355B - 一种融合运动信息的核相关滤波多目标跟踪方法 - Google Patents

一种融合运动信息的核相关滤波多目标跟踪方法 Download PDF

Info

Publication number
CN111292355B
CN111292355B CN202010089349.2A CN202010089349A CN111292355B CN 111292355 B CN111292355 B CN 111292355B CN 202010089349 A CN202010089349 A CN 202010089349A CN 111292355 B CN111292355 B CN 111292355B
Authority
CN
China
Prior art keywords
target
frame
tracking
detection
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010089349.2A
Other languages
English (en)
Other versions
CN111292355A (zh
Inventor
杨金龙
缪佳妮
程小雪
李方迪
葛洪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo New Quality Intelligent Manufacturing Technology Research Institute
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202010089349.2A priority Critical patent/CN111292355B/zh
Publication of CN111292355A publication Critical patent/CN111292355A/zh
Application granted granted Critical
Publication of CN111292355B publication Critical patent/CN111292355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合运动信息的核相关滤波多目标跟踪方法，属于计算机视觉、智能信息处理领域。本发明在检测跟踪的基础上，引入了KCF进行多目标的跟踪，减少对检测器的过分依赖，实现对多个目标的精确跟踪；跟踪过程中将速度信息和SCCM机制结合到跟踪框架中，从而处理遮挡目标的跟踪以及跟踪框漂移问题；最后采用IOU和历史轨迹信息，对虚假目标进行判断，从而减少轨迹碎片。实验表明，本发明具有良好的跟踪效果和鲁棒性，能广泛满足智能视频监控、人机交互、智能交通管制等系统的实际设计需求。

Description

一种融合运动信息的核相关滤波多目标跟踪方法
技术领域
本发明涉及一种融合运动信息的核相关滤波多目标跟踪方法，属于计算机视觉、智能信息处理领域。
背景技术
目标跟踪任务分为两种，单目标跟踪和多目标跟踪。单目标跟踪即给出视频初始帧的目标框大小和位置，实现在后续视频帧中对同一目标的精确跟踪。目前，单目标跟踪的算法随着相关滤波以及深度学习的加入有了长足的发展，相关滤波即通过训练一个滤波器，判断两个目标的相关性，在VOT18(国际视觉跟踪竞赛)的比赛中，从精确性与鲁棒性这两个指标上看，排名前十的方法有50％以上的都采用了相关滤波，由此可见相关滤波在目标跟踪中出色的表现。最早的相关滤波的方法有MOSSE(平方误差最小输出和)，随后基于MOSSE有了很多的改进方法，例如CSK(循环结构核)和KCF(核相关跟踪算法)，其中KCF方法的精确度和跟踪速度都取得了不错的成绩，后期虽然也有对相关滤波的一些改进，基本也都是基于KCF方法之上。
KCF是一种用于单目标跟踪任务的算法，在精确性与鲁棒性方面有着很好的表现，该算法通过提取目标特征构建目标模板，循环位移产生一系列正负样本，并映射到核空间来训练分类器，从而减少计算消耗，缩短时间成本，接着在每一帧中寻找到与目标最相似的位置，实现在视频序列中对该目标的持续跟踪。但是KCF具有两个最大的缺陷，一方面，由于KCF在目标受到遮挡时也会实时的更新目标模板，导致目标模板受到污染，从而跟踪框偏移，产生误跟和漏跟的情况；另一方面，KCF涉及了大量的矩阵运算操作，这就要求目标框的宽和高始终不变，使得跟踪框无法自适应的根据目标的大小变化来进行调整，从而产生大量的漏跟。
在多目标跟踪方面，由于场景的复杂多变，目标的随机出现与消失，目标遮挡，相机抖动而导致的目标模糊等问题，导致进行多目标跟踪任务一直困难重重。多目标跟踪的方法主要分为两种，一种是在线跟踪，即利用视频现在以及过去的信息进行跟踪，这种跟踪方法更加符合人们的日常需求，可以应用于智能监控，自动驾驶等方面；另一种为批处理跟踪，即利用视频过去、现在以及未来的信息进行目标跟踪，这种跟踪方法使得跟踪的结果更加精确。早期，采用随机有限集，图分解，动态规划，联合概率数据关联的方法，耗时较长，精确度较低。然而近几年，随着高度精确的检测器方法，DPM(目标检测算法)、FRCNN(借助区域提议网络实现的实时目标检测)、SDP(规模依赖池的检测算法)、YOLO v3(增量改进的目标检测算法)等的出现，使检测跟踪的方法为越来越多的人所接受，通过检测器精准的检测结果进行后期的多目标跟踪，可以使跟踪结果更为准确。但复杂场景下的多目标跟踪任务中，检测算法容易出现由于背景杂波干扰，摄像头的剧烈抖动导致的目标模糊，从而目标漏检和跟丢以及出现虚假检测框而导致的错误跟踪，使得检测跟踪方法还需要很多细节的完善。
发明内容
本发明提供了一种融合运动信息的核相关滤波多目标跟踪方法，所述方法包括：
步骤一：记k帧置信度大于Dc的检测框的个数为n，k帧的检测框状态集为
Figure SMS_1
Figure SMS_2
表示k帧中的第i个检测框结果；初始帧k＝1时，k帧的跟踪结果集Rk初始为空集；将n个检测框视作新生目标，用来训练KCF所需要的分类器；将目标样本向量/>
Figure SMS_3
作为目标的模板，所述目标的模板为采用手动选取的HOG、CN和灰度特征提取目标样本的特征信息，并循环位移产生一系列正负样本X；将X映射至核空间内，放入分类器中进行训练，在岭回归函数损失最小的情况下获得最优解α；
步骤二：为n个新生目标分配标签，将检测框的置信度作为该新生目标的置信度，添加至k帧的跟踪结果集Rk中，此时，k帧中的第i个跟踪框的状态为
Figure SMS_4
步骤三：对k帧进行目标位置预测；根据k-1帧的目标位置，在k帧选取图像块，获得k帧候选目标的图像特征样本Z，计算响应热图f(Z)；计算k帧中的第i个目标的响应热图输出的最大值响应值
Figure SMS_5
若/>
Figure SMS_6
大于阈值Dkcf，则将/>
Figure SMS_7
作为存活目标放入跟踪结果集Rk中；若
Figure SMS_8
小于等于阈值Dkcf，则将目标分为虚假目标、被遮挡目标、消亡目标三种情况；
步骤四：计算同一目标在k-1帧和k帧的响应热图之间的距离
Figure SMS_9
从而决定是否要更新目标模板/>
Figure SMS_10
及参数α；
步骤五：根据目标在k帧及k-1帧的跟踪结果集中的位置和运动信息，构建运动模型，从而更新存活目标在k帧中的速度信息；
步骤六：对新生目标与漏检目标判断，所述对将新生目标判断方法为：将
Figure SMS_11
与k帧的跟踪结果集Rk逐一进行IOU计算匹配，寻找相交最大值Smax以及对应的跟踪框/>
Figure SMS_12
若结果Smax大于阈值DIOU，则判断此检测框/>
Figure SMS_13
与跟踪框/>
Figure SMS_14
为同一存活目标，将/>
Figure SMS_15
更新入跟踪结果集Rk中，并从检测集Tk删除/>
Figure SMS_16
遍历所有检测集后，剩余无跟踪框匹配的检测框即为新生目标；
所述对将漏检目标判断方法为：对k-1帧的跟踪框结果集Rk-1进行逐个的KCF跟踪，当
Figure SMS_17
大于阈值Dkcf时，都判断为存活目标；然后与k帧的检测框信息进行IOU计算，当/>
Figure SMS_18
与k帧的检测框集Tk中所有的检测框IOU计算结果都小于阈值DIOU时，则表明没有检测框与目标对应，视为漏检目标，并将/>
Figure SMS_19
添加入k帧跟踪框结果集Rk中，继续跟踪；
所述将k帧的跟踪结果集Rk与k帧的检测集Tk进行IOU计算的公式为：
Figure SMS_20
其中，Area(a)表示目标a的目标框区域，Area(a)∩Area(b)表示目标a与目标b相交部分的区域面积，Area(a)∪Area(b)表示目标a与目标b的并区域面积。
在本发明的一种实施方式中，所述岭回归函数为：
Figure SMS_21
其中，
Figure SMS_22
表示核函数，并将其放入傅里叶域内方便计算，xi为目标样本向量，yi为
回归模型将输入特征的所有循环视为具有高斯加权标签的训练样本，
Figure SMS_23
表示傅里叶计算，λ为正则化参数，kxx为内核矩阵K＝C(kxx)的第一行，解得：
Figure SMS_24
在本发明的一种实施方式中，所述位置预测公式为：
Figure SMS_25
Figure SMS_26
其中，xk-1、yk-1分别表示k-1帧目标左上角的横坐标、纵坐标，
Figure SMS_27
表示k-1帧目标在横坐标方向上的速度，/>
Figure SMS_28
表示k-1帧目标在纵坐标方向上的速度。
在本发明的一种实施方式中，所述响应热图f(Z)为：
Figure SMS_29
其中，
Figure SMS_30
表示核函数。
在本发明的一种实施方式中，所述响应热图距离
Figure SMS_31
计算公式如下：
Figure SMS_32
其中，
Figure SMS_33
分别表示为第k-1、k帧中第i个目标的响应热图，由响应热图f(Z)计算得到；Δ表示k-1帧到k帧置信度最大值的移位数，⊕表示移位操作。
在本发明的一种实施方式中，所述更新操作如下：
Figure SMS_34
Figure SMS_35
其中，η为学习参数，DSCCM为阈值。
在本发明的一种实施方式中，所述运动模型如下：
Figure SMS_36
Figure SMS_37
其中，θ表示速度的学习参数，
Figure SMS_40
表示/>
Figure SMS_42
左上角的横坐标，/>
Figure SMS_44
表示/>
Figure SMS_39
左上角的纵坐标，/>
Figure SMS_41
表示/>
Figure SMS_43
的宽，/>
Figure SMS_45
表示/>
Figure SMS_38
的高。
在本发明的一种实施方式中，所述虚假目标判断方法为：若该目标同时满足
Figure SMS_46
小于阈值Dkcf、历史轨迹长度小于阈值Dlen、历史轨迹中置信度最大的框小于阈值Dconf，则认为该目标为虚假目标，删除该虚假目标在历史帧中的历史轨迹，从而减少误跟；所述历史轨迹为：
Figure SMS_47
其中，j为该目标在视频帧中出现次数。
在本发明的一种实施方式中，所述被遮挡目标的判断方法为：当目标
Figure SMS_48
小于阈值Dkcf，则设置K帧的平滑滤波，用目标的运动信息对后续帧运动轨迹做预测得到
Figure SMS_49
Figure SMS_50
保持不变，将/>
Figure SMS_51
放入跟踪结果集中，观察这K帧内该目标的位置运动信息，若K帧内都没有检测框与该目标跟踪框匹配，即IOU计算大于阈值DIOU，则认为该目标已经消失，删除这K帧中对该目标的跟踪轨迹，删除目标模板，结束跟踪，否则认为该目标为被遮挡目标，使用速度信息估计中间被遮挡目标的跟踪框，并持续跟踪。
在本发明的一种实施方式中，所述消亡目标的判断方法为：对上一帧跟踪框结果集Rk-1进行消亡目标的判断，若目标
Figure SMS_52
的最大相应值/>
Figure SMS_53
小于阈值Dkcf，并在经历过虚假目标，遮挡目标的机制判断后，确定/>
Figure SMS_54
即不是虚假目标也不是被遮挡目标，则可判定为该目标为消亡目标，保留该目标的历史轨迹，并结束跟踪。
有益效果：
(1)本发明将单目标跟踪算法KCF引入多目标跟踪，结合检测框、历史轨迹，目标模板等信息，对目标进行新生目标、存活目标、漏检目标和虚假目标的分类。
(2)本发明引入了SCCM(置信图的平滑约束)机制，自适应更新目标模板，使目标模板能实时更新并能减少KCF跟踪中由于部分遮挡而导致的目标模板污染问题，用于目标污染而导致的跟踪框漂移。
(3)本发明结合了目标运动的速度信息，处理目标的大位移运动、不同目标之间的紧邻、遮挡，最终出现漏跟失跟的问题；将检测与跟踪相结合，在检测器的基础上，引入单目标跟踪算法，提高跟踪的精确度，弥补检测器的漏检问题，而检测器可以弥补单目标跟踪算法KCF中跟踪框宽高不能跟随目标变化自主调节的问题，本发明提出的检测跟踪方法可以保持准确性和快速的条件下实现复杂场景下的多目标跟踪。
附图说明
图1是本发明方法的整体流程图。
图2是部分目标的SCCM分数图。
图3是MOT17-09序列目标紧邻运动、遮挡实验结果
图4是MOT17-10序列目标模糊实验结果
图5是MOT17-13序列虚假检测框实验结果。
图6是MOT17-11序列漏检目标实验结果。
图7是MOT17-09序列跟踪框漂移实验结果。
具体实施方式
首先对本申请涉及的相关内容进行介绍如下：
核相关滤波核相关滤波即根据初始帧中检测器给出的目标检测框，学习其特征，训练一个滤波器，在后续帧中找出与目标相似度最高的位置；设目标i在k帧的位置为
Figure SMS_55
为目标i位置的横坐标，/>
Figure SMS_56
为目标i位置的纵坐标，通过核相关滤波的方法寻找目标i在k+1帧的位置。
1.1样本生成
首先在k帧图像中，
Figure SMS_57
的位置上提取目标i的特征，KCF通过提取图像块的HOG(方向梯度直方图)、CN(颜色命名)以及灰度特征构建目标样本模板，进行判别式学习，并循环位移产生一系列正负样本，具体操作如下：
Figure SMS_58
x＝[x1,x2,K,xn-1,xn]为提取特征后的目标样本。
1.2训练分类器
随后将X映射到核空间内，放入分类器中进行训练，即在损失函数最小的情况下获得岭回归的最优解，非线性岭回归目标函数为：
Figure SMS_59
xi为目标样本向量，yi为回归模型将输入特征的所有循环视为具有高斯加权标签的训练样本，
Figure SMS_60
为核函数，将样本映射到非线性空间，便于样本分类，λ为正则化参数；
由此问题将转化成训练出最优解α，公式将化简为如下，其中
Figure SMS_61
表示为傅里叶运算操作。
Figure SMS_62
其中，kxx为内核矩阵K＝C(kxx)的第一行。
1.3预测目标位置
如上训练出了α之后，在k+1帧的
Figure SMS_63
中，扩大范围，寻找与k帧中目标i相似度最高的位置。由于在视频序列的两帧之内，目标的移动不是特别剧烈，扩大搜索范围的倍数可根据视频中运动目标的剧烈程度决定。根据上一帧的位置在这一帧的图像中选取图像块采用相同的方法提取图像块特征，得到样本集合Z，进行测试，获得分类器响应：
Figure SMS_64
由分类器输出的最大值
Figure SMS_65
的位置为目标i在k+1帧中的位置/>
Figure SMS_66
2.SCCM的模板自适应更新
SCCM采用比较相邻的两张热图距离，判断目标的遮挡程度从而决定是否要更新k帧目标模板及参数。
Figure SMS_67
为k帧中第i个目标的响应热图，Δ表示k-1帧到k帧置信度最大值的移位数，⊕表示移位操作，如下计算两张相邻的响应热图距离：
Figure SMS_68
当
Figure SMS_69
的分数大于阈值DSCCM时，则说明同一目标相邻两张的响应热图距离过大，可能发生了遮挡或者剧烈形变的情况，不能更新目标模板/>
Figure SMS_70
否则会产生模板污染而导致的跟踪漂移，具体的更新操作如下所示：
Figure SMS_71
Figure SMS_72
具体的相邻两帧之间的SCCM分数如图2所示。
下面结合附图和实施例对本发明作进一步详细说明。
实施例1
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本实施例提供了一种基于运动信息改进的核相关滤波多目标跟踪方法，所述方法包括：
步骤一：初始化参数，所述参数包括：初始帧(k＝1)的目标速度、目标跟踪状态
Figure SMS_73
视频总帧数N，所述视频总帧数为N由数据集中的视频帧数决定，k表示是该视频中的第几帧，k∈[1,N]，所述初始帧(k＝1)的目标速度初始化为0；选取第一帧(k＝1)置信度大于Dc的检测框作为初始的新生目标；
所述k帧置信度大于Dc的检测框的个数为n，k帧的检测框状态集为：
Figure SMS_74
其中：
Figure SMS_75
Figure SMS_78
表示k帧中的第i个检测框结果，/>
Figure SMS_79
表示/>
Figure SMS_83
左上角的横坐标，/>
Figure SMS_77
表示/>
Figure SMS_81
左上角的纵坐标，/>
Figure SMS_82
表示/>
Figure SMS_85
的宽，/>
Figure SMS_76
表示/>
Figure SMS_80
的高，/>
Figure SMS_84
表示/>
Figure SMS_86
的置信度；
所述检测框结果
Figure SMS_87
由检测器(分别是DPM、FRCNN和SDP)提供，k帧的跟踪结果集Rk初始为空集；
步骤二：初始帧(k＝1)时，将n个检测框视作新生目标，用来训练KCF所需要的分类器；对每一个检测框
Figure SMS_88
采用手动选取的HOG、CN和灰度特征提取特征信息，共同构成该目标的样本信息，并循环位移产生一系列正负样本X，即：
Figure SMS_89
其中，x＝(x1 x2 x3…xn)为目标样本向量，表示手动选取的HOG、CN和灰度特征提取特征信息，作为该目标的模板。
将X映射至核空间内，放入分类器中进行训练，在岭回归函数损失最小的情况下获得最优解α，所述岭回归函数为：
Figure SMS_90
其中，
Figure SMS_91
表示核函数，并将其放入傅里叶域内方便计算，xi为目标样本向量，yi为回归模型将输入特征的所有循环视为具有高斯加权标签的训练样本，/>
Figure SMS_92
表示傅里叶计算，λ为正则化参数，kxx为内核矩阵K＝C(kxx)的第一行，解得：
Figure SMS_93
步骤三：为n个新生目标分配标签，将检测框的置信度作为该新生目标的置信度，添加至k帧的跟踪结果集Rk中，此时，k帧跟踪结果的个数为m，每个跟踪框的状态为：
Figure SMS_94
其中，
Figure SMS_95
表示k帧中的第i个跟踪结果框，/>
Figure SMS_96
表示/>
Figure SMS_97
的身份标签，k帧的跟踪结果集为/>
Figure SMS_98
Figure SMS_99
表示/>
Figure SMS_100
的置信度。
步骤四：对k帧进行目标位置预测，所述位置预测公式为：
Figure SMS_101
Figure SMS_102
其中，xk-1、yk-1分别表示k-1帧目标左上角的横坐标、纵坐标，
Figure SMS_103
表示k-1帧目标在横坐标方向上的速度，/>
Figure SMS_104
表示k-1帧目标在纵坐标方向上的速度；新生目标的初始速度为0，即/>
Figure SMS_105
步骤五：通过步骤二所得的参数
Figure SMS_106
根据k-1帧的目标位置，在k帧选取图像块，用与步骤一中相同的特征提取方法，获得这一帧的候选目标的图像特征样本Z，计算得到响应热图：
Figure SMS_107
由f(Z)输出的最大值
Figure SMS_109
(即最大响应值)的位置作为目标i在新一帧k帧的位置
Figure SMS_113
若最大响应值/>
Figure SMS_115
大于阈值Dkcf，则将/>
Figure SMS_110
作为目标i在k帧中的跟踪框/>
Figure SMS_112
的位置，将/>
Figure SMS_114
作为/>
Figure SMS_116
的置信度分数，/>
Figure SMS_108
Figure SMS_111
则作为存活目标放入跟踪结果集Rk中；否则为其他目标。其他目标有消亡目标，遮挡目标和虚假轨迹目标三种可能，需要借助轨迹跟踪框置信度和后续帧检测框信息进一步进行分类识别。
步骤六：计算同一目标相邻两张的响应热图
Figure SMS_117
和/>
Figure SMS_118
距离，从而决定是否要更新目标模板及参数；计算两张相邻的响应热图距离公式如下：
Figure SMS_119
其中，
Figure SMS_120
为第k帧中第i个目标的响应热图，Δ表示k-1帧到k帧置信度最大值的移位数，⊕表示移位操作；
当
Figure SMS_121
的距离大于阈值DSCCM时，则说明同一目标相邻两张的响应热图距离过大，可能发生了遮挡或者剧烈形变的情况，不能更新目标模板/>
Figure SMS_122
否则会产生模板污染而导致的跟踪漂移，具体的更新操作如下：
Figure SMS_123
Figure SMS_124
其中，η为学习参数。
步骤七：根据目标之前的位置和运动信息，构建运动模型，从而更新目标的速度信息。在这里，将用到目标i在上一帧k-1跟踪结果集中的
Figure SMS_125
信息以及这一帧k跟踪结果中的/>
Figure SMS_126
信息，运动模型如下：
Figure SMS_127
Figure SMS_128
其中，θ表示速度的学习参数，这里用目标跟踪框中心点位置的速度，从而可以减少由于目标框宽高变化而带来的影响，用预测位置的结果来进行KCF跟踪，处理大位移运动的目标。
步骤八：若分类器的最大响应值
Figure SMS_129
小于等于阈值Dkcf，则说明在这一帧中无法找到与目标i相似的目标，将此类目标分为消亡目标、虚假目标、被遮挡目标三种情况；
所述虚假目标为对上一帧跟踪框结果集Rk-1进行虚假目标的判断，若同时满足以下条件，则认为该目标为虚假目标，则删除该虚假目标i在历史帧中的历史轨迹
Figure SMS_130
j为该目标在视频帧中出现次数，从而减少误跟；
(1)KCF跟踪后得到的最大响应值
Figure SMS_131
小于阈值Dkcf的目标；
(2)该目标的历史轨迹长度小于阈值Dlen；
(3)该目标历史轨迹中，置信度最大的框小于阈值Dconf。
所述被遮挡目标的判断方法为：当目标KCF跟踪后得到的最大响应值
Figure SMS_132
小于阈值Dkcf，则设置K帧的平滑滤波，用目标的运动信息对后续帧运动轨迹做预测得到
Figure SMS_133
Figure SMS_134
保持不变，将/>
Figure SMS_135
放入跟踪结果集中，观察这K帧内该目标的位置运动信息，若K帧内都没有检测框与该目标跟踪框匹配，即IOU计算大于阈值DIOU，则认为该目标已经消失，删除这K帧中对该目标的跟踪轨迹，删除目标模板，结束跟踪，否则认为该目标为被遮挡目标，使用速度信息估计中间被遮挡目标的跟踪框，并持续跟踪。
所述消亡目标的判断方法为：对上一帧跟踪框结果集Rk-1进行消亡目标的判断，若目标
Figure SMS_136
在KCF跟踪后得到的最大响应值/>
Figure SMS_137
小于阈值Dkcf，并在经历过虚假目标，遮挡目标的机制判断后，确定/>
Figure SMS_138
即不是虚假目标也不是被遮挡目标，则可判定为该目标为消亡目标，保留该目标的历史轨迹，并结束跟踪。
步骤九：对新生目标与漏检目标判断，所述对将新生目标判断方法为：
Figure SMS_139
与k帧的跟踪结果集Rk逐一进行IOU计算匹配，寻找相交最大值Smax以及对应的跟踪框/>
Figure SMS_140
若结果Smax大于阈值DIOU，则判断此检测框/>
Figure SMS_141
与跟踪框/>
Figure SMS_142
为同一存活目标，将/>
Figure SMS_143
更新入跟踪结果集Rk中，并从检测集Tk删除/>
Figure SMS_144
遍历所有检测集后，剩余无跟踪框匹配的检测框即为新生目标；
所述将k帧的跟踪结果集Rk与k帧的检测集Tk进行IOU计算的公式为：
Figure SMS_145
其中，Area(a)表示目标a的目标框区域，Area(a)∩Area(b)表示目标a与目标b相交部分的区域面积，Area(a)∪Area(b)表示目标a与目标b的并区域面积。
所述对将漏检目标判断方法为：对上一帧跟踪框结果集Rk-1进行逐个的KCF跟踪，当
Figure SMS_146
大于阈值Dkcf时，都判断为存活目标；然后与这一帧的检测框信息进行IOU计算，当/>
Figure SMS_147
与k帧的检测框集Tk中所有的检测框IOU计算结果都小于阈值DIOU时，则表明没有检测框与目标i对应，视为漏检目标，并将/>
Figure SMS_148
添加入这一帧跟踪框结果集Rk中，继续跟踪。
实施例2
为验证实施例1中所述的述融合运动信息的核相关滤波多目标跟踪方法的效果，实验如下：
1、实验条件及参数
本发明采用的视频训练数据为MOT17中的序列02、04、05、09、10、11、13这七组视频序列，这七组典型的视频序列都是在复杂场景下多目标运动的序列，有街道上的监控摄像，行人的手机录像，公交车上的行车记录仪等等，包含背景杂波干扰、目标紧邻运动、目标形变、目标模糊、目标遮挡、目标频繁较差运动、相机抖动等问题。实验中采用了MOTChallengeBenchmark提供的评价算法，选取了该算法的评价标准中的多目标跟踪精度(MOTP)，多目标跟踪正确度(MOTA)，总误跟数(FP)，总漏跟数(FN)，标签跳变数(IDS)，分别定义如下：
1)多目标跟踪正确度(MOTA)
MOTA为视频多目标跟踪中最广泛使用的评价标准，均衡了真实值(GT)，误跟数(FN)，漏跟数(FP)和标签跳变数(IDS)这四个指标的结果。
Figure SMS_149
由于误跟数，漏跟数和标签跳变数的和能比真实框多，MOTA能取到负值，当跟踪算法能完全跟上目标且不产生误跟框时，MOTA取得最大值1，所以MOTA的取值范围将为(-∞,1]。
2)多目标跟踪精度(MOTP)
Figure SMS_150
其中，dk,i表示的时k帧上第i个目标与目标真实框的重叠率，ck表示的是第k帧中目标匹配的数目。取值范围在0.5到1之间。重要的是，MOTP提供的是定位精度的衡量，几乎没有提供跟踪器实际性能的信息。
3)总误跟数(FP)
由于跟踪器跟错目标，产生了无法与真实目标进行匹配的跟踪框，将这些错误跟踪框的总数成为总误跟数。
4)总漏跟数(FN)
由跟踪器漏跟导致的，没有跟踪框能与真实目标进行匹配的总数目即为总漏跟数。
5)标签跳变数(IDS)
跟踪器在跟踪过程中对原本是同一目标的轨迹产生了碎片化的分割，从而将原本一条轨迹划分了多条轨迹，从而产生了标签跳变。标签条变数即为跟踪过程中目标标签发生的变化次数。
2、实验及结果分析
本申请方法在Matlab2019b上实现，在处理器为Intel Core i7-8700、3.2GHz，12核，内存为16GB，显卡为NVIDIA Geforce GTX 1080Ti的工作站上运行，并与2017年ErikBochinski等在发表论文《High-Speed Tracking-by-Detection Without Using ImageInformati》中提出的IOU17方法、2019年ShiJie等在发表论文《Deep Affinity Networkfor Multiple Object Tracking》中提出的SST方法、2017年Nicolai Wojke等再发表论文《Simple Online and Realtime Tracking with a Deep Association Metric》中提出的Deep Sort方法和2016年Alex Bewley等再发表论文《Simple online and realtimetracking》中提出的Sort方法进行性能比较与分析。其中Deep Sort使用的是自带检测器结果，在这里为了控制变量进行实验，统一采用DPM、FASTER RCNN和SDP检测器的检测结果做跟踪。
具体实验从五个方面对发明方法进行性能评估，即：目标紧邻运动与遮挡、目标模糊、虚假检测框、漏检和跟踪框漂移，实验结果如下。
实验一：目标紧邻运动与遮挡
本实验采用的视频序列为MOT17测试数据集中的09序列，该序列共有525帧1920×1080图像，是在明亮光线下的便利店门口的人群运动，存在多个目标紧邻和目标遮挡问题。由于遮挡情况较为复杂，人群较密集，遮挡时间较长，容易出现目标漏跟的情况，本发明结合存在目标的轨迹，速度信息和检测框信息，实现遮挡目标的持续跟踪。
图4给出了09序列的实验结果，其中，图3(a)为SDP检测器的检测结果，图3(b)为使用SDP检测框进行IOU17的跟踪结果，图3(c)为使用SDP检测框进行IOU17的Deep Sort跟踪结果，图3(d)为本发明方法的跟踪结果。从结果中可以看出，当目标被遮挡时，检测器将无法检测出被遮挡目标，从而出现大量漏跟情况，降低MOTA指标，而IOU17和Deep Sort方法由于非常依赖检测器的检测框效果，无法同时有效的结合目标的历史速度信息和目标模板信息进行跟踪，使得被遮挡目标漏跟，当被遮挡目标重新检测到时，被认为是新生目标，重新跟踪。而本发明方法在面对目标较长时间内的遮挡，由于使用速度信息进行K帧的预测后能与重新出现的目标进行关联，能有效的预测K帧内被遮挡目标的轨迹，从而跟上被遮挡目标。
表1为MOT17-09序列的跟踪结果，可以看出，Sort中的FN最高，从而导致MOTA最低，这是因为只运用检测框信息，没有使用图片的特征信息，使得目标大量的漏跟情况。IOU17中IDs最高，这是因为IOU17完全依赖检测框信息，无法处理目标被遮挡后又出现，从而产生身份标签跳变的问题。而本发明方法能有效的处理被遮挡目标的跟踪，使得标签跳变数(IDs)和漏跟(FN)的数目最少，从而大大提升MOTA的指标。
表1MOT17-09序列SDP检测器各种方法比较(表中↑表示值越大越好,↓表示值越小越好)
Figure SMS_151
实验二：目标模糊
在这里，采用MOT17测试数据集中10序列做对比实验，该序列共有654帧1920×1080图像，是在视线较为昏暗的夜晚，场景较为复杂的步行街道上的密集人群运动，采用的是中等晃动程度的移动摄像机。由于相机的频繁晃动，视线较为昏暗，背景干扰较多，大量目标有模糊的情况，大大增加了检测的难度。
MOT17-10序列的实验结果如图4所示，其中，图4(a)为SDP检测结果，图4(b)为IOU17方法跟踪结果，图4(c)为Deep Sort方法跟踪结果，图4(d)为SST的跟踪结果，图4(e)为本发明的跟踪结果。从图中可以看出，当由于相机剧烈抖动而导致图像模糊是，SDP检测器难以正确检测出模糊的目标，IOU17、Deep Sort和SST跟踪器受目标模糊的影响，无法正确跟上目标，产生大量漏跟，而本发明的方法能根据之前清晰时刻的目标模板，在当前帧中寻找与该目标模板最匹配的目标，从而跟上模糊的目标，减少漏跟数。
在MOT17-10上进行实验，量化结果如表2所示。从表中可以看出，IOU17和Sort由于只使用了检测框的信息，对于模糊的目标无法准确跟踪，漏跟目标和身份变换数量变多，从而FN和IDs的值较差，而Deep Sort虽然引入了深度特征信息，但还是无法对没有检测框的模糊目标进行关联，所以漏跟数目没有太大的提升，SST产生了大量的误跟框且并没有改善跟踪效果，所以MOTA指标最低，而本发明的方法可以有效的减少FN和IDs，大大提升了10序列的MOTA指标。
表2 MOT17-10序列SDP检测器各种方法比较(表中↑表示值越大越好,↓表示值越小越好)
Figure SMS_152
Figure SMS_153
实验三：虚假检测框
采用视频序列MOT17训练数据集中的13序列，该序列共包含750帧1920×1080图像，为视线明亮下，公交行车记录仪记录的，人群汽车密集运动的视频序列，存在背景杂波干扰下的虚假检测框。由于人群运动较为复杂，背景干扰较多，检测目标框过小，会产生许多虚假检测框，从而误跟数变多，本发明结合历史轨迹信息以及检测框信息，对虚假检测框轨迹进行删选，从而提高跟踪性能。
图5为MOT17-13序列的跟踪实验结果，其中，图5(a)为SDP检测框结果，图5(b)为SST方法跟踪结果，图5(c)为本发明方法跟踪结果。可以看出，当SDP产生虚假检测框时，SST由于较为依赖检测框的结果，从而也同时会产生错误的跟踪框，造成大量的误跟情况，较低MOTA指标。而本发明的方法能自主的根据历史轨迹长度、检测框信息和图像信息，正确的判断虚假检测框，并对虚假轨迹进行删选，提高了MOTA的精度。
进行MOT17-13序列的跟踪实验，定量分析结果如表3所示。可以看出，由于SDP检测器产生的虚假检测框，相机的剧烈抖动，目标过小而特征不明显等问题给该序列的跟踪带来的巨大的难度。SST中由于对虚假检测框持续跟踪，从而产生了大量误跟框(FP)，导致MOTA精度降低。而在本发明中采用了与IOU17中相似的方法，去除虚假检测框，并在IOU17的基础上，结合了KCF跟踪和速度信息，降低了漏跟数(FN)，提高了MOTA指标。
表3 MOT17-13序列SDP检测器各种方法比较(表中↑表示值越大越好,↓表示值越小越好)
Figure SMS_154
实验四：漏检目标
在本实验中，采用了MOT17测试数据集中的11序列，该序列共包含900帧1920×1080图像，为相机移动下，视线明亮的商场密集人群运动，存在目标模糊，目标遮挡和大量漏检目标的问题。由于场景较为复杂，背景干扰过多，检测器存在漏检问题，即使是一些特征较为清晰明显的行人，也任然会存在漏检，导致大量的漏跟框，给目标跟踪带来困难。
图6给出了MOT17-11序列的实验结果，其中，图6(a)为SDP检测器结果，图6(b)为IOU17跟踪结果，图6(c)为Deep Sort方法跟踪结果，图6(d)为SST方法的跟踪结果，图6(e)为本发明方法的跟踪结果。可以看出，漏检目标的特征非常的清晰，但SDP检测器仍是没有检测出该目标，随后由于IOU17、Deep Sort与SST对检测器结果的依赖性，导致对该目标的漏跟。而本发明的方法能根据该目标的一个初始检测框，便能根据图像信息进行跟踪，从而能跟上该目标。
进行MOT17-11序列的实验跟踪，定量分析结果如表4所示。对于目标短暂的被检测出来后，出现长期的漏检，使得对检测器有较强依赖的IOU17、Deep Sort、Sort和SST方法产生大量的漏跟和身份标签跳变。而本发明方法能结合检测结果，使用KCF跟踪器，降低对检测框结果的依赖性，在下一帧中寻找与目标模板相似的目标位置，找出漏检目标的具体位置，从而减少漏跟和身份标签跳变数目，在MOTA，FN，IDs这三个指标上都优于其他四种跟踪方法。
表4 MOT17-11序列SDP检测器各种方法比较(表中↑表示值越大越好,↓表示值越小越好)
Figure SMS_155
实验五：跟踪框漂移
在本实验中，由KCF直接跟踪目标将会出现因为目标遮挡而出现的跟踪框漂移的问题，在这里，采用了在明亮光线下，商店门口旁的密集人群视频序列MOT17-09，该序列有着频繁的目标遮挡问题，当直接采用KCF跟踪目标时，目标有着明显的目标框漂移情况，从而影响着后续跟踪。
图7给出了MOT17-09序列的实验结果，其中，图7(a)为SDP检测器结果，图7(b)为KCF跟踪结果，图6(c)为本发明方法的跟踪结果。从图中可以看出，KCF的跟踪在没有检测框的情况下能有效的跟上一部分的遮挡目标，但会发生跟踪框漂移的情况，这是因为KCF在目标模板更新的时候，即使目标发生了遮挡，但也会持续保持更新目标模板，而本发明采用SCCM机制，判断目标是否被遮挡来更新目标模板，从而能是跟踪框准确的跟上被遮挡目标，提高跟踪精度。
通过上述实验可知，本申请提供的融合运动信息的核相关滤波多目标跟踪方法，能将检测器与KCF算法融合在一起，优势互补，用检测器得到的检测框弥补KCF无法及时获得新生目标信息以及跟踪框大小无法自适应目标变化的缺点，对于检测框的漏检问题，本申请提出的方法能较好的对目标进行持续跟踪；而对于目标紧邻运动，遮挡问题时，本申请能结合速度信息，有效的预测被遮挡目标的位置，从而跟上目标；而对于模糊目标时，本申请能有效的提取图像特征信息，从而和清晰时的目标进行关联；而对于虚假检测框时，本申请能结合历史轨迹信息和检测框信息，剔除虚假轨迹，从而提升跟踪精度；而对于跟踪框漂移的问题，本申请能自适应的更新目标模板，从而减少目标模板因模板污染而产生的跟踪框漂移，甚至误跟。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种融合运动信息的核相关滤波多目标跟踪方法，其特征在于，所述方法包括：
步骤一：记k帧置信度大于Dc的检测框的个数为n，k帧的检测框状态集为
Figure FDA0004138287990000011
Figure FDA0004138287990000012
表示k帧中的第i个检测框结果；初始帧k＝1时，k帧的跟踪结果集Rk初始为空集；将n个检测框视作新生目标，用来训练KCF所需要的分类器；将目标样本向量/>
Figure FDA0004138287990000013
作为目标的模板，所述目标的模板为采用手动选取的HOG、CN和灰度特征提取目标样本的特征信息，并循环位移产生一系列正负样本X；将X映射至核空间内，放入分类器中进行训练，在岭回归函数损失最小的情况下获得最优解α；
步骤二：为n个新生目标分配标签，将检测框的置信度作为该新生目标的置信度，添加至k帧的跟踪结果集Rk中，此时，k帧中的第i个跟踪框的状态为
Figure FDA0004138287990000014
步骤三：对k帧进行目标位置预测；根据k-1帧的目标位置，在k帧选取图像块，获得k帧候选目标的图像特征样本Z，计算响应热图f(Z)；计算k帧中的第i个目标的响应热图输出的最大值响应值
Figure FDA0004138287990000015
若/>
Figure FDA0004138287990000016
大于阈值Dkcf，则将/>
Figure FDA0004138287990000017
作为存活目标放入跟踪结果集Rk中；若/>
Figure FDA0004138287990000018
小于等于阈值Dkcf，则将目标分为虚假目标、被遮挡目标、消亡目标三种情况；
步骤四：计算同一目标i在k-1帧和k帧的响应热图之间的距离
Figure FDA00041382879900000116
从而决定是否要更新目标模板/>
Figure FDA0004138287990000019
及参数α；
步骤五：根据目标在k帧及k-1帧的跟踪结果集中的位置和运动信息，构建运动模型，从而更新存活目标在k帧中的速度信息；
步骤六：对新生目标与漏检目标判断，对新生目标的判断方法为：将
Figure FDA00041382879900000110
与k帧的跟踪结果集Rk逐一进行IOU计算匹配，寻找相交最大值Smax以及对应的跟踪框/>
Figure FDA00041382879900000111
若结果Smax大于阈值DIOU，则判断此检测框/>
Figure FDA00041382879900000112
与跟踪框/>
Figure FDA00041382879900000113
为同一存活目标，将/>
Figure FDA00041382879900000114
更新入跟踪结果集Rk中，并从检测集Tk删除/>
Figure FDA00041382879900000115
遍历所有检测集后，剩余无跟踪框匹配的检测框即为新生目标；
对漏检目标的判断方法为：对k-1帧的跟踪框结果集Rk-1进行逐个的KCF跟踪，当
Figure FDA0004138287990000021
大于阈值Dkcf时，都判断为存活目标；然后与k帧的检测框信息进行IOU计算，当/>
Figure FDA0004138287990000022
与k帧的检测框集Tk中所有的检测框IOU计算结果都小于阈值DIOU时，则表明没有检测框与目标对应，视为漏检目标，并将/>
Figure FDA0004138287990000023
添加入k帧跟踪框结果集Rk中，继续跟踪；
将k帧的跟踪结果集Rk与k帧的检测集Tk进行IOU计算的公式为：
Figure FDA0004138287990000024
其中，Area(a)表示目标a的目标框区域，Area(a)∩Area(b)表示目标a与目标b相交部分的区域面积，Area(a)∪Area(b)表示目标a与目标b的并区域面积。
2.如权利要求1所述的一种融合运动信息的核相关滤波多目标跟踪方法，其特征在于，所述岭回归函数为：
Figure FDA0004138287990000025
其中，
Figure FDA0004138287990000026
表示核函数，并将其放入傅里叶域内方便计算，xi为目标样本向量，yi为回归模型将输入特征的所有循环视为具有高斯加权标签的训练样本，^表示傅里叶计算，λ为正则化参数，kxx为内核矩阵K＝C(kxx)的第一行，解得：
Figure FDA0004138287990000027
3.如权利要求1所述的一种融合运动信息的核相关滤波多目标跟踪方法，其特征在于，所述位置预测公式为：
Figure FDA0004138287990000028
Figure FDA0004138287990000029
其中，xk-1、yk-1分别表示k-1帧目标左上角的横坐标、纵坐标，
Figure FDA00041382879900000210
表示k-1帧目标在横坐标方向上的速度，/>
Figure FDA0004138287990000031
表示k-1帧目标在纵坐标方向上的速度。
4.如权利要求1所述的一种融合运动信息的核相关滤波多目标跟踪方法，其特征在于，所述响应热图f(Z)为：
Figure FDA0004138287990000032
其中，
Figure FDA0004138287990000033
表示核函数。
5.如权利要求4所述的一种融合运动信息的核相关滤波多目标跟踪方法，其特征在于，所述响应热图距离
Figure FDA0004138287990000034
计算公式如下：
Figure FDA0004138287990000035
其中，
Figure FDA0004138287990000036
分别表示为第k-1、k帧中第i个目标的响应热图，由响应热图f(Z)计算得到；Δ表示k-1帧到k帧置信度最大值的移位数，/>
Figure FDA0004138287990000037
表示移位操作。
6.如权利要求1所述的一种融合运动信息的核相关滤波多目标跟踪方法，其特征在于，所述更新操作如下：
Figure FDA0004138287990000038
Figure FDA0004138287990000039
其中，η为学习参数，DSCCM为阈值。
7.如权利要求1所述的一种融合运动信息的核相关滤波多目标跟踪方法，其特征在于，所述运动模型如下：
Figure FDA00041382879900000310
Figure FDA00041382879900000311
其中，θ表示速度的学习参数，
Figure FDA00041382879900000312
表示/>
Figure FDA00041382879900000313
左上角的横坐标，/>
Figure FDA00041382879900000314
表示/>
Figure FDA00041382879900000315
左上角的纵坐标，
Figure FDA00041382879900000316
表示/>
Figure FDA00041382879900000317
的宽，/>
Figure FDA00041382879900000318
表示/>
Figure FDA00041382879900000319
的高。
8.如权利要求1所述的一种融合运动信息的核相关滤波多目标跟踪方法，其特征在于，所述虚假目标判断方法为：若该目标同时满足
Figure FDA0004138287990000041
小于阈值Dkcf、历史轨迹长度小于阈值Dlen、历史轨迹中置信度最大的框小于阈值Dconf，则认为该目标为虚假目标，删除该虚假目标在历史帧中的历史轨迹，从而减少误跟；所述历史轨迹为：
Figure FDA0004138287990000042
其中，j为该目标在视频帧中出现次数。
9.如权利要求1所述的一种融合运动信息的核相关滤波多目标跟踪方法，其特征在于，所述被遮挡目标的判断方法为：当目标
Figure FDA0004138287990000043
小于阈值Dkcf，则设置K帧的平滑滤波，用目标的运动信息对后续帧运动轨迹做预测得到/>
Figure FDA0004138287990000044
Figure FDA0004138287990000045
保持不变，将
Figure FDA0004138287990000046
放入跟踪结果集中，观察这K帧内该目标的位置运动信息，若K帧内都没有检测框与该目标跟踪框匹配，即IOU计算大于阈值DIOU，则认为该目标已经消失，删除这k帧中对该目标的跟踪轨迹，删除目标模板，结束跟踪，否则认为该目标为被遮挡目标，使用速度信息估计中间被遮挡目标的跟踪框，并持续跟踪。
10.如权利要求1所述的一种融合运动信息的核相关滤波多目标跟踪方法，其特征在于，所述消亡目标的判断方法为：对上一帧跟踪框结果集Rk-1进行消亡目标的判断，若目标
Figure FDA0004138287990000047
的最大相应值/>
Figure FDA0004138287990000048
小于阈值Dkcf，并在经历过虚假目标，遮挡目标的机制判断后，确定
Figure FDA0004138287990000049
即不是虚假目标也不是被遮挡目标，则可判定为该目标为消亡目标，保留该目标的历史轨迹，并结束跟踪。
CN202010089349.2A 2020-02-12 2020-02-12 一种融合运动信息的核相关滤波多目标跟踪方法 Active CN111292355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010089349.2A CN111292355B (zh) 2020-02-12 2020-02-12 一种融合运动信息的核相关滤波多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010089349.2A CN111292355B (zh) 2020-02-12 2020-02-12 一种融合运动信息的核相关滤波多目标跟踪方法

Publications (2)

Publication Number Publication Date
CN111292355A CN111292355A (zh) 2020-06-16
CN111292355B true CN111292355B (zh) 2023-06-16

Family

ID=71030751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010089349.2A Active CN111292355B (zh) 2020-02-12 2020-02-12 一种融合运动信息的核相关滤波多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN111292355B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001946B (zh) * 2020-07-14 2024-11-29 浙江大华技术股份有限公司 一种目标对象跟踪方法、计算机设备以及装置
CN114004861B (zh) * 2020-07-28 2023-04-07 华为技术有限公司 目标跟踪方法及相关系统、存储介质、智能驾驶车辆
CN112233140B (zh) * 2020-07-31 2022-10-21 中国人民解放军陆军炮兵防空兵学院 一种基于diou损失与平滑约束的ssvm跟踪方法
CN112053325A (zh) * 2020-08-12 2020-12-08 华东交通大学 一种乳腺肿块图像处理和分类系统
CN112614159B (zh) * 2020-12-22 2023-04-07 浙江大学 一种面向仓库场景的跨摄像头多目标跟踪方法
CN112528927B (zh) * 2020-12-22 2024-05-10 阿波罗智联(北京)科技有限公司 基于轨迹分析的置信度确定方法、路侧设备及云控平台
CN112581507B (zh) * 2020-12-31 2024-11-01 赵华 目标跟踪方法、系统及计算机可读存储介质
CN112734809B (zh) * 2021-01-21 2024-07-05 高新兴科技集团股份有限公司 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置
CN113223052A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 轨迹优化方法、装置、设备、存储介质以及程序产品
CN113259630B (zh) * 2021-06-03 2021-09-28 南京北斗创新应用科技研究院有限公司 一种多摄像头行人轨迹聚合系统和方法
CN113920168B (zh) * 2021-11-02 2024-09-03 中音讯谷科技有限公司 一种音视频控制设备中图像跟踪方法
CN114972418B (zh) * 2022-03-30 2023-11-21 北京航空航天大学 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN114943955B (zh) * 2022-07-25 2022-11-01 山东广通汽车科技股份有限公司 一种用于半挂车自动卸货控制方法
CN116385498A (zh) * 2023-06-05 2023-07-04 成都九洲迪飞科技有限责任公司 一种基于人工智能的目标跟踪方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010067B (zh) * 2017-12-25 2018-12-07 北京航空航天大学 一种基于组合判断策略的视觉目标跟踪方法
CN110008844B (zh) * 2019-03-12 2023-07-21 华南理工大学 一种融合slic算法的kcf长期手势跟踪方法
CN110084831B (zh) * 2019-04-23 2021-08-24 江南大学 基于YOLOv3多伯努利视频多目标检测跟踪方法
CN110751096B (zh) * 2019-10-21 2022-02-22 陕西师范大学 一种基于kcf轨迹置信度的多目标跟踪方法

Also Published As

Publication number Publication date
CN111292355A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111292355B (zh) 一种融合运动信息的核相关滤波多目标跟踪方法
CN110084831B (zh) 基于YOLOv3多伯努利视频多目标检测跟踪方法
Krebs et al. A survey on leveraging deep neural networks for object tracking
CN112541441B (zh) 一种融合相关滤波的gm-phd视频多目标跟踪方法
CN112700475A (zh) 不同场景下自适应的多目标视频追踪系统
CN111091583B (zh) 长期目标跟踪方法
Zhang et al. Visual tracking using Siamese convolutional neural network with region proposal and domain specific updating
Zhang et al. SIFT flow for abrupt motion tracking via adaptive samples selection with sparse representation
An et al. Anomalies detection and tracking using Siamese neural networks
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN106023650A (zh) 基于交通路口视频及计算机并行处理的实时行人预警方法
He et al. Fast online multi-pedestrian tracking via integrating motion model and deep appearance model
Zhou et al. A survey of multi-object video tracking algorithms
Zhang et al. An approach focusing on the convolutional layer characteristics of the VGG network for vehicle tracking
Song et al. Action-state joint learning-based vehicle taillight recognition in diverse actual traffic scenes
Lu et al. Hybrid deep learning based moving object detection via motion prediction
Badal et al. Online multi-object tracking: multiple instance based target appearance model
CN114170561B (zh) 一种应用于智能建筑的机器视觉行为意图预测方法
CN113838091B (zh) 一种稀疏目标跟踪方法
CN115294490A (zh) 一种间歇性遮挡下的动态多目标识别方法
Barnwal Vehicle Behavior analysis for uneven road surface detection
Tian et al. Pedestrian multi-target tracking based on YOLOv3
Zhang et al. Multi-scale vehicle detection and tracking method in highway scene
Bai et al. Pedestrian Tracking and Trajectory Analysis for Security Monitoring
Cui et al. Object discriminability re-extraction for distractor-aware visual object tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240729

Address after: No. 168 Hexiao East Road, Ningbo City, Zhejiang Province, 315000

Patentee after: Ningbo New Quality Intelligent Manufacturing Technology Research Institute

Country or region after: China

Address before: 214000 1800 Lihu Avenue, Binhu District, Wuxi, Jiangsu

Patentee before: Jiangnan University

Country or region before: China

OL01 Intention to license declared
OL01 Intention to license declared
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200616

Assignee: Ningbo Leshu Sports Culture Co.,Ltd.

Assignor: Ningbo New Quality Intelligent Manufacturing Technology Research Institute

Contract record no.: X2024980015985

Denomination of invention: A Multi object Tracking Method with Kernel Correlation Filtering and Fusion of Motion Information

Granted publication date: 20230616

License type: Open License

Record date: 20240924

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200616

Assignee: Ningbo Fengyang Construction Co.,Ltd.

Assignor: Ningbo New Quality Intelligent Manufacturing Technology Research Institute

Contract record no.: X2024980016474

Denomination of invention: A Multi object Tracking Method with Kernel Correlation Filtering and Fusion of Motion Information

Granted publication date: 20230616

License type: Open License

Record date: 20240927

EE01 Entry into force of recordation of patent licensing contract