Nothing Special   »   [go: up one dir, main page]

CN109344725B - 一种基于时空关注度机制的多行人在线跟踪方法 - Google Patents

一种基于时空关注度机制的多行人在线跟踪方法 Download PDF

Info

Publication number
CN109344725B
CN109344725B CN201811034852.7A CN201811034852A CN109344725B CN 109344725 B CN109344725 B CN 109344725B CN 201811034852 A CN201811034852 A CN 201811034852A CN 109344725 B CN109344725 B CN 109344725B
Authority
CN
China
Prior art keywords
layer
attention
pedestrian
target
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811034852.7A
Other languages
English (en)
Other versions
CN109344725A (zh
Inventor
杨华
朱继
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201811034852.7A priority Critical patent/CN109344725B/zh
Publication of CN109344725A publication Critical patent/CN109344725A/zh
Application granted granted Critical
Publication of CN109344725B publication Critical patent/CN109344725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于时空关注度机制的多行人在线跟踪方法，包括步骤为：行人检测，行人跟踪和数据关联。本发明提供的基于时空关注度机制的多行人在线跟踪方法：(针对现有在线跟踪算法用于训练模型的正、负样本不均衡的问题，提出了融合自适应样本权重项的跟踪目标函数，根据样本在模型训练过程中计算得到的损失值重新分配样本权重，提升了跟踪模型更新的有效性；针对数据关联中易受被遮挡或位置偏移的噪声样本干扰的问题，提出了融合时空域关注度机制的深度神经网络匹配模型，使其在空域上关注比对图片中的相关区域而忽略非相关区域，在时域上模型关注历史轨迹中的正样本而忽略噪声样本，从而提升了多行人跟踪的准确率。

Description

一种基于时空关注度机制的多行人在线跟踪方法
技术领域
本发明涉及计算机视频处理技术领域，具体地，涉及一种基于时空关注度机制的多行人在线跟踪方法。
背景技术
多行人跟踪任务就是要在包含多个行人的视频中，计算每个行人目标的轨迹并进行追踪。该算法在实际场景有广泛的应用，比如无人驾驶、智能视频监控、球类运动分析等。其挑战在于(1)视频中行人目标数量不定，随时可能进入和离开视野范围；(2)不同行人间容易频繁交互产生遮挡，对目标的跟踪造成干扰。
现有的多行人跟踪方法可以分为离线和在线两大类。离线方法以整体视频内容作为输入，分析当前视频帧时可以利用过去和未来帧的全局信息建立全局优化的图模型，因此对目标遮挡和短暂丢失等问题的鲁棒性更强。然而其局限性在于无法应用在实时场景中，比如无人驾驶和球赛实况分析。相比之下，在线方法只利用历史视频帧信息实时计算当前帧的目标位置，因而应用范围更广。
现有的多行人在线跟踪方法存在以下局限：(1)传统跟踪算法中的搜索区域存在正负训练样本不均衡的问题，有效的正样本很少而作用微小的背景负样本却很多。这会在一定程度上降低跟踪模型的抗干扰性能，造成跟踪对象的漂移。(2)由于行人间的交互频繁发生，仅仅利用历史帧信息计算得到的轨迹中容易包含位置不准确或被遮挡的噪声样本。现有的在线多行人跟踪方法没有对噪声样本的抗干扰和过滤机制，噪声的不断积累会对后续跟踪产生干扰，造成目标轨迹的偏移或丢失。
目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明的目的在于克服上述现有多行人在线跟踪方法的不足之处，提出了一种基于时空关注度机制的多行人在线跟踪方法，可以应用于智能视频监控，无人驾驶等场景中。首先，针对跟踪算法正负样本不均衡的问题，本发明设计了融合自适应样本权重项的目标函数，根据跟踪模型训练过程计算得到的损失值重新分配样本权重，提升了样本训练的有效性。然后针对跟踪中产生的位置不准确或者被遮挡的噪声样本，本发明设计了融合时空关注度机制的深度神经网络模型。在空域上，该网络会自主学习关注样本中的相关区域而忽略非相关区域，在时域上模型会根据轨迹中的样本一致性主动关注轨迹中的正确样本而忽略噪声样本，从而提升了对行人保持持续跟踪的能力。
本发明是通过以下技术方案实现的。
一种基于时空关注度机制的多行人在线跟踪方法，包括以下步骤：
S1：使用DPM目标检测算法检测出当前视频帧中行人目标的位置；
S2：对当前视频帧中的每个行人进行在线目标跟踪并计算目标跟踪的置信度分数；
S3：如果行人目标跟踪的置信度分数低于设定阈值则暂停跟踪，判定目标进入丢失状态，此时需在后续视频帧中不断对新检测到的候选行人目标和已丢失行人目标的轨迹之间进行数据关联，若已丢失行人目标关联成功则恢复S2的跟踪；
S4：若行人目标保持丢失状态超过预设的时间阈值，则判定该行人目标消失在场景中，并终止对该行人目标的跟踪。
优选地，S2中所述的在线目标跟踪并计算目标跟踪的置信度分数，包括以下步骤：
S21：以行人第一帧的初始检测框为中心，选取长宽分别为该检测框长宽2倍的矩形区域作为采样区域，采集正负图像样本，初始化训练卷积滤波器f；其中，正图像样本为与检测框的交并比大于0.9的矩形区域内图像，负图像样本为与检测框的交并比小于0.4的矩形区域内图像；
S22：在当前帧的目标搜索区域内，用上一帧训练学习到的卷积滤波器f对目标搜索区域做卷积操作，取置信度值最高的位置作为当前帧行人目标的位置；
S23：利用当前帧采样区域的正负样本，训练更新卷积滤波器f；
S24：采用S23中当前帧训练更新得到的卷积滤波器f对下一帧目标搜索区域做卷积操作，并取置信度值最高的位置作为下一帧行人目标的位置。
优选地，S23中，训练更新卷积滤波器f采用如下目标优化函数：
Figure BDA0001789104140000021
Figure BDA0001789104140000022
其中，M表示训练卷积滤波器f模型所利用的历史视频帧数，αj表示第j帧的学习权重，q(t)表示每一帧中不同位置样本的自适应权重项，可以根据不同位置样本的损失值的相对大小自适应分配样本权重，L2表示L2范数，D表示多分辨卷积滤波器f的分辨率个数，w(t)表示空域正则化函数，fd(t)表示多分辨卷积滤波器f中编号为d的滤波器fd(t)，xj表示第j个训练样本，Sf表示利用卷积滤波器f对样本xj做卷积的操作函数，yj表示第j个训练样本期望的置信度响应值分布。
优选地，S3中的数据关联包括空域关联和时域关联两个过程，其中，空域关联过程将需要关联的两张图片输入融合空域关注度机制的深度神经网络提取空域关注度特征，时域关联过程将需要关联的目标轨迹中每个样本的空域关注度特征输入融合时域关注度机制的深度神经网络判定数据关联的置信度。
优选地，空域关联过程中使用的融合空域关注度机制的深度神经网络结构，从输入到输出包括：两个权值参数共享的特征提取层、一个匹配层、一个卷积核大小为1x1的卷积层、两个空域关注度层、一个特征合并层和一个全连接层a。
优选地，匹配层对特征提取层提取的卷积特征图Xα，Xβ做归一化并计算Xα，Xβ间的相似矩阵S如下：
Figure BDA0001789104140000031
其中
Figure BDA0001789104140000032
分别表示卷积特征图Xα，Xβ上第i个位置对应的特征向量，si表示相似矩阵S第i个位置的相似度值。
优选地，对于卷积特征图Xα，将相似矩阵S经过卷积核大小为1x1的卷积层输出对应的空域关注度层Aα，Aα上每个位置的关注度值计算如下：
Figure BDA0001789104140000033
其中，θs表示1x1卷积层的权值向量，
Figure BDA0001789104140000034
表示Aα上第i个位置的关注度值；
对于卷积特征图Xβ，将相似度矩阵S的转置ST经过卷积核大小为1x1的卷积层，输出对应的空域关注度层Aβ，Aβ上每个位置的关注度值计算如下：
Figure BDA0001789104140000041
其中，θs表示1x1卷积层的权值向量，
Figure BDA0001789104140000042
表示Aβ上第i个位置的关注度值，s′i表示Xβ第i个位置与Xα上所有N个位置的相似度向量。
优选地，卷积特征图Xα，Xβ分别与其对应的空域关注度层Aα，Aβ相乘，经过全局池化得到融合空域关注度的特征向量
Figure BDA0001789104140000043
并在特征合并层中合并在一起，再经过全连接层a得到最终的空域关注度特征向量
Figure BDA0001789104140000044
优选地，时域关联过程中使用的融合时域关注度机制的深度神经网络结构，从输入到输出包括：一个双向长短时记忆层、一个全连接层b、一个时域关注度层、一个加权平均池化层和一个二分类输出层。
优选地，时域关注度层计算得到的每个样本的时域关注度值定义如下：
Figure BDA0001789104140000045
其中，
Figure BDA0001789104140000046
分别是双向长短时记忆层提取的时域双向特征，θh是全连接层b的权值参数，T是轨迹长度。
优选地，加权平均池化层将时域关注度层计算得到的时域关注度值{a1，…，aT}作为权重对时域双向特征
Figure BDA0001789104140000047
和
Figure BDA0001789104140000048
做加权平均，得到融合时域关注度的特征向量
Figure BDA0001789104140000049
如下：
Figure BDA00017891041400000410
与现有技术相比，本发明具有如下有益效果：
(1)针对现有在线跟踪算法用于训练模型的正、负样本不均衡的问题提出了融合自适应样本权重项的跟踪目标函数，根据样本在模型训练过程中计算得到的损失值重新分配样本权重，提升了模型更新的有效性；
(2)针对数据关联中易受被遮挡或位置偏移的噪声样本干扰的问题，提出了融合时空域关注度机制的深度神经网络匹配模型，使其在空域上关注比对图片中的相关区域而忽略非相关区域，在时域上模型关注历史轨迹中的正样本而忽略噪声样本，从而提升了多行人跟踪的准确率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的基于时空关注度机制的多行人在线跟踪方法流程图。
图2为本发明一实施例提供的融合空域关注度机制的深度神经网络结构示意图。
图3为本发明一实施例提供的融合时域关注度机制的深度神经网络结构示意图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
实施例
本实施例提供了一种基于时空关注度机制的多行人在线跟踪方法，下面结合一具体应用实例，对本发明实施例的技术方案进行详细说明。
本实施例采用的视频来自多目标跟踪数据集MOT16，该数据集包含7个训练视频和7个测试视频，每个视频包含不同的场景、拍摄角度和人群密度。
本实施例涉及的多行人在线跟踪方法，其流程图如图1所示，包括如下具体步骤：
1.使用DPM(Deformable Parts Model)目标检测算法检测出当前视频帧的行人目标位置。
2.对视频帧中的每个行人同时进行在线跟踪并计算跟踪的置信度分数，具体步骤如下：
(1)给定视频第一帧中某个行人目标的检测框，以该行人检测框中心为中心，选取长宽分别为该检测框长宽2倍的矩形区域作为采样区域，均匀采集正负图像样本(其中，正图像样本为与检测框的交并比大于0.9的矩形区域内图像，负图像样本为与检测框的交并比小于0.4的矩形区域内图像)，用于初始化学习卷积滤波器f，使得该滤波器在对应目标中心位置的样本上置信度响应值最高。
(2)在接下来的视频帧中，以上一帧的行人检测框中心为中心，选取长宽分别为该检测框长宽2倍的矩形区域作为当前帧的目标搜索区域，用上一帧训练学习到的卷积滤波器f对搜索区域做卷积操作，取置信度响应值最高的位置作为当前帧行人目标的位置。
(3)以当前帧搜索区域内行人目标的位置区域作为正样本，以搜索区域内的其他样本作为负样本，训练更新卷积滤波器f。本实施例定义的用于更新卷积滤波器的目标函数中引入了自适应样本权重项q(t)，该目标函数的具体定义如下：
Figure BDA0001789104140000061
Figure BDA0001789104140000062
其中，M表示训练模型所利用的历史视频帧数，αj表示第j帧的学习权重，q(t)表示每一帧中不同位置样本的自适应权重项，可以根据不同位置样本的损失值的相对大小自适应分配样本权重，L2表示L2范数，D表示多分辨卷积滤波器f的分辨率个数，w(t)表示空域正则化函数，fd(t)表示多分辨卷积滤波器f中编号为d的滤波器fd(t)，xj表示第j个训练样本，Sf表示利用卷积滤波器f对样本xj做卷积的操作函数，yj表示第j个训练样本期望的置信度响应值分布。
(4)在下一帧中，以当前帧的行人检测框中心为中心，选取长宽分别为该检测框长宽2倍的矩形区域作为下一帧的目标搜索区域，用当前帧训练学习到的卷积滤波器f对搜索区域做卷积操作，计算置信度响应分布图，并取置信度响应值最高的位置作为下一帧行人目标的位置。
3、当行人被遮挡时，跟踪的置信度分数会低于一定阈值造成目标丢失，本实施例将跟踪置信度阈值设置为0.2。低于该阈值时，判定目标暂时丢失，并需要在后续视频帧中不断将新检测到的候选行人目标和已丢失行人目标的轨迹做数据关联，一旦丢失目标重新关联上就恢复第2步的跟踪。数据关联过程中涉及空域比对和时域比对两个环节。空域上将候选行人样本图片与已丢失行人的历史轨迹中每个样本图片单独提取特征并进行比对，时域上需要综合历史轨迹中所有样本的比对信息，计算匹配关联的置信度。数据关联的具体步骤如下：
(1)在空域上，在该实施例中将需要比对的两张行人图片缩放为大小为224x224的正方形图片，输入图2所示的融合空域关注度机制的深度神经网络提取比对特征。该神经网络从输入到输出包含两个权值参数共享的特征提取层，一个匹配层，一个卷积核大小为1x1的卷积层，两个空域关注度层，一个特征合并层和一个全连接层。其中，特征提取层利用ResNet50分类网络结构提取两张图片的卷积特征图Xα，Xβ，本实施例中卷积特征图的维度为7x7x2048。匹配层对ResNet50提取的卷积特征做归一化并计算Xα，Xβ间的相似矩阵S如下：
Figure BDA0001789104140000071
本实施例中，
Figure BDA0001789104140000072
分别表示卷积特征图Xα，Xβ上第i个位置对应的长度为2048的特征向量，si表示Xα第i个位置与Xβ上所有N个位置的相似度向量。对于卷积特征图Xα，我们将相似度矩阵S经过卷积核大小为1x1的卷积层输出对应的空域关注度层Aα。本实施例中，Aα的维度大小为7x7，其上每个位置的关注度值计算如下：
Figure BDA0001789104140000073
其中θs表示1x1卷积层的权值向量，
Figure BDA0001789104140000074
表示Aα上第i个位置的关注度值。对于卷积特征图Xβ，将相似度矩阵S的转置ST经过卷积核大小为1x1的卷积层，输出对应的空域关注度层Aβ，Aβ上每个位置的关注度值计算如下：
Figure BDA0001789104140000075
其中，θs表示1x1卷积层的权值向量，
Figure BDA0001789104140000076
表示Aβ上第i个位置的关注度值，s′i表示Xβ第i个位置与Xα上所有N个位置的相似度向量。接下来将卷积特征图Xα，Xβ分别与其对应的关注度层Aα，Aβ相乘，经过全局池化得到融合空域关注度的特征向量
Figure BDA0001789104140000077
向量长度为2048。然后
Figure BDA0001789104140000078
在特征合并层中合并在一起并经过全连接层得到最终的特征向量
Figure BDA0001789104140000079
本实施例中该特征向量的长度为512。
(2)在时域上，将历史轨迹中所有样本的空域比对特征输入图3所示的融合时域关注度机制的深度神经网络，计算数据关联的置信度。该神经网络从输入到输出包含一个双向长短时记忆层(Bi-directional Long Short Term Model，Bi-LSTM)，一个全连接层，一个时域关注度层，一个加权平均池化层和一个二分类输出层。其中，Bi-LSTM层可以综合历史轨迹中所有样本的空域比对特征
Figure BDA00017891041400000710
提取时域双向特征
Figure BDA0001789104140000081
和
Figure BDA0001789104140000082
该时域双向特征经过一个全连接层θh，输入到时域关注度层，时域关注度层根据下式计算轨迹中每个样本的关注度：
Figure BDA0001789104140000083
接下来，加权平均池化层将时域关注度层计算得到的时域关注度值{a1，…，aT}作为权重对时域双向特征
Figure BDA0001789104140000084
和
Figure BDA0001789104140000085
做加权平均，得到融合时域关注度的特征向量
Figure BDA0001789104140000086
如下：
Figure BDA0001789104140000087
最终将融合时域关注度的特征向量
Figure BDA0001789104140000088
输入Sigmoid二分类层，输出数据关联的置信度。本实施例中，设定数据关联的置信度阈值为0.6。如果置信度大于该阈值，则成功将丢失目标的轨迹和当前帧检测到的候选行人目标关联上，并恢复对该目标的跟踪。如果置信度低于阈值，则关联失败，目标保持丢失状态，并在下一帧中检测到的候选行人目标中继续匹配过程。
4.本实施例中，若目标持续保持丢失状态超过50帧，则认为该目标已消失在场景中，并放弃对其的继续跟踪。
本实施例采用多目标跟踪准确率(Multiple 0bject Tracking Accuracy，MOTA)来评估本发明提出的多行人在线跟踪方法的性能。实验中使用未引入本发明上述实施例提出的自适应样本权重项和时空关注度机制的传统方法作为对比基准，通过逐步融合本发明上述实施例提出的改进方法并加以评估，验证本发明上述实施例所提供的技术方案的有效性。表1给出了MOT16数据集上的MOTA评估结果。实验证明，本发明上述实施例较之传统方法能够更好地处理被遮挡和位置偏移的噪声样本，从而有效提升多行人在线跟踪的精度。
表1
Figure BDA0001789104140000089
Figure BDA0001789104140000091
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种基于时空关注度机制的多行人在线跟踪方法，其特征在于：包括以下步骤：
S1：使用DPM目标检测算法检测出当前视频帧中行人目标的位置；
S2：对当前视频帧中的每个行人进行在线目标跟踪并计算目标跟踪的置信度分数；
S3：如果行人目标跟踪的置信度分数低于设定阈值则暂停跟踪，判定目标进入丢失状态，此时需在后续视频帧中不断对新检测到的候选行人目标和已丢失行人目标的轨迹之间进行数据关联，若已丢失行人目标关联成功则恢复S2的跟踪；
S4：若行人目标保持丢失状态超过预设的时间阈值，则判定该行人目标消失在场景中，并终止对该行人目标的跟踪；
S2中所述的在线目标跟踪并计算目标跟踪的置信度分数，包括以下步骤：
S21：以行人第一帧的初始检测框为中心，选取长宽分别为该检测框长宽2倍的矩形区域作为采样区域，采集正负图像样本，初始化训练卷积滤波器f；其中，正图像样本为与检测框的交并比大于0.9的矩形区域内图像，负图像样本为与检测框的交并比小于0.4的矩形区域内图像；
S22：以上一帧的行人检测框中心为中心，选取长宽分别为该检测框长宽2倍的矩形区域作为当前帧的目标搜索区域，在当前帧的目标搜索区域内，用上一帧训练学习到的卷积滤波器f对目标搜索区域做卷积操作，取置信度值最高的位置作为当前帧行人目标的位置；
S23：以当前帧目标搜索区域内行人目标的位置区域作为正样本，以目标搜索区域内的其他样本作为负样本，训练更新卷积滤波器f；
S24：采用S23中当前帧训练更新得到的卷积滤波器f对下一帧目标搜索区域做卷积操作，并取置信度值最高的位置作为下一帧行人目标的位置；
S23中，训练更新卷积滤波器f采用如下目标优化函数：
Figure FDA0002551675970000011
Figure FDA0002551675970000012
其中，M表示训练卷积滤波器f模型所利用的历史视频帧数，αj表示第j帧的学习权重，q(t)表示每一帧中不同位置样本的自适应权重项，根据不同位置样本的损失值的相对大小自适应分配样本权重，L2表示L2范数，D表示多分辨卷积滤波器f的分辨率个数，w(t)表示空域正则化函数，fd(t)表示多分辨卷积滤波器f中编号为d的滤波器fd(t)，xj表示第j个训练样本，Sf表示利用卷积滤波器f对样本xj做卷积的操作函数，yj表示第j个训练样本期望的置信度响应值分布。
2.根据权利要求1所述的基于时空关注度机制的多行人在线跟踪方法，其特征在于：S3中的数据关联包括空域关联和时域关联两个过程，其中，空域关联过程将需要关联的两张图片输入融合空域关注度机制的深度神经网络提取空域关注度特征，时域关联过程将需要关联的目标轨迹中每个样本的空域关注度特征输入融合时域关注度机制的深度神经网络判定数据关联的置信度。
3.根据权利要求2所述的基于时空关注度机制的多行人在线跟踪方法，其特征在于：空域关联过程中使用的融合空域关注度机制的深度神经网络结构，从输入到输出包括：两个权值参数共享的特征提取层、一个匹配层、一个卷积核大小为1x1的卷积层、两个空域关注度层、一个特征合并层和一个全连接层a。
4.根据权利要求3所述的基于时空关注度机制的多行人在线跟踪方法，其特征在于：匹配层对特征提取层提取的卷积特征图Xα,Xβ做归一化并计算Xα,Xβ间的相似矩阵S如下：
Figure FDA0002551675970000021
其中
Figure FDA0002551675970000022
分别表示卷积特征图Xα,Xβ上第i个位置对应的特征向量，si表示Xα第i个位置与Xβ上所有N个位置的相似度向量。
5.根据权利要求4所述的基于时空关注度机制的多行人在线跟踪方法，其特征在于：对于卷积特征图Xα，将相似矩阵S经过卷积核大小为1x1的卷积层输出对应的空域关注度层Aα，Aα上每个位置的关注度值计算如下：
Figure FDA0002551675970000023
其中，θs表示1x1卷积层的权值向量，
Figure FDA0002551675970000024
表示Aα上第i个位置的关注度值；
对于卷积特征图Xβ，将相似度矩阵S的转置ST经过卷积核大小为1x1的卷积层，输出对应的空域关注度层Aβ，Aβ上每个位置的关注度值计算如下：
Figure FDA0002551675970000031
其中，θs表示1x1卷积层的权值向量，
Figure FDA0002551675970000032
表示Aβ上第i个位置的关注度值，s'i表示Xβ第i个位置与Xα上所有N个位置的相似度向量。
6.根据权利要求4所述的基于时空关注度机制的多行人在线跟踪方法，其特征在于：卷积特征图Xα,Xβ分别与其对应的空域关注度层Aα,Aβ相乘，经过全局池化得到融合空域关注度的特征向量
Figure FDA0002551675970000033
并在特征合并层中合并在一起，再经过全连接层a得到最终的空域关注度特征向量
Figure FDA0002551675970000034
7.根据权利要求2所述的基于时空关注度机制的多行人在线跟踪方法，其特征在于：时域关联过程中使用的融合时域关注度机制的深度神经网络结构，从输入到输出包括：一个双向长短时记忆层、一个全连接层b、一个时域关注度层、一个加权平均池化层和一个二分类输出层。
8.根据权利要求7所述的基于时空关注度机制的多行人在线跟踪方法，其特征在于：时域关注度层计算得到的每个样本的时域关注度值定义如下：
Figure FDA0002551675970000035
其中，
Figure FDA0002551675970000036
分别是双向长短时记忆层提取的时域双向特征，θh是全连接层b的权值参数，T是轨迹长度；
加权平均池化层将时域关注度层计算得到的时域关注度值{a1,…,aT}作为权重对时域双向特征
Figure FDA0002551675970000037
和
Figure FDA0002551675970000038
做加权平均，得到融合时域关注度的特征向量
Figure FDA0002551675970000039
如下：
Figure FDA00025516759700000310
CN201811034852.7A 2018-09-04 2018-09-04 一种基于时空关注度机制的多行人在线跟踪方法 Active CN109344725B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811034852.7A CN109344725B (zh) 2018-09-04 2018-09-04 一种基于时空关注度机制的多行人在线跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811034852.7A CN109344725B (zh) 2018-09-04 2018-09-04 一种基于时空关注度机制的多行人在线跟踪方法

Publications (2)

Publication Number Publication Date
CN109344725A CN109344725A (zh) 2019-02-15
CN109344725B true CN109344725B (zh) 2020-09-04

Family

ID=65296636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811034852.7A Active CN109344725B (zh) 2018-09-04 2018-09-04 一种基于时空关注度机制的多行人在线跟踪方法

Country Status (1)

Country Link
CN (1) CN109344725B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033017A (zh) * 2019-02-27 2019-07-19 中国人民解放军空军工程大学 一种多雷达航迹分步关联模糊聚类算法
CN109829445B (zh) * 2019-03-01 2021-11-30 大连理工大学 一种视频流中的车辆检测方法
CN109919110B (zh) * 2019-03-13 2021-06-04 北京航空航天大学 视频关注区域检测方法、装置及设备
CN110163890B (zh) * 2019-04-24 2020-11-06 北京航空航天大学 一种面向空基监视的多目标跟踪方法
CN110210405B (zh) * 2019-06-04 2021-02-19 中国矿业大学 一种基于目标追踪的行人搜索样本扩充方法
CN110223316B (zh) * 2019-06-13 2021-01-29 哈尔滨工业大学 基于循环回归网络的快速目标跟踪方法
US11348245B2 (en) * 2019-06-21 2022-05-31 Micron Technology, Inc. Adapted scanning window in image frame of sensor for object detection
CN110390294B (zh) * 2019-07-19 2021-03-09 中国人民解放军国防科技大学 一种基于双向长短期记忆神经网络的目标跟踪方法
CN110505583B (zh) * 2019-07-23 2021-01-22 中山大学 一种基于卡口数据与信令数据的轨迹匹配方法
CN110555864B (zh) * 2019-08-02 2022-04-01 电子科技大学 基于pspce的自适应目标跟踪方法
CN110728702B (zh) * 2019-08-30 2022-05-20 深圳大学 一种基于深度学习的高速跨摄像头单目标跟踪方法及系统
CN110737968B (zh) * 2019-09-11 2021-03-16 北京航空航天大学 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统
CN110706253B (zh) * 2019-09-19 2022-03-08 中国科学院自动化研究所 基于表观特征和深度特征的目标跟踪方法、系统、装置
CN111161321B (zh) * 2019-12-31 2023-07-04 北京理工大学重庆创新中心 一种基于背景感知的相关滤波跟踪方法
CN111046980B (zh) * 2020-03-16 2020-06-30 腾讯科技（深圳）有限公司 一种图像检测方法、装置、设备及计算机可读存储介质
CN111506691B (zh) * 2020-04-20 2024-05-31 杭州数澜科技有限公司 一种基于深度匹配模型的轨迹匹配方法和系统
CN111754545B (zh) * 2020-06-16 2024-05-03 江南大学 一种基于iou匹配的双滤波器视频多目标跟踪方法
CN112001412A (zh) * 2020-07-10 2020-11-27 浙江大华技术股份有限公司 一种多视角车辆关联的方法及相关装置
CN112070079B (zh) * 2020-07-24 2022-07-05 华南理工大学 基于特征图重赋权的x光违禁品包裹检测方法及装置
CN112069841B (zh) * 2020-07-24 2022-07-05 华南理工大学 X光违禁品包裹跟踪方法及装置
CN112288775B (zh) * 2020-10-23 2022-04-15 武汉大学 一种基于长短期预测模型的多目标遮挡跟踪方法
CN112686112B (zh) * 2020-12-23 2021-10-26 陈荣坤 节能型暖气运行控制平台
CN114820716B (zh) * 2022-06-29 2022-09-13 中兴软件技术(南昌)有限公司 基于计算机视觉的目标跟踪方法及系统
CN115908190B (zh) * 2022-12-08 2023-10-13 南京图格医疗科技有限公司 一种用于视频图像画质增强的方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330920A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN107818575A (zh) * 2017-10-27 2018-03-20 深圳市唯特视科技有限公司 一种基于分层卷积的视觉对象跟踪方法
CN108171141A (zh) * 2017-12-25 2018-06-15 淮阴工学院 基于注意力模型的级联多模式融合的视频目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144761B2 (en) * 2016-04-04 2021-10-12 Xerox Corporation Deep data association for online multi-class multi-object tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330920A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN107818575A (zh) * 2017-10-27 2018-03-20 深圳市唯特视科技有限公司 一种基于分层卷积的视觉对象跟踪方法
CN108171141A (zh) * 2017-12-25 2018-06-15 淮阴工学院 基于注意力模型的级联多模式融合的视频目标跟踪方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A spatial-temporal-semantic neural network algorithm for location prediction on moving objects;Fan Wu 等;《Algorithms》;20170630;全文 *
Correlation Filters with Weighted Convolution Responses;He Z 等;《 2017 IEEE International Conference on Computer Vision Workshop (ICCVW)》;20171231;全文 *
End-to-end Flow Correlation Tracking with Spatial-temporal Attention;Zheng Zhu 等;《arxiv》;20180227;全文 *
Online Multi-Object Tracking Using CNN-based Single Object Tracker with Spatial-Temporal Attention Mechanism;Qi Chu 等;《arxiv》;20170814;论文第3-4节 *
Tracking The Untrackable: Learning to Track Multiple Cues with Long-Term Dependencies;Amir Sadeghian 等;《arxiv》;20170403;论文第3-4节 *
基于运动注意力融合模型的目标检测与提取算法;刘龙 等;《模式识别与人工智能》;20131231;全文 *

Also Published As

Publication number Publication date
CN109344725A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109344725B (zh) 一种基于时空关注度机制的多行人在线跟踪方法
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN111882580B (zh) 一种视频多目标跟踪方法及系统
CN104835178B (zh) 一种低信噪比运动小目标的跟踪与识别的方法
CN107122736B (zh) 一种基于深度学习的人体朝向预测方法及装置
CN110660082A (zh) 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
CN113011367A (zh) 一种基于目标轨迹的异常行为分析方法
Zulkifley Two streams multiple-model object tracker for thermal infrared video
KR101414670B1 (ko) 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법
CN109993770B (zh) 一种自适应时空学习与状态识别的目标跟踪方法
CN113192105B (zh) 一种室内多人追踪及姿态估量的方法及装置
CN112616023A (zh) 复杂环境下的多摄像机视频目标追踪方法
CN111931654A (zh) 一种人员跟踪智能监测方法、系统和装置
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
Farhadi et al. TKD: Temporal knowledge distillation for active perception
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
Bajestani et al. Tkd: Temporal knowledge distillation for active perception
Kadim et al. Deep-learning based single object tracker for night surveillance
Baisware et al. Review on recent advances in human action recognition in video data
Ding et al. Machine learning model for feature recognition of sports competition based on improved TLD algorithm
CN114332163B (zh) 一种基于语义分割的高空抛物检测方法及系统
CN106485283B (zh) 一种基于Online Boosting的粒子滤波行人目标跟踪方法
Pérez-Cutiño et al. Event-based human intrusion detection in UAS using deep learning
CN110111358B (zh) 一种基于多层时序滤波的目标跟踪方法
CN113255549A (zh) 一种狼群围猎行为状态智能识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant