CN110348332A - 一种交通视频场景下机非人多目标实时轨迹提取方法 - Google Patents
一种交通视频场景下机非人多目标实时轨迹提取方法 Download PDFInfo
- Publication number
- CN110348332A CN110348332A CN201910551210.2A CN201910551210A CN110348332A CN 110348332 A CN110348332 A CN 110348332A CN 201910551210 A CN201910551210 A CN 201910551210A CN 110348332 A CN110348332 A CN 110348332A
- Authority
- CN
- China
- Prior art keywords
- target
- temporary
- current
- state
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000012937 correction Methods 0.000 claims description 33
- 238000006073 displacement reaction Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种交通视频场景下机非人多目标实时轨迹提取方法,步骤为:将输入的交通视频图像结合背景差分法进行目标检测,得到视频图像中每一帧所有交通实体目标;利用交通实体目标的长宽比和二维面积特征,实现机动车、非机动车和行人的分类识别;设计机非人多目标实时轨迹匹配跟踪算法,将每帧检测出的交通实体目标与之前检测的交通实体目标的轨迹逐一进行匹配,匹配成功就归入其所属交通实体目标实现跟踪;将完成轨迹匹配跟踪的交通实体目标的轨迹提取出来,并通过目标轨迹开始和结束坐标位置的判断,确定该交通实体的行驶方向。本发明可以实现将提取的多目标轨迹自动匹配到机非人不同交通实体和其不同交通流向,具有较好的鲁棒性。
Description
技术领域
本发明涉及智能交通技术领域,更具体的说是涉及基于交通视频场景的 机非人实时轨迹提取方法。
背景技术
实际混合交通场景中,机非人实时轨迹数据是进行交通动态冲突预警等 智能主动安全控制技术的基础。基于现有的交通视频监控网络,对获取的交 通视频图像进行分析,实时提取机非人轨迹,继而进行冲突预警等应用,在 交通领域中是一种具有代表性和实际应用前景的方法之一。然而现有研究多 注重车辆的检测与跟踪单一应用,其解决方案很少关注交通场景中的实际应 用,很少从整个实际交通场景应用角度研究机非人多目标实时轨迹提取整体 解决方案。
交通视频场景下机非人实时轨迹提取面临一些困难和挑战,如轨迹提取 中实时性低、实用水平不高。目前交通视频轨迹提取多需基于视频图像帧手 工标注且同时只能提取一辆车的轨迹,如Geroge、Tracker、NGSIM软件,不 能适用于机动车、非机动车、行人混行的实际交通场景。
因此,如何提供一种交通视频场景下机非人多目标实时轨迹提取方法是 本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种交通视频场景下机非人多目标实时轨迹提 取方法,实现将提取的多目标轨迹自动匹配到机非人不同交通实体和其不同 交通流向。该方法可提供各种交通视频场景的机非人实时轨迹数据提取,进 而为实时交通安全预警、车辆行驶安全评价、微观交通特性分析等提供基础 数据支持。
为了实现上述目的,本发明采用如下技术方案:
一种交通视频场景下机非人多目标实时轨迹提取方法,包括以下步骤:
S1目标检测:读取视频帧,并检测每一帧中所有交通实体目标;
S2目标识别:利用所述交通实体目标的二维面积和长宽比特征,识别出 每一帧所述交通实体目标的类别,所述类别包括机动车、非机动车和行人;
S3目标实时匹配跟踪:将每一帧识别出的所述机动车、所述非机动车和 所述行人与之前存放的各个目标的轨迹逐一进行匹配,如果匹配成功,则加 入所属目标进行存放,否则作为新目标存放;
S4目标轨迹修正:基于之前存放的交通实体目标轨迹,运用卡尔曼滤波 对新加入所属目标的当前帧目标轨迹信息进行修正,消除检测噪声误差,使 目标轨迹整体平滑真实;
S5目标轨迹提取以及确定目标行驶方向:检索所有已存目标,提取出同 一属性的目标轨迹;并通过所述目标轨迹开始坐标位置和结束坐标位置,确 定该目标的行驶方向。
进一步,在所述S1中,利用背景差分法检测目标,公式为:
ff为当前视频帧,bf为背景图像,T为灰度差分阈值,如果ff与bf的像 素点的差值小于阈值T,则判定当前像素点不是运动区域,算为0,否则,判 定当前像素点在运动区域内,算为1,Df(x,y)为运动区域图像。
进一步,所述S2目标识别的具体步骤为:
S21:提取目标矩形框
D=g[Df(x,y)] (2)
D={(Xi,b,Yi,b)|i∈N+,b=1orb=2} (3)
其中,点集D表示目标矩形区域的左上角坐标和右下角坐标的集合,b=1 时,(Xi,1,Yi,1)表示目标矩形区域的左上角坐标,b=2时,(Xi,2,Yi,2)表示目标矩 形区域的右下角坐标,i是目标的序号,N=[1,2,......i],函数g(x)是轮廓提取;
S22:计算目标中点坐标
其中,X、Y是目标i的中点坐标,中点坐标代表目标i的坐标;
S23:计算目标的高度和宽度
其中,Wi、hi分别表示目标i的宽度和高度;
S24:识别目标并划分目标的类型
其中,类型0表示机动车,类型1表示非机动车、类型2表示行人;Ls1~ Ls6是根据具体视频画面比例预先设置的面积阈值,Lr1~Lr6是根据具体视频画 面比例预先设置的宽高比阈值。
上述进一步技术方案的有益效果为:本发明提出利用交通实体目标的长 宽比和二维面积特征,实现视频中机动车、非机动车和行人交通实体目标的 分类识别,可解决实际交通场景中摄像头拍摄的车辆转弯时的长宽比变化大 和不同方向行驶的车辆的长宽比不同,从而难以实现机非人的精准区分等问 题。
进一步,所述S3目标实时匹配跟踪的具体步骤为:
S31:判断含有所述目标的视频帧是否为第一次检测到目标的视频帧,若 是,则将该第一批目标视频帧进行保存,并记录所述目标包含的坐标以及时 间,并进入下一视频帧的目标识别S2;若不是,则将匹配成功标志清零,进 入S32;
S32:利用第一批目标视频帧中目标的坐标以及时间,对当前检测出的临 时目标逐一进行匹配,若与某一类目标匹配成功,则加入该类目标进行保存; 若与保存的各个目标都不匹配,则作为新目标保存所述临时动态目标的坐标 以及时间,目标速度标志位置清零。
进一步,所述S32的具体步骤为:
S321:计算所述临时目标的临时位移以及临时时间间隔,其计算公式如 下:
dx=|X-xi,p(i)-1| (7)
dy=|Y-yi,p(i)-1| (8)
Δt=|T-ti,p(i)-1| (9)
其中,dx,dy分别表示x方向、y方向临时位移大小,Δt表示临时时间间 隔,X、Y表示当前临时目标的坐标,xi,p(i)-1、yi,p(i)-1为第i个目标的上一次被检 测到的坐标,T表示当前临时目标的帧数,ti,p(i)-1为第i个目标的上一次被检测 到的帧数;
S322:利用所述临时位移计算临时行驶角度A,其计算公式为:
S323:根据所述临时行驶角度A计算临时的下一状态行驶角度变化区间 的最大值Amax和最小值Amin:
S324:判断所述临时目标是否已经求得速度,若是,则执行S325,否则, 执行S326;
S325:判断所述临时位移、所述临时时间间隔以及所述临时行驶角度是 否满足与被匹配目标上一状态匹配的限制条件:
其中,K表示系数,取值为2,Ld表示位移的最大限制,Lt表示时间间隔 的最大限制,Ld、Lt和视频的视野、比例大小有关,根据实际交通场景人为设 置,Amin、Amax是第i个目标确定的行驶角度变化区间的最小值和最大值;
若满足上述条件,说明所述临时目标是当前被匹配目标上一个状态的下 一个状态,执行步骤S327,若不满足,将所述临时目标和已保存的下个目标 进行匹配;
S326:判断所述临时位移和所述临时时间间隔是否满足与被匹配目标上 一状态匹配的限制条件:
若满足上述条件,说明所述临时目标是当前被匹配目标上一个状态的下 一个状态,则将临时目标加入该类目标进行保存,并执行步骤S327,若不满 足,将所述临时目标和已保存的下个目标进行匹配。
进一步,S4目标轨迹修正具体步骤为:
S41:根据临时目标加入的被匹配目标上一个状态信息,计算所述临时目 标的当前轨迹预测值;根据当前检测的所述临时目标当前视频检测的状态信 息,对所述当前轨迹预测值进行卡尔曼滤波修正,得到所述临时目标的卡尔 曼滤波校正坐标;
S42:根据所述卡尔曼滤波校正坐标,更新所述临时目标的状态,并保存 新状态的参数,作为下一次匹配的限制条件,匹配成功标志位置1,速度标志 置1。
进一步,所述S41的具体步骤为:
S411轨迹预测:根据临时目标加入的被匹配目标的上一个状态信息,计 算临时目标的当前状态预测值,其状态预测方程组为:
Xt -=FX’t-1+But (17)
其中,为基于上一状态信息得到的临时目标的当前状态预测值,F表 示状态转移矩阵,B表示控制矩阵,X’t-1表示被匹配目标上一状态信息,ut表 示临时目标t时刻的加速度;P为该预测模型的协方差矩阵,表示噪声的影响, Q表示预测模型本身的噪声,为当前状态噪声协方差预测值,P′t-1为上一 个状态已修正协方差;
其中,Δt表示临时目标的临时时间间隔;
S412轨迹修正:根据临时目标当前视频帧检测的状态信息,修正临时目 标的当前状态预测值,得到临时目标的当前状态修正值,其修正方程组为:
X’t为当前状态修正值,为临时目标的当前状态预测值,Zt表示临时目 标当前视频检测的状态信息,H表示观测矩阵,H=[1 0],Kt称为卡尔曼系数;
其中,
X、Y表示当前图像处理的临时目标的坐标,Vx,Vy是临时目标的速度;
为当前状态噪声协方差预测值,R表示观测信息Z中的不确定性噪声 协方差矩阵,P′t-1为上一个状态已修正协方差,Q表示预测模型本身的噪声;
最终确定的当前状态修正信息X’t为:
t时刻临时目标修正坐标位置X’t=(X’,Y’),速度为
上述进一步技术方案的有益效果为:本发明提出了一种实时轨迹匹配跟 踪算法,通过实时计算出机非人不同类型的目标速度、加速度以及行驶方向 角度,在每一帧检测出各目标后,通过卡尔曼滤波逐一通过上一时刻的相关 数据对下一时刻进行预测,对检测目标坐标进行校正。该算法在检测的坐标 数据含有高斯白噪声以及预测中上一帧对下一时刻的计算值有误差的情况 下,均能准确得到上一帧跟当前帧之间的对应关系。此外,在预测过程中, 可实现对每个机非人目标进行分类讨论和不同参数计算,并实现高效地存储和管理大量数据,进而保证了算法的实时性。
进一步,在S42中,根据所述卡尔曼滤波校正坐标,更新所述临时目标 的状态,并保存新状态的参数,作为下一次匹配的限制条件的具体步骤为:
S421:根据所述卡尔曼滤波校正坐标,更新当前所述临时目标坐标:
xi,p(i)=X’ (26)
yi,p(i)=Y’ (27)
S422:更新当前临时目标的帧数:
ti,p(i)=T (28)
S423:更新当前临时目标的速度:
vx,i,i,p(i)=V’x (29)
vy,i,i,p(i)=V’y (30)
S424:更新当前临时目标的行驶角度A以及临时的下一状态行驶角度变 化区间的最大值Amax和最小值Amin:
A=A’ (31)
Amin=A’min (32)
Amax=A’max (33)
S425:更新当前坐标、帧数按时间顺序的下标p(i):
p(i)=p(i)+1 (34)。
经由上述的技术方案可知,与现有技术相比,本发明公开提供了一种交 通视频场景下机非人多目标实时轨迹提取方法,可以实现将提取的多目标轨 迹自动匹配到机非人不同交通实体和其不同交通流向,具有较好的鲁棒性, 易于嵌入式硬件平台实现,实时性非常高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面 描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不 付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1附图为本发明交通视频场景下机非人实时轨迹提取方法框架示意图;
图2附图为本发明交通视频场景下机非人实时轨迹提取方法框架整体实 现流程图;
图3附图为本发明提供的附图2部分轨迹匹配过程具体流程图;
图4附图为本发明中交通视频场景下机非人交通实体目标检测结果;
图5附图为本发明中交通视频场景下机非人交通实体目标识别结果;
图6附图为本发明中交通视频场景下机非人交通实体目标跟踪结果;
图7附图为本发明中交通视频场景下机非人实时轨迹提取结果。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行 清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而 不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种交通视频场景下机非人多目标实时轨迹提取方 法,包括以下步骤:
S1目标检测:读取视频帧,利用背景差分法检测每一帧中所有目标;
具体的,目标检测的公式为:
ff为当前视频帧,bf为背景图像,T为灰度差分阈值,如果ff与bf的像 素点的差值小于阈值T,则判定当前像素点不是运动区域,算为0,否则,判 定当前像素点在运动区域内,算为1,Df(x,y)为运动区域图像,从而检测出 所有交通实体目标。
S2目标识别:利用目标的二维面积和长宽比特征,识别出每一帧目标的 类别,类别包括机动车、非机动车和行人;
具体的:S21:提取目标矩形框
D=g[Df(x,y)] (2)
D={(Xi,b,Yi,b)|i∈N+,b=1orb=2} (3)
视频中的运动区域由视频帧与背景图像差分获得,其中,点集D表示目 标矩形区域的左上角坐标和右下角坐标的集合,b=1时,(Xi,1,Yi,1)表示目标矩 形区域的左上角坐标,b=2时,(Xi,2,Yi,2)表示目标矩形区域的右下角坐标,i 是目标的序号,N=[1,2,......i],函数g(x)是轮廓提取;
S22:计算目标中点坐标
其中,X、Y是目标i的中点坐标;
S23:计算目标的高度和宽度
其中,Wi、hi分别表示目标i的宽度和高度;
S24:识别目标并划分目标的类型
交叉口场景中机非人都有明显大小和形状差异,同时利用交通实体的二 维面积和长宽比特征来实现视频中的机动车、非机动车和行人识别。
其中,类型0表示机动车,类型1表示非机动车、类型2表示行人;Ls1~ Ls6是根据具体视频画面比例预先设置的面积阈值,Lr1~Lr6是根据具体视频画 面比例预先设置的宽高比阈值。
S3目标实时匹配跟踪:将每一帧识别出的机动车、非机动车和行人与之 前存放的各个目标的轨迹逐一进行匹配,如果匹配成功,则加入所属目标进 行存放,否则作为新目标存放;
具体的:S31:判断含有目标的视频帧是否为第一次检测到目标的视频帧, 若是,则将该第一批目标视频帧进行保存,并记录目标包含的坐标以及时间, 并进入下一视频帧的目标识别S2,此处存放第一批目标是需要初始化数据结 构,第一批目标不进行轨迹跟踪、预测匹配的操作,直接存入数据结构;若 不是,则将匹配成功标志清零,进入S32;
S32:利用第一批目标视频帧中目标的坐标以及时间,对当前检测出的临 时目标逐一进行匹配,若与某一类目标匹配成功,则加入该类目标进行保存; 若与保存的各个目标都不匹配,则作为新目标保存临时目标的坐标以及时间, 临时目标速度标志位置清零,表示未求速度。
具体匹配过程为:
S321:计算临时目标的临时位移以及临时时间间隔,其计算公式如下:
dx=|X-xi,p(i)-1| (7)
dy=|Y-yi,p(i)-1| (8)
Δt=|T-ti,p(i)-1| (9)
其中,dx,dy分别表示x方向、y方向临时位移大小,Δt表示临时时间间 隔,X、Y表示当前临时目标的坐标,xi,p(i)-1、yi,p(i)-1为第i个目标的上一次被检 测到的坐标,T表示当前临时目标的帧数,ti,p(i)-1为第i个目标的上一次被检测 到的帧数;
S322:利用临时位移计算临时行驶角度A,其计算公式为:
S323:根据临时行驶角度A计算临时的下一状态行驶角度变化区间的最 大值Amax和最小值Amin:
S324:判断临时目标是否已求速度,若是,则执行S325,否则,执行S326;
S325:判断临时位移、临时时间间隔以及临时行驶角度是否满足与被匹 配目标上一状态匹配的限制条件:
其中,K表示系数,取值为2,Ld表示位移的最大限制,Lt表示时间间隔 的最大限制,Ld、Lt和视频的视野、比例大小有关,根据实际交通场景人为设 置,Amin、Amax是第i个目标确定的行驶角度变化区间的最小值和最大值;
若满足上述条件,说明临时目标是当前被匹配目标上一个状态的下一个 状态,执行步骤S327,若不满足,将临时目标和已保存的下个目标进行匹配;
S326:判断临时位移和临时时间间隔是否满足与被匹配目标上一状态匹 配的限制条件:
若满足上述条件,说明临时目标是当前被匹配目标上一个状态的下一个 状态,则将临时目标加入该类目标进行保存,并执行步骤S327,若不满足, 将临时目标和已保存的下个目标进行匹配。
S4目标轨迹修正:基于之前存放的交通实体目标轨迹,运用卡尔曼滤波 对新加入所属目标的当前帧目标轨迹信息进行修正,消除检测噪声误差,使 目标轨迹整体平滑真实;
S41:根据临时目标加入的被匹配目标上一个状态信息,计算所述临时目 标的当前轨迹预测值;根据当前检测的所述临时目标当前视频检测的状态信 息,对所述当前轨迹预测值进行卡尔曼滤波修正,得到所述临时目标的卡尔 曼滤波校正坐标;
具体的,S411轨迹预测:根据临时目标加入的被匹配目标的上一个状态 信息,计算临时目标的当前状态预测值,其状态预测方程组为:
其中,为基于上一状态信息得到的临时目标的当前状态预测值,F表 示状态转移矩阵,B表示控制矩阵,X’t-1表示被匹配目标上一状态信息,ut表 示临时目标t时刻的加速度;P为该预测模型的协方差矩阵,表示噪声的影响, Q表示预测模型本身的噪声,为当前状态噪声协方差预测值,P′t-1为上一 个状态已修正协方差;
其中,Δt表示临时目标的临时时间间隔;
S412轨迹修正:根据临时目标当前视频帧检测的状态信息,修正临时目 标的当前状态预测值,得到临时目标的当前状态修正值,其修正方程组为:
X’t=Xt -+Kt(Zt-HXt -) (20)
X’t为当前状态修正值,为临时目标的当前状态预测值,Zt表示临时目 标当前视频检测的状态信息,H表示观测矩阵,H=[1 0],Kt称为卡尔曼系数;
其中,
X、Y表示当前图像处理的临时目标的坐标,Vx,Vy是临时目标的速度;
为当前状态噪声协方差预测值,R表示观测信息Z中的不确定性噪声 协方差矩阵,P′t-1为上一个状态已修正协方差,Q表示预测模型本身的噪声;
最终确定的当前状态修正信息X’t为:
t时刻临时目标修正坐标位置X’t=(X’,Y’),速度为
S42:根据所述卡尔曼滤波校正坐标,更新所述临时目标的状态,并保存 新状态的参数,作为下一次匹配的限制条件,匹配成功标志位置1,速度标志 置1。
具体的,S421:根据所述卡尔曼滤波校正坐标,更新当前所述临时目标 坐标:
xi,p(i)=X’ (26)
yi,p(i)=Y’ (27)
S422:更新当前临时目标的帧数:
ti,p(i)=T (28)
S423:更新当前临时目标的速度:
vx,i,i,p(i)=V’x (29)
vy,i,i,p(i)=V’y (30)
S424:根据修正的坐标和速度以及帧数信息,重新计算式(5)至式(14), 更新当前临时目标的行驶角度A以及临时的下一状态行驶角度变化区间的最 大值Amax和最小值Amin:
A=A’ (31)
Amin=A’min (32)
Amax=A’max (33)
S425:更新当前坐标、帧数按时间顺序的下标p(i):
p(i)=p(i)+1 (34)
最后,匹配成功标志位置1,速度标志置1。此处需要说明的是,速度标 志置1只是通过S326、S327、S328这一流程输出更新的临时目标状态时置1, 可参考附图3。
S5目标轨迹提取以及确定目标行驶方向:检索所有已存目标,提取出同 一属性的目标轨迹;并通过目标轨迹开始坐标位置和结束坐标位置,确定该 目标的行驶方向。
本发明的有益效果为:
(1)本发明提出了交通视频场景下的机非人实时轨迹提取的整体解决方 案,面向实际应用,且对计算机资源要求较低,适合对功耗和计算复杂度敏 感的嵌入式硬件平台实现,实时性非常高。
(2)本发明提出利用交通实体目标的长宽比和二维面积特征,实现视频 中机动车、非机动车和行人交通实体目标的分类识别,可解决实际交通场景 中摄像头拍摄的车辆转弯时的长宽比变化大和不同方向行驶的车辆的长宽比 不同,从而难以实现机非人的精准区分等问题。
(3)本发明提出了一种实时轨迹匹配跟踪算法,通过实时计算出机非人 不同类型的目标速度、加速度以及行驶方向角度,在每一帧检测出各目标后, 通过卡尔曼滤波逐一通过上一时刻的相关数据对下一时刻进行预测,对检测 目标坐标进行校正。该算法在检测的坐标数据含有高斯白噪声以及预测中上 一帧对下一时刻的计算值有误差的情况下,均能准确得到上一帧跟当前帧之 间的对应关系。此外,在预测过程中,可实现对每个机非人目标进行分类讨 论和不同参数计算,并实现高效地存储和管理大量数据,进而保证了算法的 实时性。
(4)本发明可提取到交通视频场景中各个交通实体的运动轨迹,如时间 帧、X、Y方向坐标、X和Y方向的速度、行驶方向角度、交通实体类型,其 中可依据轨迹起始和终止坐标判断不同方向的机非人轨迹,实现不同交通实 体轨迹的方向匹配。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都 是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。 对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述 的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用 本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易 见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下, 在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例, 而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种交通视频场景下机非人多目标实时轨迹提取方法,其特征在于,包括以下步骤:
S1目标检测:读取视频帧,并检测每一帧中所有目标;
S2目标识别:利用所述目标的二维面积和长宽比特征,识别出每一帧所述目标的类别,所述类别包括机动车、非机动车和行人;
S3目标实时匹配跟踪:将每一帧识别出的所述机动车、所述非机动车和所述行人与之前存放的各个目标的轨迹逐一进行匹配,如果匹配成功,则加入所属目标进行存放,否则作为新目标存放;
S4目标轨迹修正:基于之前存放的交通实体目标轨迹,运用卡尔曼滤波对新加入所属目标的当前帧目标轨迹信息进行修正,消除检测噪声误差,使目标轨迹整体平滑真实;
S5目标轨迹提取以及确定目标行驶方向:检索所有已存目标,提取出同一属性的目标轨迹;并通过所述目标轨迹开始坐标位置和结束坐标位置,确定该目标的行驶方向。
2.根据权利要求1所述的一种交通视频场景下机非人多目标实时轨迹提取方法,其特征在于,在所述S1中,利用背景差分法检测目标,公式为:
ff为当前视频帧,bf为背景图像,T为灰度差分阈值,如果ff与bf的像素点的差值小于阈值T,则判定当前像素点不是运动区域,算为0,否则,判定当前像素点在运动区域内,算为1,Df(x,y)为运动区域图像。
3.根据权利要求2所述的一种交通视频场景下机非人多目标实时轨迹提取方法,其特征在于,所述S2目标识别的具体步骤为:
S21:提取目标矩形框
D=g[Df(x,y)] (2)
D={(Xi,b,Yi,b)|i∈N+,b=1orb=2} (3)
其中,点集D表示目标矩形区域的左上角坐标和右下角坐标的集合,b=1时,(Xi,1,Yi,1)表示目标矩形区域的左上角坐标,b=2时,(Xi,2,Yi,2)表示目标矩形区域的右下角坐标,i是目标的序号,N=[1,2,......i],函数g(x)是轮廓提取;
S22:计算目标中点坐标
其中,X、Y是目标i的中点坐标,中点坐标代表目标i的坐标;
S23:计算目标的高度和宽度
其中,Wi、hi分别表示目标i的宽度和高度;
S24:识别目标并划分目标的类型
其中,类型0表示机动车,类型1表示非机动车、类型2表示行人;Ls1~Ls6是根据具体视频画面比例预先设置的面积阈值,Lr1~Lr6是根据具体视频画面比例预先设置的宽高比阈值。
4.根据权利要求3所述的一种交通视频场景下机非人多目标实时轨迹提取方法,其特征在于,所述S3目标实时匹配跟踪的具体步骤为:
S31:判断含有所述目标的视频帧是否为第一次检测到目标的视频帧,若是,则将该第一批目标视频帧进行保存,并记录所述目标包含的坐标以及时间,并进入下一视频帧的目标识别S2;若不是,则将匹配成功标志清零,进入S32;
S32:利用第一批目标视频帧中目标的坐标以及时间,对当前检测出的临时目标逐一进行匹配,若与某一类目标匹配成功,则加入该类目标进行保存;若与保存的各个目标都不匹配,则作为新目标保存所述临时目标的坐标以及时间,临时目标速度标志位置清零。
5.根据权利要求4所述的一种交通视频场景下机非人多目标实时轨迹提取方法,其特征在于,所述S32的具体步骤为:
S321:计算所述临时目标的临时位移以及临时时间间隔,其计算公式如下:
dx=|X-xi,p(i)-1| (7)
dy=|Y-yi,p(i)-1| (8)
Δt=|T-ti,p(i)-1| (9)
其中,dx,dy分别表示x方向、y方向临时位移大小,Δt表示临时时间间隔,X、Y表示当前临时目标的坐标,xi,p(i)-1、yi,p(i)-1为第i个目标的上一次被检测到的坐标,T表示当前临时目标的帧数,ti,p(i)-1为第i个目标的上一次被检测到的帧数;
S322:利用所述临时位移计算临时行驶角度A,其计算公式为:
S323:根据所述临时行驶角度A计算临时的下一状态行驶角度变化区间的最大值Amax和最小值Amin:
S324:判断所述临时目标是否已经求得速度,若是,则执行S325,否则,执行S326;
S325:判断所述临时位移、所述临时时间间隔以及所述临时行驶角度是否满足与被匹配目标上一状态匹配的限制条件:
其中,K表示系数,取值为2,Ld表示位移的最大限制,Lt表示时间间隔的最大限制,Ld、Lt和视频的视野、比例大小有关,根据实际交通场景人为设置,vx,i,i,p(i)-1,vy,i,i,p(i)-1分别表示被匹配目标当前x方向、y方向的速度,Amin、Amax是第i个目标确定的行驶角度变化区间的最小值和最大值;
若满足上述条件,说明所述临时目标是当前被匹配目标上一个状态的下一个状态,执行步骤S327,若不满足,将所述临时目标和已保存的下个目标进行匹配;
S326:判断所述临时位移和所述临时时间间隔是否满足与被匹配目标上一状态匹配的限制条件:
若满足上述条件,说明所述临时目标是当前被匹配目标上一个状态的下一个状态,则将临时目标加入该类目标进行保存,并执行步骤S327,若不满足,将所述临时目标和已保存的下个目标进行匹配。
6.根据权利要求5所述的一种交通视频场景下机非人多目标实时轨迹提取方法,其特征在于,S4目标轨迹修正具体步骤为:
S41:根据临时目标加入的被匹配目标上一个状态信息,计算所述临时目标的当前轨迹预测值;根据当前检测的所述临时目标当前视频检测的状态信息,对所述当前轨迹预测值进行卡尔曼滤波修正,得到所述临时目标的卡尔曼滤波校正坐标;
S42:根据所述卡尔曼滤波校正坐标,更新所述临时目标的状态,并保存新状态的参数,作为下一次匹配的限制条件,匹配成功标志位置1,速度标志置1。
7.根据权利要求6所述的一种交通视频场景下机非人多目标实时轨迹提取方法,其特征在于,所述S41的具体步骤为:
S411轨迹预测:根据临时目标加入的被匹配目标的上一个状态信息,计算临时目标的当前状态预测值,其状态预测方程组为:
其中,为基于上一状态信息得到的临时目标的当前状态预测值,F表示状态转移矩阵,B表示控制矩阵,X′t-1表示被匹配目标上一状态信息,ut表示临时目标t时刻的加速度;P为该预测模型的协方差矩阵,表示噪声的影响,Q表示预测模型本身的噪声,为当前状态噪声协方差预测值,P′t-1为上一个状态已修正协方差;
其中,Δt表示临时目标的临时时间间隔;
S412轨迹修正:根据临时目标当前视频帧检测的状态信息,修正临时目标的当前状态预测值,得到临时目标的当前状态修正值,其修正方程组为:
Xt'为当前状态修正值,为临时目标的当前状态预测值,Zt表示临时目标当前视频检测的状态信息,H表示观测矩阵,H=[1 0],Kt称为卡尔曼系数;
其中,
X、Y表示当前图像处理的临时目标的坐标,Vx,Vy是临时目标的速度;
为当前状态噪声协方差预测值,R表示观测信息Z中的不确定性噪声协方差矩阵,P′t-1为上一个状态已修正协方差,Q表示预测模型本身的噪声;
最终确定的当前状态修正信息X′t为:
t时刻临时目标修正坐标位置X′t=(X',Y'),速度为
8.根据权利要求7所述的一种交通视频场景下机非人多目标实时轨迹提取方法,其特征在于,在S42中,根据所述卡尔曼滤波校正坐标,更新所述临时目标的状态,并保存新状态的参数,作为下一次匹配的限制条件的具体步骤为:
S421:根据所述卡尔曼滤波校正坐标,更新当前所述临时目标坐标:
xi,p(i)=X' (26)
yi,p(i)=Y' (27)
S422:更新当前临时目标的帧数:
ti,p(i)=T (28)
S423:更新当前临时目标的速度:
vx,i,i,p(i)=V′x (29)
vy,i,i,p(i)=V′y (30)
S424:更新当前临时目标的行驶角度A以及临时的下一状态行驶角度变化区间的最大值Amax和最小值Amin:
A=A' (31)
Amin=A′min (32)
Amax=A′max (33)
S425:更新当前坐标、帧数按时间顺序的下标p(i):
p(i)=p(i)+1 (34)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910551210.2A CN110348332B (zh) | 2019-06-24 | 2019-06-24 | 一种交通视频场景下机非人多目标实时轨迹提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910551210.2A CN110348332B (zh) | 2019-06-24 | 2019-06-24 | 一种交通视频场景下机非人多目标实时轨迹提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110348332A true CN110348332A (zh) | 2019-10-18 |
CN110348332B CN110348332B (zh) | 2023-03-28 |
Family
ID=68182940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910551210.2A Expired - Fee Related CN110348332B (zh) | 2019-06-24 | 2019-06-24 | 一种交通视频场景下机非人多目标实时轨迹提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110348332B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161313A (zh) * | 2019-12-16 | 2020-05-15 | 华中科技大学鄂州工业技术研究院 | 一种视频流中的多目标追踪方法及装置 |
CN111191603A (zh) * | 2019-12-31 | 2020-05-22 | 深圳云天励飞技术有限公司 | 车内人员识别方法、装置、终端设备及介质 |
CN111797738A (zh) * | 2020-06-23 | 2020-10-20 | 同济大学 | 基于视频识别的多目标交通行为快速提取方法 |
CN112365527A (zh) * | 2020-10-15 | 2021-02-12 | 中标慧安信息技术股份有限公司 | 园区内车辆跨镜追踪方法及系统 |
CN112528747A (zh) * | 2020-11-13 | 2021-03-19 | 浙江大华技术股份有限公司 | 机动车掉头行为识别方法、系统、电子装置和存储介质 |
CN112735164A (zh) * | 2020-12-25 | 2021-04-30 | 北京智能车联产业创新中心有限公司 | 测试数据构建方法及测试方法 |
JP2023500969A (ja) * | 2020-05-22 | 2023-01-11 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ターゲット追跡方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムプロダクト |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104424638A (zh) * | 2013-08-27 | 2015-03-18 | 深圳市安芯数字发展有限公司 | 一种基于遮挡情况下的目标跟踪方法 |
CN105574502A (zh) * | 2015-12-15 | 2016-05-11 | 中海网络科技股份有限公司 | 一种自助发卡机违章行为自动检测方法 |
US20160132728A1 (en) * | 2014-11-12 | 2016-05-12 | Nec Laboratories America, Inc. | Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD) |
CN109697420A (zh) * | 2018-12-17 | 2019-04-30 | 长安大学 | 一种面向城市交通的移动目标检测及跟踪方法 |
-
2019
- 2019-06-24 CN CN201910551210.2A patent/CN110348332B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104424638A (zh) * | 2013-08-27 | 2015-03-18 | 深圳市安芯数字发展有限公司 | 一种基于遮挡情况下的目标跟踪方法 |
US20160132728A1 (en) * | 2014-11-12 | 2016-05-12 | Nec Laboratories America, Inc. | Near Online Multi-Target Tracking with Aggregated Local Flow Descriptor (ALFD) |
CN105574502A (zh) * | 2015-12-15 | 2016-05-11 | 中海网络科技股份有限公司 | 一种自助发卡机违章行为自动检测方法 |
CN109697420A (zh) * | 2018-12-17 | 2019-04-30 | 长安大学 | 一种面向城市交通的移动目标检测及跟踪方法 |
Non-Patent Citations (3)
Title |
---|
SOHAILZANGENEHPOUR ET AL.: "Automated classification based on video data at intersections with heavy pedestrian and bicycle traffic: Methodology and application", 《TRANSPORTATION RESEARCH PART C: EMERGING TECHNOLOGIES》 * |
李继: "基于视频处理的混合交通事件检测方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
杜厚鹏: "基于监控视频的运动车辆检测与违章分析", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161313A (zh) * | 2019-12-16 | 2020-05-15 | 华中科技大学鄂州工业技术研究院 | 一种视频流中的多目标追踪方法及装置 |
CN111161313B (zh) * | 2019-12-16 | 2023-03-14 | 华中科技大学鄂州工业技术研究院 | 一种视频流中的多目标追踪方法及装置 |
CN111191603A (zh) * | 2019-12-31 | 2020-05-22 | 深圳云天励飞技术有限公司 | 车内人员识别方法、装置、终端设备及介质 |
CN111191603B (zh) * | 2019-12-31 | 2023-04-18 | 深圳云天励飞技术有限公司 | 车内人员识别方法、装置、终端设备及介质 |
JP2023500969A (ja) * | 2020-05-22 | 2023-01-11 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ターゲット追跡方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムプロダクト |
JP7375192B2 (ja) | 2020-05-22 | 2023-11-07 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | ターゲット追跡方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムプロダクト |
CN111797738A (zh) * | 2020-06-23 | 2020-10-20 | 同济大学 | 基于视频识别的多目标交通行为快速提取方法 |
CN112365527A (zh) * | 2020-10-15 | 2021-02-12 | 中标慧安信息技术股份有限公司 | 园区内车辆跨镜追踪方法及系统 |
CN112528747A (zh) * | 2020-11-13 | 2021-03-19 | 浙江大华技术股份有限公司 | 机动车掉头行为识别方法、系统、电子装置和存储介质 |
CN112735164A (zh) * | 2020-12-25 | 2021-04-30 | 北京智能车联产业创新中心有限公司 | 测试数据构建方法及测试方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110348332B (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348332B (zh) | 一种交通视频场景下机非人多目标实时轨迹提取方法 | |
Fang et al. | Is the pedestrian going to cross? answering by 2d pose estimation | |
Malik | Fast vehicle detection with probabilistic feature grouping and its application to vehicle tracking | |
Niknejad et al. | On-road multivehicle tracking using deformable object model and particle filter with improved likelihood estimation | |
Wojek et al. | Monocular visual scene understanding: Understanding multi-object traffic scenes | |
US8379928B2 (en) | Obstacle detection procedure for motor vehicle | |
JP7078021B2 (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
EP1860594A2 (en) | Pedestrian detector and pedestrian detecting method | |
CN110379168B (zh) | 一种基于Mask R-CNN的交通车辆信息获取方法 | |
CN111667512A (zh) | 基于改进卡尔曼滤波的多目标车辆轨迹预测方法 | |
CN109658442B (zh) | 多目标跟踪方法、装置、设备及计算机可读存储介质 | |
CN115049700A (zh) | 一种目标检测方法及装置 | |
CN108364466A (zh) | 一种基于无人机交通视频的车流量统计方法 | |
CN107066968A (zh) | 基于目标识别和跟踪的融合策略的车载行人检测方法 | |
US11436815B2 (en) | Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same | |
EP2813973B1 (en) | Method and system for processing video image | |
CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
Liu et al. | Vehicle detection and ranging using two different focal length cameras | |
CN118033622A (zh) | 目标跟踪方法、装置、设备及计算机可读存储介质 | |
Prokaj et al. | Using 3d scene structure to improve tracking | |
Qing et al. | A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation | |
CN116563376A (zh) | 基于深度学习的lidar-imu紧耦合语义slam方法及相关装置 | |
Fries et al. | Monocular template-based vehicle tracking for autonomous convoy driving | |
Gökçe et al. | Recognition of dynamic objects from UGVs using Interconnected Neuralnetwork-based Computer Vision system | |
US20230252638A1 (en) | Systems and methods for panoptic segmentation of images for autonomous driving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20230328 |
|
CF01 | Termination of patent right due to non-payment of annual fee |