CN111079675A - 基于目标检测与目标跟踪的行驶行为分析方法 - Google Patents
基于目标检测与目标跟踪的行驶行为分析方法 Download PDFInfo
- Publication number
- CN111079675A CN111079675A CN201911335295.7A CN201911335295A CN111079675A CN 111079675 A CN111079675 A CN 111079675A CN 201911335295 A CN201911335295 A CN 201911335295A CN 111079675 A CN111079675 A CN 111079675A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- tracking
- vehicles
- target
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 238000004458 analytical method Methods 0.000 title claims abstract description 38
- 239000013598 vector Substances 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 230000006399 behavior Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 206010039203 Road traffic accident Diseases 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了基于目标检测与目标跟踪的行驶行为分析方法，其方法还包括如下步骤：S1、建立一个目标检测网络用于检测出车辆与行人的位置，再利用目标跟踪方法对车辆与行人进行跟踪；S2、利用在正常行驶状态下的监控视频，计算得到用于行为分析的基准车辆运动向量集；S3、分析时，计算车辆与行人的运动向量，并与基准车辆运动向量集进行比较，得到每辆车与每个行人的行为分析结果，本发明提出的基于目标检测与目标跟踪的交通行驶行为分析方法能够有效利用监控摄像头，对当前路段是否存在危险驾驶行为进行分析，从而通知交通部门做好应急处理，降低交通事故发生的概率和交通事故造成的损失，大大保障了人民的出行安全。
Description
技术领域
本发明涉及图像识别与计算机视觉技术领域，具体为基于目标检测与目标跟踪的行驶行为分析方法。
背景技术
许多交通事故发生的原因往往是危险的驾驶行为，例如车辆的逆行、超速、低速、停车以及行人的穿越等，在高速公路上因为这些原因引发交通事故的情况更加常见；
如果通过一些手段能够提前检测出当前交通路段存在这些危险驾驶行为，就能够及时通知当前路段上的所有车辆小心驾驶，从而防止交通事故的发生，同时也能够让交通部门提前做好救援准备，防止更大规模交通事故的发生，降低经济损失。
发明内容
本发明提供基于目标检测与目标跟踪的行驶行为分析方法，可以有效解决上述背景技术中提出通过一些手段能够提前检测出当前交通路段存在这些危险驾驶行为，就能够及时通知当前路段上的所有车辆小心驾驶，从而防止交通事故的发生，同时也能够让交通部门提前做好救援准备，防止更大规模交通事故的发生，降低经济损失的问题。
为实现上述目的，本发明提供如下技术方案：基于目标检测与目标跟踪的行驶行为分析方法，包括目标检测、目标跟踪和行为分析；
其方法还包括如下步骤：
S1、建立一个目标检测网络用于检测出车辆与行人的位置，再利用目标跟踪方法对车辆与行人进行跟踪；
S2、利用在正常行驶状态下的监控视频，计算得到用于行为分析的基准车辆运动向量集；
S3、分析时，计算车辆与行人的运动向量，并与基准车辆运动向量集进行比较，得到每辆车与每个行人的行为分析结果。
优选的，所述目标检测包括:
(1)、使用深度学习框架caffe2构建基于FasterRCNN的车辆及行人检测网络，检测网络由特征提取层、检测框生成和检测框精调三个部分组成；
(2)建立数据集：搜集不同场景下的车辆及行人图片，并对图片中的车辆及行人的位置与类别进行标记，存放在指定的标记文件中；
(3)对数据集进行预处理和数据增强操作，包括但不限于图片缩放、图片旋转、图片色彩调节、图片翻转，同时需要对对应的标记文件进行相应的仿射变换；
(4)使用数据增强后的数据集对目标检测网络进行训练，训练过程中的学习率调节和总体迭代次数存放在对应的配置文件中，通过修改配置文件中的相关参数重复训练，直到训练出的网络效果满足需求；
(5)将视频序列分割为图片，使用训练好的目标检测网络检测每张图片中的车辆及行人的位置，并将检测结果写入指定文件中。
优选的，所述目标跟踪包括:
(1)读取相邻两帧图片中的所有目标的检测结果，计算其对应的重叠度，若重叠度大于阈值，例如0.5，则将这两个物体标记为同一辆车或同一行人，保存在二元组中，从而完成一帧的跟踪；
(2)重复上述过程，直到对所有图片进行了跟踪；
(3)根据二元组中前后关系，将跟踪结果连接起来，形成了连续时间内的目标跟踪，将跟踪结果保存到指定文件中。
优选的，所述行为分析包括：
(1)选择一段车流量足够密集的正常行驶状态下的道路监控视频，首先将其分割为图片，然后逐帧对车辆执行目标检测与跟踪，对每一辆单独的车辆，读取其跟踪结果，计算每一帧的车辆中心点，然后计算相邻两帧的中心点运动向量作为车辆正常行驶时的运动向量，将所有车辆在每一帧的运动向量汇总，作为行为分析基准向量集；
(2)将需要进行分析的视频分割为图片，对车辆与行人的进行检测与跟踪，并计算车辆与行人的运动向量，作为分析向量集；
(3)读取车辆的运动向量，通过比较相邻运动向量的差值是否保持在0附近，判断车辆是否处于停止状态；
(4)读取车辆的运动向量，通过比较运动向量和相邻基准向量的方向是否相反，判断车辆是否处于逆行状态；
(5)读取车辆的运动向量，通过运动向量计算出车辆的速度，并根据相邻基准向量计算出相邻位置正常行驶车辆的平均速度，通过比较速度，判断车辆是否处于超速或低速状态；
(6)读取行人的运动向量，通过比较行人的运动向量和相邻基准向量的夹角是否垂直，从而判断出行人是否处于横穿道路的状态。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便：
1、本发明提供的基于FasterRCNN的车辆与行人检测网络，对之前检测算法需要使用选择性搜索等方法来生成检测框进行了改进，使用区域推荐网络来生成检测框，大大提高了检测框的生成速度和精确度；同时检测框精调部分能够对生成的检测框进行筛选和调整，使最后得到的检测框能够更加准确。和目前常用的目标检测方法相比，本发明提供的车辆与行人检测网络具有更高的准确率，同时也有较快的检测速度，能够满足交通监控的需求。
2、本发明提供的目标跟踪方法根据相邻帧检测框重叠率来判断是否是同一目标，实现起来简单，不需要额外的输入，跟踪速度快，并具有较高的跟踪准确率，能够完美地和检测网络结合起来应用于实时监控中。
3、本发明提供的行为分析方法能够同时对多种异常行为进行分析，只需要进行简单的矩阵运算，不需要引入额外输入，因此分析速度快，具有较高的鲁棒性，能够很好地和目标检测与目标跟踪模块结合起来。
4、本发明提供的基于目标检测与目标跟踪的行驶行为分析方法能够有效利用道路监控摄像头拍摄的视频，对当前路段是否存在异常行驶行为进行分析，为交通部门提供及时预警，使其能够及时排查可能引发交通事故的原因，大大降低交通事故发生的概率，保障人民的出行安全。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是本发明实施例中交通行驶行为分析方法的系统框图；
图2是本发明实施例中用于目标检测的卷积神经网络的结构示意图；
图3是本发明实施例中采用的目标跟踪的流程示意图；
图4是本发明实施例中采用的判断车辆停车的流程示意图；
图5是本发明实施例中采用的判断车辆逆行的流程示意图；
图6是本发明实施例中采用的判断车辆超速或低速行驶的流程示意图；
图7是本发明实施例中采用的判断行人横穿的流程示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：本发明提供技术方案，其方法还包括如下步骤：
S1、建立一个目标检测网络用于检测出车辆与行人的位置，再利用目标跟踪方法对车辆与行人进行跟踪；
S2、利用在正常行驶状态下的监控视频，计算得到用于行为分析的基准车辆运动向量集；
S3、分析时，计算车辆与行人的运动向量，并与基准车辆运动向量集进行比较，得到每辆车与每个行人的行为分析结果。
如图1所示，目标检测：
(1.1)使用caffe2框架构建一个车辆与行人检测网络用于检测图片中车辆与行人的位置，构建网络的理论基础采用FasterRCNN；
FasterRCNN主要包含三个部分，分别为特征提取部分，检测框生成以及检测框精调；
如图2所示，特征提取部分主要由卷积神经网络构成，卷积神经网络是计算机视觉领域常用的一种模型，包括卷积层、批标准化、池化层；
通过使用卷积算子对输入图片进行滤波处理，然后使用批标准化对滤波后的结果进行归一化处理，最后使用最大池化操作降低图片的分辨率，从而降低后续处理过程中的计算量，使网络能够逐渐学习到高层特征；
实验表明，将训练好的足够深的分类网络迁移到其他视觉任务中，仍然能够取得非常好的效果，因此，在本发明中使用在ImageNet数据上的分类任务中预训练的ResNet50作为预训练权重来训练特征提取卷积神经网络，特征提取部分最终得到的是一个三维张量。
卷积层接收尺寸为N×Cin×Hin×Win的图片作为输入，输出尺寸为 N×Cout×Hout×Wout的图片；
其中N为每次计算的图片数量，Cin为输入图片的通道数量，Hin和Win为输入图片的高度和宽度；
Cout为输出图片的通道数量，Hout和Wout为输出图片的高度和宽度；
具体的计算公式如下：
其中bias为偏置，weight为权重，*为互相关运算符，i为当前图片在N张图片中的顺序，j为输出通道数，k为输入通道数；
批标准化：采用下式对4D输入的每个通道执行标准化；
其中，x为输入数值，y为输出数值，E[x]和Var[x]分别是每个通道上数值的均值和方差，γ和β分别为需要学习的方差和均值，ε为一个小的常量，用于保证计算的稳定性，通常取1e-16，通过标准化处理，输出服从均值为β，方差为γ的正态分布，能够加速网络的训练。
池化层采用池化函数对输入进行降采样；
可采用最大池化函数作为池化层的池化函数，其计算式为：
也可采用平均池化函数作为池化层的池化函数，其计算式为：
其中，stride为池化函数的步长，kH和kW为池化函数的核大小；池化层降低了输入的尺寸，且使输出具有一定的平移不变性。
检测框生成部分使用了区域推荐网络，该网络先对从特征提取部分得到的特征图片做卷积操作，得到新的特征图，然后把新特征图分别给一个分类层和一个回归层；
分类层用来判断每个新特征图上的每个特征点是前景还是背景。回归层在这个新特征图的每个特征点上预测多个检测框，先是把每个特征点映射回原图的感受野的中心点当成一个基准点，然后围绕这个基准点选取k(默认k＝9)个不同尺寸(1282,2562,5122)、长宽比(1:1,1:2,2:1)的检测框，最后回归层根据真实标注的目标区域来调整检测框位置，综合分类层得到的前景和回归层调整过的检测框，可以粗略得到在输入图片中的检测目标所在的位置。
检测框精调部分首先将检测框生成部分输出的检测框位置按比列映射到特征提取部分得到的特征图片上，然后将此映射部分的特征转换为一个固定尺寸的向量α，然后使用两层全连接层对该向量进行变换，得到一个向量β，再将该向量分别通过分类分支和回归分支得到检测框中目标的类别与精调后的检测框位置；
其中分类分支由一个全连接层和一个softmax激活函数构成，回归分支由全连接层构成。
全连接层用于对输入进行线性组合，并输出指定长度的特征向量；计算式为：y＝ax+b；当全连接层的输入为一个m维向量，输出为一个n维为向量时，上式中的a为一个n×m维的矩阵，b为一个n维向量。
softmax激活函数的表达式为
softmax函数接收一个n维向量作为输入，其输出值位于0和1之间，可用于表示输入向量每个维度对应的概率值。
(1.2)建立数据集：搜集大量包含车辆及行人的图片，对于每一张图片，使用矩形框标记出其中每辆车和每个行人的位置，将标记结果写入到对应文件中，写入格式为(x1,y1,x2,y2,label)，其中(x1,y1) 为矩形框的左上角坐标，(x2,y2)为矩形框右下角坐标，label为矩形框对应目标的类别，其中1表示车辆，0表示行人。
(1.3)对数据集进行预处理操作：对于每张图片，首先判断其较短的边长是否小于800像素，若大于800像素，将整张图片按照短边边长/800的比例缩小；然后判断缩小后图片较长的边长是否大于 1200像素，若大于1200像素，再将图片按照长边边长/1200的比例缩小，然后对数据集进行数据增强操作，对图片进行随机的旋转、平移、翻转等操作，每张图片对应的标记坐标也需要随之进行变换。
(1.4)使用预处理和数据增强过的数据集对目标检测网络进行训练，训练的初始学习率为0.001，权值衰减为1e-5。
(1.5)执行检测，将需要检测的交通监控视频使用OpenCV分割为一帧一帧的图片，并对每一帧图片编号；然后使用目标检测网络对每一帧图片中的车辆及行人进行检测，将检测结果按指定格式分别保存在车辆及行人两个文件中，便于后续使用。
如图3所示，(2)目标跟踪：
(2.1)从第一帧开始，读取连续两帧的检测结果，通过检测框左上角和右下角坐标计算相邻帧之间每个目标之间的面积重叠率，计算公式为
若重叠率大于0.5，认为这是同一目标，将这两个检测结果保存为二元组，将不满足重叠率条件的检测框丢弃。
(2.2)重复上述过程，直到处理完所有的检测结果。
(2.3)将二元组根据前后关系连接起来，形成完整的跟踪链。例如存在二元组(a，b)，(b，c)，(c，d)，可连接成为(a，b，c， d)，然后将所有的跟踪链保存到文件中，用于后续分析。
(3)行为分析：
(3.1)建立基准运动向量集：选取一段正常行驶路段的监控视频，视频长度至少30分钟，并保证总体车流量足够多，若车流量较少，则可以延长视频时间，保证能够采集到足够的车辆运动向量，首先将视频使用OpenCV分割为图片，然后使用车辆与行人检测网络对视频中的车辆进行检测，保存检测结果；然后使用目标跟踪对每一辆车进行跟踪，保存跟踪结果，读取每一辆车的跟踪结果，计算其每一帧的中心点位置，并计算相邻两帧的车辆中心点的运动向量，将所有车辆的运动向量汇总，得到了用于后续行为判断的基准向量集。
(3.2)选取需要进行分析的视频，使用OpenCV分割为图片，再使用车辆与行人检测，得到车辆及行人的检测结果，然后使用目标跟踪，得到车辆与行人的跟踪结果，接着计算出车辆与行人在跟踪过程中的每一帧的中心点坐标与运动向量，用作判断是否处于异常行为的依据。
(3.3)判断车辆是否停车：如图4所示，在道路中处于停车状态的车辆的中心点坐标应该会在长时间内保持不变，因此可以通过判断车辆的运动向量是否为0，来判断车辆是否停车；
由于在实际的检测中可能存在误差，因此判断运动向量为0的时间是否大于一定时间阈值，例如120帧，即5秒，来判断车辆处于停车状态，防止由于误差而导致的误判。
(3.4)判断车辆是否逆行：如图5所示，在道路中处于逆行状态的车辆的运动向量方向应该与正常行驶车辆的运动向量的方向相反，因此可以通过计算当前车辆运动向量与基准向量的夹角是否为 180度，来判断车辆是否逆行，为了避免误差干扰，可将角度设定为一个范围，例如大于120度，就判断为逆行，同时保证逆行的时间足够长，当累计逆行时间超过120帧，即5秒时，判定车辆逆行。
(3.5)判断车辆是否超速或低速：如图6所示，在道路中处于超速或低速的车辆的运动向量的长度应该与基准向量存在较大的差距，因此可以首先计算当前车辆位置相邻一定范围内基准向量的平均长度作为正常行驶状态下车辆的平均速度，然后计算当前车辆运动向量的长度；
若当前车辆的运动向量长度远大于平均长度，如大于平均长度的 3倍，可判断为车辆处于超速状态；若当前车辆的长度远小于平均长度，如小于平均长度的0.2倍，可判断车辆处于低速状态。
(3.6)判断行人是否横穿：如图7所示，当行人横穿道路时，则其运动方向应该与车辆的行驶方向垂直，因此可以通过计算行人运动向量和车辆基准运动向量的夹角是否为90度，来判断行人是否处于横穿的状态；
为了降低误差影响，将夹角设为一个范围，如夹角位于90度至120 度时，记为正在横穿道路，同时保证横穿的时间足够长，只有横穿状态大于120帧即5秒时，行人才会被判断为处于横穿状态。
实验结果表明，采用本发明提供的这种分析方法，能够较为准确地找出视频中哪些车辆及行人正在做出危险的行驶行为，此时便能够及时通知相关部门做好预警工作，能够部署在各个交通路段的监控系统中，自动对当前路段是否存在车辆逆行、超速、低速、停车以及行人横穿行为进行分析，从而为交通部分提供及时预警，避免交通事故的发生。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.基于目标检测与目标跟踪的行驶行为分析方法，其特征在于：包括目标检测、目标跟踪和行为分析；
其方法还包括如下步骤：
S1、建立一个目标检测网络用于检测出车辆与行人的位置，再利用目标跟踪方法对车辆与行人进行跟踪；
S2、利用在正常行驶状态下的监控视频，计算得到用于行为分析的基准车辆运动向量集；
S3、分析时，计算车辆与行人的运动向量，并与基准车辆运动向量集进行比较，得到每辆车与每个行人的行为分析结果。
2.根据权利要求1所述的基于目标检测与目标跟踪的行驶行为分析方法，其特征在于，所述目标检测包括:
（1）、使用深度学习框架caffe2构建基于FasterRCNN的车辆及行人检测网络，检测网络由特征提取层、检测框生成和检测框精调三个部分组成；
（2）建立数据集：搜集不同场景下的车辆及行人图片，并对图片中的车辆及行人的位置与类别进行标记，存放在指定的标记文件中；
（3）对数据集进行预处理和数据增强操作，包括但不限于图片缩放、图片旋转、图片色彩调节、图片翻转，同时需要对对应的标记文件进行相应的仿射变换；
（4）使用数据增强后的数据集对目标检测网络进行训练，训练过程中的学习率调节和总体迭代次数存放在对应的配置文件中，通过修改配置文件中的相关参数重复训练，直到训练出的网络效果满足需求；
（5）将视频序列分割为图片，使用训练好的目标检测网络检测每张图片中的车辆及行人的位置，并将检测结果写入指定文件中。
3.根据权利要求1所述的基于目标检测与目标跟踪的行驶行为分析方法，其特征在于，所述目标跟踪包括:
（1）读取相邻两帧图片中的所有目标的检测结果，计算其对应的重叠度，若重叠度大于阈值；
（2）重复上述过程，直到对所有图片进行了跟踪；
（3）根据二元组中前后关系，将跟踪结果连接起来，形成了连续时间内的目标跟踪，将跟踪结果保存到指定文件中。
4.根据权利要求1所述的基于目标检测与目标跟踪的行驶行为分析方法，其特征在于，所述行为分析包括：
（1）选择一段车流量足够密集的正常行驶状态下的道路监控视频，首先将其分割为图片，然后逐帧对车辆执行目标检测与跟踪，对每一辆单独的车辆，读取其跟踪结果，计算每一帧的车辆中心点，然后计算相邻两帧的中心点运动向量作为车辆正常行驶时的运动向量，将所有车辆在每一帧的运动向量汇总，作为行为分析基准向量集；
（2）将需要进行分析的视频分割为图片，对车辆与行人的进行检测与跟踪，并计算车辆与行人的运动向量，作为分析向量集；
（3）读取车辆的运动向量，通过比较相邻运动向量的差值是否保持在0附近，判断车辆是否处于停止状态；
（4）读取车辆的运动向量，通过比较运动向量和相邻基准向量的方向是否相反，判断车辆是否处于逆行状态；
（5）读取车辆的运动向量，通过运动向量计算出车辆的速度，并根据相邻基准向量计算出相邻位置正常行驶车辆的平均速度，通过比较速度，判断车辆是否处于超速或低速状态；
（6）读取行人的运动向量，通过比较行人的运动向量和相邻基准向量的夹角是否垂直，从而判断出行人是否处于横穿道路的状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911335295.7A CN111079675A (zh) | 2019-12-23 | 2019-12-23 | 基于目标检测与目标跟踪的行驶行为分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911335295.7A CN111079675A (zh) | 2019-12-23 | 2019-12-23 | 基于目标检测与目标跟踪的行驶行为分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111079675A true CN111079675A (zh) | 2020-04-28 |
Family
ID=70316813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911335295.7A Pending CN111079675A (zh) | 2019-12-23 | 2019-12-23 | 基于目标检测与目标跟踪的行驶行为分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111079675A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597959A (zh) * | 2020-05-12 | 2020-08-28 | 三一重工股份有限公司 | 行为检测方法、装置及电子设备 |
| CN111709938A (zh) * | 2020-06-18 | 2020-09-25 | 武汉唯理科技有限公司 | 一种基于深度图的路面缺陷及抛洒物检测方法 |
| CN113139482A (zh) * | 2021-04-28 | 2021-07-20 | 北京百度网讯科技有限公司 | 交通异常检测的方法和装置 |
| CN113327192A (zh) * | 2021-05-11 | 2021-08-31 | 武汉唯理科技有限公司 | 一种通过三维测量技术测算汽车行驶速度的方法 |
| CN118552882A (zh) * | 2024-07-26 | 2024-08-27 | 深圳市旭景数字技术有限公司 | 智能视频监控系统的边缘计算优化方法及系统 |
| CN118552882B (zh) * | 2024-07-26 | 2024-11-15 | 深圳市旭景数字技术有限公司 | 智能视频监控系统的边缘计算优化方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101458871A (zh) * | 2008-12-25 | 2009-06-17 | 北京中星微电子有限公司 | 一种智能交通分析系统及其应用系统 |
| JPWO2011086661A1 (ja) * | 2010-01-12 | 2013-05-16 | トヨタ自動車株式会社 | 衝突位置予測装置 |
| CN107161147A (zh) * | 2017-05-04 | 2017-09-15 | 广州汽车集团股份有限公司 | 一种车辆防碰撞巡航控制系统及其控制方法 |
| CN107239747A (zh) * | 2017-05-16 | 2017-10-10 | 深圳市保千里电子有限公司 | 一种检测行人横穿道路的方法、装置及可读存储介质 |
| CN109697420A (zh) * | 2018-12-17 | 2019-04-30 | 长安大学 | 一种面向城市交通的移动目标检测及跟踪方法 |
| CN109859240A (zh) * | 2017-11-30 | 2019-06-07 | 比亚迪股份有限公司 | 视频对象跟踪方法和装置、车辆 |
| CN109887281A (zh) * | 2019-03-01 | 2019-06-14 | 北京云星宇交通科技股份有限公司 | 一种监控交通事件的方法及系统 |
| CN110481544A (zh) * | 2019-07-30 | 2019-11-22 | 江苏大学 | 一种针对行人的汽车避撞方法及避撞系统 |
| CN110570664A (zh) * | 2019-09-23 | 2019-12-13 | 山东科技大学 | 一种高速公路交通事件自动检测系统 |
-
2019
- 2019-12-23 CN CN201911335295.7A patent/CN111079675A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101458871A (zh) * | 2008-12-25 | 2009-06-17 | 北京中星微电子有限公司 | 一种智能交通分析系统及其应用系统 |
| JPWO2011086661A1 (ja) * | 2010-01-12 | 2013-05-16 | トヨタ自動車株式会社 | 衝突位置予測装置 |
| CN107161147A (zh) * | 2017-05-04 | 2017-09-15 | 广州汽车集团股份有限公司 | 一种车辆防碰撞巡航控制系统及其控制方法 |
| CN107239747A (zh) * | 2017-05-16 | 2017-10-10 | 深圳市保千里电子有限公司 | 一种检测行人横穿道路的方法、装置及可读存储介质 |
| CN109859240A (zh) * | 2017-11-30 | 2019-06-07 | 比亚迪股份有限公司 | 视频对象跟踪方法和装置、车辆 |
| CN109697420A (zh) * | 2018-12-17 | 2019-04-30 | 长安大学 | 一种面向城市交通的移动目标检测及跟踪方法 |
| CN109887281A (zh) * | 2019-03-01 | 2019-06-14 | 北京云星宇交通科技股份有限公司 | 一种监控交通事件的方法及系统 |
| CN110481544A (zh) * | 2019-07-30 | 2019-11-22 | 江苏大学 | 一种针对行人的汽车避撞方法及避撞系统 |
| CN110570664A (zh) * | 2019-09-23 | 2019-12-13 | 山东科技大学 | 一种高速公路交通事件自动检测系统 |
Non-Patent Citations (1)
| Title |
|---|
| 潘婷 等: "基于卷积神经网络的车辆和行人检测算法" * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597959A (zh) * | 2020-05-12 | 2020-08-28 | 三一重工股份有限公司 | 行为检测方法、装置及电子设备 |
| CN111597959B (zh) * | 2020-05-12 | 2023-09-26 | 盛景智能科技(嘉兴)有限公司 | 行为检测方法、装置及电子设备 |
| CN111709938A (zh) * | 2020-06-18 | 2020-09-25 | 武汉唯理科技有限公司 | 一种基于深度图的路面缺陷及抛洒物检测方法 |
| CN113139482A (zh) * | 2021-04-28 | 2021-07-20 | 北京百度网讯科技有限公司 | 交通异常检测的方法和装置 |
| WO2022227766A1 (zh) * | 2021-04-28 | 2022-11-03 | 北京百度网讯科技有限公司 | 交通异常检测的方法和装置 |
| CN113139482B (zh) * | 2021-04-28 | 2024-11-01 | 北京百度网讯科技有限公司 | 交通异常检测的方法和装置 |
| CN113327192A (zh) * | 2021-05-11 | 2021-08-31 | 武汉唯理科技有限公司 | 一种通过三维测量技术测算汽车行驶速度的方法 |
| CN118552882A (zh) * | 2024-07-26 | 2024-08-27 | 深圳市旭景数字技术有限公司 | 智能视频监控系统的边缘计算优化方法及系统 |
| CN118552882B (zh) * | 2024-07-26 | 2024-11-15 | 深圳市旭景数字技术有限公司 | 智能视频监控系统的边缘计算优化方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109740465B (zh) | 一种基于实例分割神经网络框架的车道线检测算法 | |
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| CN105260699B (zh) | 一种车道线数据的处理方法及装置 | |
| CN110097044B (zh) | 基于深度学习的一阶段车牌检测识别方法 | |
| CN111079675A (zh) | 基于目标检测与目标跟踪的行驶行为分析方法 | |
| CN112949633B (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
| CN105404857A (zh) | 一种基于红外的夜间智能车前方行人检测方法 | |
| CN114743119B (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
| CN110765890B (zh) | 基于胶囊网络深度学习架构的车道及车道标识检测方法 | |
| CN111553214B (zh) | 一种驾驶员吸烟行为检测方法及系统 | |
| CN116188999B (zh) | 一种基于可见光和红外图像数据融合的小目标检测方法 | |
| CN111931683B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN111626170A (zh) | 一种铁路边坡落石侵限检测的图像识别方法 | |
| CN114998879B (zh) | 一种基于事件相机的模糊车牌识别方法 | |
| Fleyeh et al. | Traffic sign detection based on AdaBoost color segmentation and SVM classification | |
| CN106934355A (zh) | 基于深度卷积神经网络的车内手检测方法 | |
| CN111738336A (zh) | 基于多尺度特征融合的图像检测方法 | |
| CN113128476A (zh) | 一种基于计算机视觉目标检测的低功耗实时头盔检测方法 | |
| Muthalagu et al. | Object and Lane Detection Technique for Autonomous Car Using Machine Learning Approach | |
| CN108932471A (zh) | 一种车辆检测方法 | |
| CN112801021B (zh) | 基于多级语义信息的车道线检测方法及系统 | |
| Yang et al. | A novel vision-based framework for real-time lane detection and tracking | |
| CN116630904A (zh) | 融合非临近跳连与多尺度残差结构的小目标车辆检测方法 | |
| CN116071707A (zh) | 一种机场特种车辆识别方法及系统 | |
| CN115690743A (zh) | 一种基于深度学习的机场停机位入侵的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200428 |