CN112507993A - 一种异常驶离的检测方法、系统、电子设备及存储介质 - Google Patents
一种异常驶离的检测方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112507993A CN112507993A CN202110156902.4A CN202110156902A CN112507993A CN 112507993 A CN112507993 A CN 112507993A CN 202110156902 A CN202110156902 A CN 202110156902A CN 112507993 A CN112507993 A CN 112507993A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- abnormal
- frame
- module
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 128
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 238000013136 deep learning model Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000001788 irregular Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
- G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供了一种异常驶离的检测方法、系统、电子设备及存储介质，属于检测技术领域，方法包括：S1，根据道路通行情况在监控画面中设置异常布控区域；S2，通过前端相机获取交通视频流；S3，利用深度学习模型检测视频流画面中的车辆信息；S4，将每一帧中车辆信息送入跟踪模块，以获得车辆的跟踪轨迹；S5，基于跟踪轨迹、异常布控区域判断该车辆是否发生异常驶离事件，若是，则将异常驶离信息进行上报；若否，则返回执行步骤S2。相对于现有技术中采用预埋线圈和光照传感器、或者采用RFID技术进行异常驶离的检测来说，本申请的方案不需要布设昂贵的基础设施，基于现有的道路监控设备即可实现，而且检测原理简单，可以保证较高的检测实时性、准确率。
Description
技术领域
本申请涉及交通事件检测技术领域，具体而言，涉及一种异常驶离的检测方法、系统、电子设备及存储介质。
背景技术
在国标 GBT 28789-2012 明确规定, 视频交通事件检测器需要具备检测机动车驶离事件的能力, 在国标中定义的机动车异常驶离事件为:行驶中的机动车异常驶离正常区域的交通事件, 在实际中,该事件往往预示着,该机动车可能会发生事故等破坏整体道路交通通行的后续事件,是一种用来预防和早期发现交通隐患的重要事件,因此无论在高速或者城市交通的治理和事件的早期发现等方面均具有重要的意义。
申请人通过检索现有技术后发现，相关的研究并不多。例如，专利申请1（CN106935037A）公开了一种基于光照度与地磁联合探测的复合型车位检测方法与检测装置，利用光照和车辆经过对与地磁线圈地磁产生的变化来检测车辆是否有驶离事件，显然其使用的非视频解决方案无法直接融入到视频交通检测器的系统中,同时需要配合大量的线圈预埋和光照传感器的建设工作,区域布控不灵活,无法根据实际情况进行调整。专利申请2（CN203376786U）公开了一种基于RFID的路边停车收费系统， 其利用RFID的方式感知机动车是否离开指定区域，RFID也无法直接融入视频交通检测系统,且RFID 属于耗材,维护成本高，RFID 传感器建设投入大,难以保证足够大的覆盖范围。
可见，对于“异常驶离”的检测，现有技术还未有效解决，亟需简单高效的检测技术来解决该技术问题。
发明内容
为了解决上述背景技术中存在的技术问题，本申请提供了一种异常驶离的检测方法、系统、电子设备及存储介质。
本申请的第一方面提供了一种异常驶离的检测方法，所述方法包括：
S1，根据道路通行情况在监控画面中设置异常布控区域；
S2，通过前端相机获取交通视频流；
S3，利用深度学习模型检测视频流画面中的车辆信息；
S4，将每一帧中车辆信息送入跟踪模块，以获得车辆的跟踪轨迹；
S5，基于所述跟踪轨迹、异常布控区域判断该车辆是否发生异常驶离事件，若是，则将异常驶离信息进行上报；若否，则返回执行步骤S2。
可选地，所述异常布控区域为不规则多边形区域。
可选地，步骤S3中利用深度学习模型检测视频流画面中的车辆信息，包括：
预先训练得到深度学习检测模型,该模型包括一个用于提取特征的主干网络,一个融合特征的特征金字塔网络和一个用于将融合特征转换为车辆位置的解码网络；将所述视频流解码后获得原始图片的RGB 数据,送入训练好的深度学习网络,得到车辆的位置。
可选地，步骤S4中将每一帧中车辆信息送入跟踪模块，以获得车辆的跟踪轨迹，包括：
将步骤S3中的得到的车辆位置信息按照时间顺序和原始图像帧送入跟踪模块,所述跟踪模块根据车辆位置的时序信息从原始图像帧中获取车辆的表征特征和历史时序的位置信息中获取的时序特征一起,对于当前送入的每一个车辆位置标上ID 信息,并将当前帧的ID 信息存入机动车的历史时序中，从而获得车辆的跟踪轨迹。
可选地，在所述步骤S5之前，还包括：遍历当前帧每一个ID 的车辆的位置, 若在当前帧没有检测到某个ID ,则认为该ID的车辆没有在当前出现，则不上报事件；
如果当前帧存在某ID，则执行步骤S5。
可选地，所述步骤S5中基于所述跟踪轨迹、异常布控区域判断该车辆是否发生异常驶离事件，包括：判断当前帧ID的车辆标识框与上一帧同ID的车辆标识框的连线线段是否与异常布控区域的多边形的边存在相交的情况，且当前帧的车辆标识框的中心在异常布控区域内,则判断该ID的车辆在异常布控区域内，即该车辆发生异常驶离事件。
可选地，当判断该ID车辆在异常布控区域内之后，对后续图像帧继续进行逐帧的轨迹判断, 若发现该ID 的车辆标识框的角点都在异常布控区域内, 则判断该ID的车辆完全进入异常布控区域，对异常驶离事件进行上报处理。
本申请的第二方面提供了一种异常驶离的检测系统，所述系统包括布控模块、监控模块、识别模块、跟踪模块、判断模块，其中：
所述布控模块，用于根据道路通行情况在监控画面中设置异常布控区域；
所述监控模块，用于通过前端相机获取交通视频流，并将所述交通视频流送入所述识别模块；
所述识别模块，用于利用深度学习模型检测视频流画面中的车辆信息，并将每一帧中车辆信息送入所述跟踪模块；
所述跟踪模块，用于对接收的所述识别模块发送的车辆信息进行识别以获得车辆的跟踪轨迹，并将所述跟踪轨迹送入所述判断模块；
所述判断模块，用于基于所述跟踪轨迹、异常布控区域判断该车辆是否发生异常驶离事件，若是，则将异常驶离信息进行上报。
本申请的第三方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。
本发明的有益效果在于：
在本申请实施例中，预先根据道路通行情况在监控画面中设置异常布控区域，利用深度学习模型检测车辆信息，并对检测出的车辆进行跟踪以获得对应的跟踪轨迹，再基于所述跟踪轨迹、异常布控区域判断该车辆是否发生异常驶离事件。相对于现有技术中采用预埋线圈和光照传感器、或者采用RFID技术进行异常驶离的检测来说，本申请的方案不需要布设昂贵的基础设施，基于现有的道路监控设备即可实现，而且检测原理简单，可以保证较高的检测实时性、准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例公开的一种异常驶离的检测方法的流程示意图；
图2是本申请实施例公开的一种异常驶离的检测系统的结构示意图；
图3是本申请实施例公开一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
实施例一
请参阅图1，图1是本申请实施例公开的一种异常驶离的检测方法的流程示意图。如图1所示，本申请实施例的一种异常驶离的检测方法，所述方法包括：
S1，根据道路通行情况在监控画面中设置异常布控区域；
S2，通过前端相机获取交通视频流；
S3，利用深度学习模型检测视频流画面中的车辆信息；
S4，将每一帧中车辆信息送入跟踪模块，以获得车辆的跟踪轨迹；
S5，基于所述跟踪轨迹、异常布控区域判断该车辆是否发生异常驶离事件，若是，则将异常驶离信息进行上报；若否，则返回执行步骤S2。
在本申请实施例中，在监控画面中将正常情况下禁止车辆驶入的区域（例如应急车道、施工中车道等）或车辆不可能行驶到的区域（例如绿化带区域、河流区域等）设置为异常布控区域，然后再通过视频流对车辆进行轨迹跟踪，于是，基于跟踪轨迹、异常布控区域就可以快速判断车辆是否发生了异常驶离事件。相对于现有技术中采用预埋线圈和光照传感器、或者采用RFID技术进行异常驶离的检测来说，本申请的方案不需要布设昂贵的基础设施，基于现有的道路监控设备即可实现，而且检测原理简单，可以保证较高的检测实时性、准确率。
可选地，所述异常布控区域为不规则多边形区域。
在本申请实施例中，需要进行异常布控的区域许多时候也许并非是规则形状，而且由于摄像头与异常布控区域的相对位置关系也会导致异常布控区域在监控图像中呈现不规则的形状，所以，为了实现对异常布控区域的完整监控，本申请在实时监控图像中基于目标监控区域的真实边界而预先设置异常布控区域为不规则多边形区域。
可选地，步骤S3中利用深度学习模型检测视频流画面中的车辆信息，包括：
预先训练得到深度学习检测模型,该模型包括一个用于提取特征的主干网络,一个融合特征的特征金字塔网络和一个用于将融合特征转换为车辆位置的解码网络；将所述视频流解码后获得原始图片的RGB 数据,送入训练好的深度学习网络,得到车辆的位置。
在本申请实施例中，本申请的深度学习检测模型包括三个模块，主干网络、特征金字塔网络和解码网络。其中，主干网络可以为为VGG16、ResNet-50、DarkNet-53等等。以及，本申请设置特征金字塔网络包括两组并行的金字塔层，采用如下公式得到融合后的特征：
式中，为金字塔的层数，为使用卷积的函数，为原金字塔层，为新的并行金字塔层。本申请设置了两组金字塔层，融合了不同的采样方式获得的特征信息，从而可以显著提高特征金字塔网络的特征信息增强功能；而并行金字塔层的采样方式，可以设置为不同，本领域技术人员可以根据设计需要自行设定，本申请对此不作限定。
可选地，步骤S4中将每一帧中车辆信息送入跟踪模块，以获得车辆的跟踪轨迹，包括：
将步骤S3中的得到的车辆位置信息按照时间顺序和原始的图像帧送入跟踪模块,所述跟踪模块根据车辆位置的时序信息从原始图像帧中获取车辆的表征特征和历史时序的位置信息中获取的时序特征一起,对于当前送入的每一个车辆位置标上ID 信息,并将当前帧的ID 信息存入机动车的历史时序中，从而获得车辆的跟踪轨迹。
在本申请实施例中，在从视频流中识别出车辆之后，将车辆的位置信息按照时序依次输入跟踪模块，同时输入的还包括与时序对应的原始帧图，于是，跟踪模块一方面获得了车辆的轨迹点信息，另一方面还从原始帧图中获得了用于识别车辆身份的表征特征（例如，车辆颜色和/或车型和/或车牌号等等），基于上述两方面的信息就可以实现同时对多辆车的轨迹进行跟踪。在进行跟踪时，可以给每个车辆标识ID，以便于车辆归类识别，另外，还可以给每辆车标识车辆标识框，标识框可以为方形、圆形或其它不规则形状。
可选地，在所述步骤S5之前，还包括：遍历当前帧每一个ID 的车辆的位置, 若在当前帧没有检测到某个ID ,则认为该ID的车辆没有在当前出现，则不上报事件；
如果当前帧存在某ID，则执行步骤S5。
在本申请实施例中，在开始进行识别判断时，要先检测当前帧是否存在特定ID的车辆，因为可能会存在曾存在于在先图像帧中的某些车辆已经驶出当前监控区域，当前帧中就不会再检测到这些车辆。于是，为了避免系统误判断这些车辆发生了异常，或者系统出现其它逻辑错误，本申请设定对于这些不再存在于当前帧的车辆进行过滤处理，即只对那些仍然存在于当前帧的车辆进行异常驶离的判断。
可选地，所述步骤S5中基于所述跟踪轨迹、异常布控区域判断该车辆是否发生异常驶离事件，包括：判断当前帧ID的车辆标识框与上一帧同ID的车辆标识框的连线线段是否与异常布控区域的多边形的边存在相交的情况，且当前帧的车辆标识框的中心在异常布控区域内,则判断该ID的车辆在异常布控区域内，即该车辆发生异常驶离事件。
在本申请实施例中，如前所述，本申请给识别出的车辆设置了车辆标识框框，如此，在相邻帧（即可以为单帧相邻帧，也可以为多帧相邻帧）之间出现车辆标识框的连线线段与异常布控区域的边相交，则意味着该车辆驶离了正常道路行驶区域而驶入了异常驶离区域。但是，此时车辆仍然可能是处于正常驾驶状态（车辆只是局部驶入了异常布控区域，例如压线行驶），或者获取的视频流数据出现失真偏移，或者视频流识别结果出现误差等，为了避免上述情况导致的误判断，本申请进一步检测当前帧车辆标识框的中心是否在异常布控区域内，如果是的话，则判定该车辆确实发生了异常驶离事件。
可选地，当判断该ID车辆在异常布控区域内之后，对后续图像帧继续进行逐帧的轨迹判断, 若发现该ID 的车辆标识框的角点都在异常布控区域内, 则判断该ID的车辆完全进入异常布控区域，对异常驶离事件进行上报处理。
在本申请实施例中，即便车辆的标识框的中心也位于了异常布控区域内，但仍然有可能因为车辆仍然可能是处于正常驾驶状态（车辆只是局部驶入了异常布控区域，例如压线行驶）、或者获取的视频流数据出现失真偏移、或者视频流识别结果出现误差等原因导致误判，所以，本申请在判断当前帧的车辆标识框的中心在异常布控区域内之后，对后续预设时段内的图像帧继续进行逐帧的轨迹判断，如果标识框的角点全部进入了异常布控区域，则说明该车辆确实发生了异常驶离事件，此时，对该车辆的异常驶离事件进行上报处理。如此设置，既实现了异常驶离事件的快速检测，又尽可能的避免了异常驶离的误判断，显著提高了检测效果。
另外，对于车辆标识框来说，还可以基于车辆速度来调整其大小，例如，在检测到车速较快时，设置所述标识框较小，在检测到车速较慢时，设置所述标识框较大。因为，在车速慢的时候，驾驶员有更多的反应时间机会，此时对车辆进行稍宽松的异常驶离检测及报警，以尽量减少无效报警；而当车速较快时，异常驶离的检测及报警应当更为严格，因为在较高车速下驾驶员的反应时间很短，且异常驶离事件会造成更大的危害，所以，此时将所述标识框设置为较小一些，以提高异常驶离检测及报警的灵敏度。对于标识框的大小与车速的对应关系，可以由本领域技术人员根据实际情况做出，本申请对此不做限定。
可选地，在步骤S5中，当检测出该ID 的车辆标识框的角点都在异常布控区域内之后，还包括：调取对应的所述原始图像帧，从中识别出该ID车辆的表征信息，基于所述表征信息判定该ID车辆是否为排除车辆，如果为排除车辆，则判定未发生异常驶离事件；如果为非排除车辆，则判定发生异常驶离事件。
在本申请实施例中，实际情况中，异常布控区域对于某些特殊车辆是可以驶入的，例如，交管车辆、抢险救援车辆可以驶入应急车道，为了避免对这些排除车辆的误判断，本申请在最终判定车辆驶入了异常布控区域之后还进一步检测是否为排除车辆，以提高异常驶离判断的准确性。
可选地，如果为排除车辆，则该方法还包括：
判定驶入异常布控区域的车辆是否停车，以及判定下车人员着装是否为指定制服，如果是，则判定未发生异常驶离事件，否则判定为发生异常驶离事件。
在本申请实施例中，另一现实情况是，由于车辆非法改装或图像识别错误等原因，仍然可能会将实际为非排除车辆的车辆认定为排除车辆，从而造成误判断。针对该问题，本申请进一步判断车辆驶入异常布控区域之后是否停车，以及判定下车人员是否着指定制服（例如交警制服、救护人员制服等），如果上述两个条件均满足，则认定该车辆确实为排除车辆，不判定发生异常驶离事件；否则，认为前述排除车辆识别错误（原因包括车辆非法改装或算法识别错误），认定该车辆为非排除车辆，判定发生异常驶离事件。该进一步判断的理论依据是，通常情况下只有交警出于指挥交通或处理事故的需要才会将车辆驶入异常布控区域并停车，而普通车辆极少会在异常布控区域之内长期停车操作；以及，基于下车人员的着装也可以辅助进行判断。
可选地，该方法既可以基于常规的路侧监控设备实现，也可以基于车载设备实现。对于基于车载设备的情况，例如可以将前端相机设置于公交车、大巴车等视野较为宽阔的车辆上，并预先在车载设备中存储好异常布控区域的位置及具体的边界信息，然后车载设备的处理器就可以接收前端相机获得的视频流及车载设备的定位设备获得的定位信息，进而通过转换算法在所述视频流的图像帧中实时标注出异常布控区域。这些车辆在行驶过程中实时检测获取的前方交通视频流，识别出其中的车辆并对其进行跟踪，基于识别出的车辆的跟踪轨迹和转换标识出的异常布控区域，就可以判定对应车辆是否发生异常驶离事件，从而可以进行上报处理操作。基于车载设备的异常驶离检测方法，可以充分利用公众车辆进行异常驶离的检测，极大的扩展了异常驶离的检测范围，可以与基于常规的路侧监控设备的异常驶离检测方案进行有机的结合。
实施例二
请参阅图2，图2是本申请实施例公开的一种异常驶离的检测系统的结构示意图。如图2所示，本申请实施例的一种异常驶离的检测系统，所述系统包括布控模块、监控模块、识别模块、跟踪模块、判断模块，其中：
所述布控模块，用于根据道路通行情况在监控画面中设置异常布控区域；
所述监控模块，用于通过前端相机获取交通视频流，并将所述交通视频流送入所述识别模块；
所述识别模块，用于利用深度学习模型检测视频流画面中的车辆信息，并将每一帧中车辆信息送入所述跟踪模块；
所述跟踪模块，用于对接收的所述识别模块发送的车辆信息进行识别以获得车辆的跟踪轨迹，并将所述跟踪轨迹送入所述判断模块；
所述判断模块，用于基于所述跟踪轨迹、异常布控区域判断该车辆是否发生异常驶离事件，若是，则将异常驶离信息进行上报。
在本申请实施例中，在监控画面中将正常情况下禁止车辆驶入的区域（例如应急车道、施工中车道等）或车辆不可能行驶到的区域（例如绿化带区域、河流区域等）设置为异常布控区域，然后再通过视频流对车辆进行轨迹跟踪，于是，基于跟踪轨迹、异常布控区域就可以快速判断车辆是否发生了异常驶离事件。相对于现有技术中采用预埋线圈和光照传感器、或者采用RFID技术进行异常驶离的检测来说，本申请的方案不需要布设昂贵的基础设施，基于现有的道路监控设备即可实现，而且检测原理简单，可以保证较高的检测实时性、准确率。
实施例三
请参阅图3，图3是本申请实施例公开的一种电子设备，其特征在于：所述设备包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述的方法。
实施例四
本申请实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如实施例一所述的方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种异常驶离的检测方法，其特征在于：所述方法包括：
S1，根据道路通行情况在监控画面中设置异常布控区域；
S2，通过前端相机获取交通视频流；
S3，利用深度学习模型检测视频流画面中的车辆信息；
S4，将每一帧中车辆信息送入跟踪模块，以获得车辆的跟踪轨迹；
S5，基于所述跟踪轨迹、异常布控区域判断该车辆是否发生异常驶离事件，若是，则将异常驶离信息进行上报；若否，则返回执行步骤S2。
2.根据权利要求1所述的方法，其特征在于：所述异常布控区域为不规则多边形区域。
3.根据权利要求1所述的方法，其特征在于：步骤S3中利用深度学习模型检测视频流画面中的车辆信息，包括：
预先训练得到深度学习检测模型,该模型包括一个用于提取特征的主干网络,一个融合特征的特征金字塔网络和一个用于将融合特征转换为车辆位置的解码网络；将所述视频流解码后获得原始图片的RGB 数据,送入训练好的深度学习网络,得到车辆的位置。
4.根据权利要求1所述的方法，其特征在于：步骤S4中将每一帧中车辆信息送入跟踪模块，以获得车辆的跟踪轨迹，包括：
将步骤S3中的得到的车辆位置信息按照时间顺序和原始图像帧送入跟踪模块, 所述跟踪模块根据车辆位置的时序信息从原始图像帧中获取车辆的表征特征和历史时序的位置信息中获取的时序特征一起,对于当前送入的每一个车辆位置标上ID 信息,并将当前帧的ID 信息存入机动车的历史时序中，从而获得车辆的跟踪轨迹。
5.根据权利要求4所述的方法，其特征在于：在所述步骤S5之前，还包括：遍历当前帧每一个ID 的车辆的位置, 若在当前帧没有检测到某个ID ,则认为该ID的车辆没有在当前出现，则不上报事件；
如果当前帧存在某ID，则执行步骤S5。
6.根据权利要求5所述的方法，其特征在于：所述步骤S5中基于所述跟踪轨迹、异常布控区域判断该车辆是否发生异常驶离事件，包括：判断当前帧ID的车辆标识框与上一帧同ID的车辆标识框的连线线段是否与异常布控区域的多边形的边存在相交的情况，且当前帧的车辆标识框的中心在异常布控区域内,则判断该ID的车辆在异常布控区域内，即该车辆发生异常驶离事件。
7.根据权利要求6所述的方法，其特征在于：当判断该ID车辆在异常布控区域内之后，所述步骤S5还包括：对后续图像帧继续进行逐帧的轨迹判断, 若发现该ID 的车辆标识框的角点都在异常布控区域内, 则判断该ID的车辆完全进入异常布控区域，对异常驶离事件进行上报处理。
8.一种异常驶离的检测系统，其特征在于：所述系统包括布控模块、监控模块、识别模块、跟踪模块、判断模块，其中：
所述布控模块，用于根据道路通行情况在监控画面中设置异常布控区域；
所述监控模块，用于通过前端相机获取交通视频流，并将所述交通视频流送入所述识别模块；
所述识别模块，用于利用深度学习模型检测视频流画面中的车辆信息，并将每一帧中车辆信息送入所述跟踪模块；
所述跟踪模块，用于对接收的所述识别模块发送的车辆信息进行识别以获得车辆的跟踪轨迹，并将所述跟踪轨迹送入所述判断模块；
所述判断模块，用于基于所述跟踪轨迹、异常布控区域判断该车辆是否发生异常驶离事件，若是，则将异常驶离信息进行上报。
9.一种电子设备，所述设备包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
其特征在于：所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的方法。
10.一种计算机存储介质，该存储介质上存储有计算机程序，其特征在于该计算机程序被处理器运行时执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110156902.4A CN112507993B (zh) | 2021-02-05 | 2021-02-05 | 一种异常驶离的检测方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110156902.4A CN112507993B (zh) | 2021-02-05 | 2021-02-05 | 一种异常驶离的检测方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112507993A true CN112507993A (zh) | 2021-03-16 |
| CN112507993B CN112507993B (zh) | 2021-06-15 |
Family
ID=74952703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110156902.4A Active CN112507993B (zh) | 2021-02-05 | 2021-02-05 | 一种异常驶离的检测方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112507993B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139482A (zh) * | 2021-04-28 | 2021-07-20 | 北京百度网讯科技有限公司 | 交通异常检测的方法和装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345618A (zh) * | 2013-06-21 | 2013-10-09 | 银江股份有限公司 | 一种基于视频技术的交通违章检测方法 |
| CN107330373A (zh) * | 2017-06-02 | 2017-11-07 | 重庆大学 | 一种基于视频的违章停车监控系统 |
| CN108335489A (zh) * | 2018-03-11 | 2018-07-27 | 西安电子科技大学 | 高速公路车辆行为语义分析及异常行为监控系统及方法 |
| CN109948582A (zh) * | 2019-03-28 | 2019-06-28 | 湖南大学 | 一种基于跟踪轨迹分析的车辆逆行智能检测方法 |
| CN110459064A (zh) * | 2019-09-19 | 2019-11-15 | 上海眼控科技股份有限公司 | 车辆违法行为检测方法、装置、计算机设备 |
| CN110717433A (zh) * | 2019-09-30 | 2020-01-21 | 华中科技大学 | 一种基于深度学习的交通违规分析方法及装置 |
| CN111310583A (zh) * | 2020-01-19 | 2020-06-19 | 中国科学院重庆绿色智能技术研究院 | 一种基于改进的长短期记忆网络的车辆异常行为识别方法 |
| CN112163543A (zh) * | 2020-10-12 | 2021-01-01 | 北京易华录信息技术股份有限公司 | 一种车辆违法占道的检测方法及系统 |
-
2021
- 2021-02-05 CN CN202110156902.4A patent/CN112507993B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345618A (zh) * | 2013-06-21 | 2013-10-09 | 银江股份有限公司 | 一种基于视频技术的交通违章检测方法 |
| CN107330373A (zh) * | 2017-06-02 | 2017-11-07 | 重庆大学 | 一种基于视频的违章停车监控系统 |
| CN108335489A (zh) * | 2018-03-11 | 2018-07-27 | 西安电子科技大学 | 高速公路车辆行为语义分析及异常行为监控系统及方法 |
| CN109948582A (zh) * | 2019-03-28 | 2019-06-28 | 湖南大学 | 一种基于跟踪轨迹分析的车辆逆行智能检测方法 |
| CN110459064A (zh) * | 2019-09-19 | 2019-11-15 | 上海眼控科技股份有限公司 | 车辆违法行为检测方法、装置、计算机设备 |
| CN110717433A (zh) * | 2019-09-30 | 2020-01-21 | 华中科技大学 | 一种基于深度学习的交通违规分析方法及装置 |
| CN111310583A (zh) * | 2020-01-19 | 2020-06-19 | 中国科学院重庆绿色智能技术研究院 | 一种基于改进的长短期记忆网络的车辆异常行为识别方法 |
| CN112163543A (zh) * | 2020-10-12 | 2021-01-01 | 北京易华录信息技术股份有限公司 | 一种车辆违法占道的检测方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139482A (zh) * | 2021-04-28 | 2021-07-20 | 北京百度网讯科技有限公司 | 交通异常检测的方法和装置 |
| WO2022227766A1 (zh) * | 2021-04-28 | 2022-11-03 | 北京百度网讯科技有限公司 | 交通异常检测的方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112507993B (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106004883B (zh) | 车辆违规提醒的方法及装置 | |
| CN101847320B (zh) | 路口交通控制系统和方法 | |
| WO2018058958A1 (zh) | 一种道路车辆交通告警系统及其方法 | |
| CN110991224B (zh) | 基于图像识别的行人闯红灯检测方法、装置及相关设备 | |
| US20150161796A1 (en) | Method and device for recognizing pedestrian and vehicle supporting the same | |
| CN101739809A (zh) | 行人闯红灯自动报警监控系统 | |
| CN103886755B (zh) | 具有闯红灯拍照功能的路口异常停车快速报警系统及方法 | |
| CN201307337Y (zh) | 行人闯红灯自动报警监控装置 | |
| CN102332209A (zh) | 一种汽车违章视频监测方法 | |
| CN101540105A (zh) | 一种基于车辆牌照识别和网格化监控的套牌车检测方法 | |
| CN101587641A (zh) | 车辆牌照检测与识别系统 | |
| CN101692313A (zh) | 基于嵌入式平台的便携式车辆识别装置 | |
| CN103886763B (zh) | 一种利用视频跟踪技术实现超速违法行为拍照方法及系统 | |
| CN105654734A (zh) | 车辆违章行为的数据处理方法及装置 | |
| CN104134360A (zh) | 基于短程通信的路口行人识别安全控制系统及方法 | |
| CN109146914B (zh) | 一种高速公路基于视频分析的醉酒驾驶行为预警方法 | |
| CN104809887A (zh) | 一种高速公路上车辆逆行检测方法与自动报警装置 | |
| CN103886753B (zh) | 一种信号灯控制路口异常停车原因快速确认系统及方法 | |
| CN104282154A (zh) | 一种车辆超载监控系统及方法 | |
| CN113055649A (zh) | 一种隧道智能视频监控方法、装置、智能终端及存储介质 | |
| CN105574502A (zh) | 一种自助发卡机违章行为自动检测方法 | |
| CN113012436A (zh) | 道路监控方法、装置及电子设备 | |
| CN102394012B (zh) | 带有预置位功能的车辆越线行驶监控系统及方法 | |
| CN105427618A (zh) | 车辆占用紧急停车带的警示方法及系统 | |
| CN112507993B (zh) | 一种异常驶离的检测方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |