CN107609491A - 一种基于卷积神经网络的车辆违章停车检测方法 - Google Patents

Abstract

本发明提供一种基于卷积神经网络的车辆违章停车检测方法，包括：步骤1)分别设定视频帧图像内的禁止停车区域、预设违章预警阈值和预设违章阈值；步骤2)通过卷积神经网络模型，检测设定好的禁止停车区域内的目标车辆，记录车辆信息；步骤3)判断步骤2)的当前车辆集合A与历史车辆集合B是否存在可匹配的车辆；步骤4)判断当前目标车辆A_i已经滞留的时间是否大于步骤1)中的预设违章预警阈值；步骤5)判断所述当前目标车辆A_i的预警滞留的时间是否大于步骤1)中的预设违章阈值；步骤6)更新历史车辆集合B的车辆信息，输入下一视频帧图像，进入步骤2开始对下一视频帧图像进行车辆违章检测；重复步骤2)至步骤5)的操作。

Description

一种基于卷积神经网络的车辆违章停车检测方法

技术领域

本发明涉及智能交通系统、深度学习和图像识别技术领域，特别涉及一种基于卷积神经网络的车辆违章停车检测方法。

背景技术

随着社会的进步和发展，城市机动车数量不断增加，道路交通事故造成的经济损失和伤亡人数也在增长，控制交通事故发生成为交通管理部门越来越重视的问题，而造成交通事故的首要原因就是汽车违章行为，违章停车作为一种常见的违章行为，不仅会造成交通拥堵、交通瘫痪，甚至可能会造成严重交通事故。目前对违章停车的检测方式，主要由人工检测。但是，这需要安排人员长时间人工监控所有禁止停车的场所，消耗了大量人力，难以对违章车辆滞留时间进行准确测定，容易因监控人员注意力分散等原因出现漏检。为了降低交通事故发生率，交通管理部门不断推进智能交通管理系统的建设，而智能交通管理系统中基于监控视频的违章停车检测技术最为基础。因此研究基于监控视频的车辆违章停车超时检测方法具有非常重要的现实意义。

现有违章停车检测方法的前提都是需要检测出车辆的位置。传统的基于视频的车辆检测方法有背景差分法、帧差法、光流法等，这些方法主要通过车辆与背景图像在颜色、形状等方面上的差异，将车辆从视频影像中提取出来，获取其位置等信息。实际道路场景应用中，往往存在以下问题：1)户外光照条件随时间变化显著，白天、夜晚不同光照条件下车辆的视频特征差异很大；2)车辆的阴影、灯光、雨后路面倒影等干扰因素与车辆具有相似的运动特征，导致难以区分；3)雨、雪、雾和闪电等恶劣气象条件下，视频质量下降严重。这些方法由于认定前景区域就是车辆出现的位置，而没能在前景区域中进行有效的车辆检测,这使得此类方法往往难以获得实际应用所需的检测准确率。

发明内容

本发明的目的在于，为解决目前传统的基于视频图像的车辆检测方法存在上述问题，提出一种基于卷积神经网络的车辆违章停车检测方法，该方法通过使用卷积神经网络模型，对禁止停车区域内的目标车辆进行检测，并获取其对应的位置信息，并不断将当前车辆信息和历史车辆信息进行比对匹配，以此判断目标车辆在预先设定的禁止停车区域内是否超时滞留；再和下一周期视频帧图像内的车辆进行比对，不断循环上述操作，以获取目标车辆的违章停车的滞留时间信息。

与传统的车辆检测方法不同，卷积神经网络对几何变换、形变、光照具有一定程度的不变性，有效克服了目标的外观多变带来的困难，并且可在训练数据驱动下自适应地构建特征描述，具有更高的灵活性和泛化能力。本发明通过卷积神经网络模型检测出目标车辆的位置后，进行违章停车检测，大大提高了检测精度和检测速度。

本发明提供了一种基于卷积神经网络的车辆违章停车检测方法，包括如下步骤：

步骤1)分别设定视频帧图像内的禁止停车区域、预设违章预警阈值和预设违章阈值；获得禁止停车区域的视频帧图像；

步骤2)通过卷积神经网络模型，检测停放在步骤1)中设定好的禁止停车区域内的目标车辆，记录在当前视频帧图像内检出的车辆信息，形成当前车辆集合A；即当前车辆集合A＝{A₁,A₂,...,A_i}，当前车辆集合A的矩形包围框区域为PA_i；

步骤3)假定上一周期记录检出的视频帧图像中历史车辆集合B＝{B₁,B₂,...,B_j}，历史车辆集合B的矩形包围框区域为PB_j；判断步骤2)的当前车辆集合A与历史车辆集合B是否存在可匹配的车辆；如果存在可匹配的车辆，则更新所述目标车辆A_i已滞留的时间，并进行下一步骤；如果不存在可匹配的车辆，则更新当前周期内记录检出的视频帧图像中的目标车辆信息，并直接进入步骤6)；

步骤4)判断当前目标车辆A_i已经滞留的时间是否大于步骤1)中的预设违章预警阈值；如果当前目标车辆A_i已经滞留的时间小于步骤1)中的预设违章预警阈值，则继续更新并记录所述当前目标车辆A_i已滞留的时间，并直接进入步骤6)；如果所述当前目标车辆A_i已经滞留的时间大于步骤1)中的预设违章预警阈值，则更新并记录所述当前目标车辆A_i的预警滞留的时间，并进行下一步骤；

步骤5)判断所述当前目标车辆A_i的预警滞留的时间是否大于步骤1)中的预设违章阈值；如果所述当前目标车辆A_i的预警滞留的时间小于步骤1)中的预设违章阈值，则继续更新所述当前目标车辆A_i的预警滞留的时间，并直接进入步骤6)；如果所述当前目标车辆A_i的预警滞留的时间大于步骤1)中的预设违章阈值，则判定所述当前目标车辆A_i处于违章停车状态，记录并保存违章滞留的时间；

步骤6)更新历史车辆集合B的车辆信息，将当前车辆集合A中的车辆与历史车辆集之中进入了违章停车预警状态且连续未检出时间小于预警判决时间的车辆，即预警标志beginStopFlag＝true的车辆更新为新的历史车辆集B。输入下一视频帧图像，根据下一周期内记录并检出的图像帧中的目标车辆信息，进入步骤2开始对下一视频帧图像进行车辆违章检测；重复步骤2)至步骤5)的操作。

所述步骤2)中，记录当前车辆集合A的具体过程如下：

步骤2-1)将步骤1)得到的禁止停车区域内的视频帧图像输入所述卷积神经网络模型中，检测停放在步骤1)中设定好的禁止停车区域内的当前目标车辆的矩形包围框；

步骤2-2)检出当前车辆集合A＝{A₁,A₂,...,A_i}，当前目标车辆A_i的矩形包围框区域为PA_i，当前车辆A_i的停车滞留时间stopTime＝T，匹配标志beFoundFlag＝false，预警标志beginStopFlag＝false，违停标志sureStopFlag＝false，连续中断时间breakTimes＝0。

所述步骤2)中，所述卷积神经网络模型包括：1个输入层、10个卷积层、5个下采样层、3个全连接层和1个输出层；其中，所述卷积层扫描边界自动填充0，均利用Leaky-ReLu函数对神经元进行激活；所述下采样层中均采用最大池化。

所述步骤2)中，所述卷积层进一步包括：卷积层C1的卷积核大小为7×7，16个卷积核，步长为2，生成特征图大小为224×224；卷积层C2卷积核大小为1×1，4个卷积核，步长为1，生成特征图大小为56×56；卷积层C3卷积核大小为1×1，4个卷积核，步长为1，生成特征图大小为56×56；卷积层C4卷积核大小为3×3，8个卷积核，步长为1，生成特征图大小为56×56；卷积层C5卷积核大小为1×1，8个卷积核，步长为1，生成特征图大小为28×28；卷积层C6卷积核大小为1×1，8个卷积核，步长为1，生成特征图大小为28×28；卷积层C7卷积核大小为3×3，16个卷积核，步长为1，生成特征图大小为28×28；卷积层C8卷积核大小为3×3，32个卷积核，步长为1，生成特征图大小为14×14；卷积层C9卷积核大小为3×3，64个卷积核，步长为1，生成特征图大小为7×7；下采样层S5窗口大小为4×4，步长为4，生成特征图大小为2×2；卷积层C10卷积核大小为3×3，64个卷积核，步长为1，生成特征图大小为2×2。

所述步骤2)中，所述下采样层进一步包括：下采样层S1窗口大小为4×4，步长为4，生成特征图大小为56×56；下采样层S2窗口大小为2×2，步长为2，生成特征图大小为28×28；下采样层S3窗口大小为2×2，步长为2，生成特征图大小为14×14；下采样层S4窗口大小为2×2，步长为2，生成特征图大小为7×7。

所述步骤2)中，所述全连接层进一步包括：全连接层F1包括256个神经元，使用Relu函数对所述每个神经元进行激活；全连接层F2包括4096个神经元，使用Leaky-ReLu函数对所述每个神经元进行激活。

所述步骤2)中，所述输出层进一步包括：输出层包括539个神经元，使用Relu函数对所述每个神经元进行激活。

步骤3)中，判断步骤2)的当前车辆集合A与历史车辆集合B是否存在可匹配的车辆的具体过程如下：

步骤3-1)根据步骤2-2)得到的当前车辆集合A，遍历上一周期视频帧图像内的历史车辆集合B＝{B₁,B₂,...,B_j}，将所述历史车辆集B与所述当前车辆集A进行逐一比对，判断当前车辆A_i在历史车辆集B中是否存在可匹配车辆；

对当前视频帧图像中已检出目标车辆A_i，将检测到的车辆A_i的矩形包围框区域PA_i与历史车辆集合中B_j的检测到的矩形包围框区域PB_j逐一比较；区域重叠率IOU为两个区域PA_i、PB_j的交集除并集，即(PA_i∩PB_j)/(PA_i∪PB_j)；预设匹配判决阈值R；若IOU大于或等于R，认为当前目标车辆A_i与上一周期视频帧图像内历史车辆B_j为疑似滞留同一车辆，可能发生违章停车行为，则进入下一个步骤；若IOU小于R，认为当前车辆A_i为新检出车辆，则直接进入步骤5)。

步骤3-2)提取当前目标车辆A_i的检测的矩形包围框区域PA_i的图像和相应的历史车辆B_j检测的矩形包围框区域PB_j的图像，归一化至48×48大小，并进行灰度化，计算LBP特征，即LBP_Ai和LBP_Bj；

在计算LBP特征时，使用半径为2，采样点数为8的LBP算子，对整幅图像的每个像素点求LBP值，统计整个图像LBP值的直方图构成该图像的LBP特征，其维度为59。计算PA_i区域图像LBP特征LBP_Ai与PB_j区域图像LBP特征LBP_Ai间的欧几里德距离d；若d小于欧几里德距离匹配判决阈值D，则当前目标车辆A_i与历史车辆B_j相互匹配，即当前视频帧图像中目标车辆Ai与历史车辆集合中的车辆Bj为滞留同一车辆，则进入下一步骤；若d>D，则当前目标车辆A_i与历史车辆B_j不匹配，所述当前目标车辆A_i为新检出车辆，进入步骤6)。

步骤3-3)当前目标车辆A_i停车滞留时间更新A_i.stopTime＝B_j.stopTime+T，匹配标志beFoundFlag＝true，连续中断时间breakTimes归零；相应的匹配车辆B_i匹配标志beFoundFlag＝false。

步骤4)中，判断当前目标车辆A_i已经滞留的时间是否大于步骤1)中的预设违章预警阈值的具体过程如下：

若更新后的当前目标车辆A_i滞留时间大于步骤1)中预设的违章停车预警阈值，则表示当前目标车辆A_i已经进入了违章停车预警状态，预警标志beginStopFlag＝true；若更新后的当前目标车辆A_i滞留时间小于步骤1)中预设的违章停车预警阈值，则进入步骤6)。

实际道路场景中，存在违章停车的车辆被正在行驶的车辆暂时遮挡的可能性。为减少漏判，若当前视频帧中所有检出目标车辆均未能匹配到历史车辆中已预警车辆B_j，预警判决时间T_p内仍将已预警车辆B_j判定为预警状态，保持已预警车辆B_j匹配标志与预警标志beFoundFlag＝beginStopFlag＝true，已预警车辆B_j滞留时间更新B_j.stopTime＝B_j.stopTime+T，已预警车辆B_j连续中断时间更新B_j.breakTimes＝B_j.breakTimes+T。若B_j.breakTimes>T_p，即连续未检出已预警车辆B_j的时间已超出预警判决时间，认为该预警车辆B_j已驶离，解除预警。匹配标志与预警标志beFoundFlag＝beginStopFlag＝false。

步骤5)中，判断所述当前目标车辆A_i的预警滞留的时间是否大于步骤1)中的预设违章阈值的具体过程如下：

若更新后的当前目标车辆A_i预警滞留时间大于步骤1)设定的违章停车阈值，表示当前目标车辆A_i已经进入了违章停车滞留状态，违章标志sureStopFlag＝true；此时标注出违章停车的当前目标车辆A_i，后台保存违章的当前目标车辆A_i的图片，并将其作为判决证据；若更新后的当前目标车辆A_i预警滞留时间小于步骤1)设定的违章停车阈值，则进入步骤6)。

为避免出现误判，若当前当前视频帧中所有检出目标车辆均未能匹配到历史车辆集合B中已违章车辆B_j，判决时间T_p内仍将已违章车辆B_j判定为违章停车状态，保持已违章车辆B_j匹配标志与违章标志beFoundFlag＝sureStopFlag＝true，已违章车辆B_j滞留时间更新B_j.stopTime＝B_j.stopTime+T，已违章车辆B_j连续中断时间更新B_j.breakTimes＝B_j.breakTimes+T；若B_j.breakTimes>T_p，即连续未检出已违章车辆B_j的时间已超出预警判决时间，认为该违章车辆已驶离；匹配标志、预警标志与违章标志beFoundFlag＝beginStopFlag＝sureStopFlag＝false，记录保存其总违章滞留时间stopTime＝stopTime-T_p。

本发明的优点在于：本发明通过对输入视频帧图像指定设定的禁止停车区域进行自动检测获取目标车辆信息，可实现对禁止停车区域无间断的检测，克服了当前使用人力来监视道路视频检测违章停车的方法造成的人力资源消耗大，无法长时间检测违章停车等缺陷。另外，本发明利用卷积神经网络模型可有效识别出图像帧中的目标车辆，相比于利用运动特征提取目标车辆的方法准确度更高、适用范围更广；本发明利用违章停车预警相关判定，可避免将短时间滞留车辆误判为违章停车车辆，可大大减少因违章停车车辆暂时被遮挡等原因而造成的漏判，实现对违章停车行为的准确取证。

附图说明

图1是本发明的一种基于卷积神经网络的车辆违章停车检测方法概括描述的流程示意图；

图2(a)是利用本发明实施例中的基于卷积神经网络的车辆违章停车检测方法的步骤1的设定禁止停车区域的效果示意图；

图2(b)是利用本发明实施例中的基于卷积神经网络的车辆违章停车检测方法的步骤2的检出车辆集合A的效果示意图；

图2(c)是利用本发明实施例中的基于卷积神经网络的车辆违章停车检测方法的步骤4的车辆进入违章停车预警状态的效果示意图；

图2(d)是利用本发明实施例中的基于卷积神经网络的车辆违章停车检测方法的步骤5的车辆进入违章停车滞留状态的效果示意图；

图2(e)是利用本发明实施例中的基于卷积神经网络的车辆违章停车检测方法的步骤5的违章车辆驶离状态的效果示意图；

图3是本发明实施例中所用的车辆检测卷积神经网络结构图；

图4是本发明的一种基于卷积神经网络的车辆违章停车检测方法的流程示意图。

具体实施方式

以下结合附图对本发明作进一步的详细说明。

与传统的车辆检测方法不同，卷积神经网络对几何变换、形变、光照具有一定程度的不变性，有效克服了目标的外观多变带来的困难，并且可在训练数据驱动下自适应地构建特征描述，具有更高的灵活性和泛化能力。本发明通过卷积神经网络模型检测出目标车辆的位置后，进行违章停车检测，大大提高了检测精度和检测速度。

如图1所示，本发明提供了一种基于卷积神经网络的车辆违章停车检测方法，包括如下简要的步骤：

初始化违停检测区域与违停参数；

输入视频，获取待处理图像；

使用卷积神经网络检测视频帧图像区域内车辆，设置当前车辆信息；

比对当前车辆信息与历史车辆信息，更新历史车辆信息；

判断是否存在违停车辆。是，则标注违停车辆，保存车辆信息并进入下一步判断；否，则直接进入下一步判断；

判断当前视频帧是否为最后一帧，是，则结束算法；否，则继续输入视频获取待处理图像进行下一帧违停车辆检测。

如图4所示，本发明提供了一种基于卷积神经网络的车辆违章停车检测方法，包括如下具体内容：

步骤1)分别设定视频帧图像内的禁止停车区域、预设违章预警阈值和预设违章阈值；获得禁止停车区域的视频帧图像；如图2(a)所示；

步骤2)通过卷积神经网络模型，检测停放在步骤1)中设定好的禁止停车区域内的目标车辆，记录在当前周期内检出的视频帧图像中的车辆信息，形成当前车辆集合A；即当前车辆集合A＝{A₁,A₂,...,A_i}，当前车辆集合A的矩形包围框区域为PA_i；如图2(b)所示；

步骤3)假定上一周期记录检出的图像帧中历史车辆集合B＝{B₁,B₂,...,B_j}，历史车辆集合B的矩形包围框区域为PB_j；判断步骤2)的当前车辆集合A与历史车辆集合B是否存在可匹配的车辆；如果存在可匹配的车辆，则更新所述目标车辆A_i已滞留的时间，并进行下一步骤；如果不存在可匹配的车辆，则更新当前视频帧图像中检出的目标车辆信息，并直接进入步骤6)；

步骤4)判断当前目标车辆A_i已经滞留的时间是否大于步骤1)中的预设违章预警阈值；如果当前目标车辆A_i已经滞留的时间小于步骤1)中的预设违章预警阈值，则继续更新并记录所述当前目标车辆A_i已滞留的时间，并直接进入步骤6)；如果所述当前目标车辆A_i已经滞留的时间大于步骤1)中的预设违章预警阈值，表示当前目标车辆Ai已经进入了违章停车预警状态，如图2(c)所示，则更新并记录所述当前目标车辆A_i的预警滞留的时间，并进行下一步骤；

步骤5)判断所述当前目标车辆A_i的预警滞留的时间是否大于步骤1)中的预设违章阈值；如果所述当前目标车辆A_i的预警滞留的时间小于步骤1)中的预设违章阈值，则继续更新所述当前目标车辆A_i的预警滞留的时间，并直接进入步骤6)；如果所述当前目标车辆A_i的预警滞留的时间大于步骤1)中的预设违章阈值，则判定所述当前目标车辆A_i处于违章停车状态，记录并保存违章滞留的时间；

步骤6)更新历史车辆集合B的车辆信息，将当前车辆集合A中的车辆与历史车辆集之中进入了违章停车预警状态且连续未检出时间小于预警判决时间的车辆，即预警标志beginStopFlag＝true的车辆更新为新的历史车辆集B。输入下一视频帧图像，根据下一周期内记录并检出的图像帧中的目标车辆信息，进入步骤2开始对下一视频帧图像进行车辆违章检测；重复步骤2)至步骤5)的操作。

所述步骤2)中，记录当前车辆集合A的具体过程如下：

步骤2-1)将步骤1)得到的禁止停车区域内的视频图像输入所述卷积神经网络模型中，检测停放在步骤1)中设定好的禁止停车区域内的当前目标车辆的矩形包围框；

步骤2-2)当前视频帧图像检出车辆集合A＝{A₁,A₂,...,A_i}，当前目标车辆A_i的矩形包围框区域为PA_i，假定当前车辆A_i的图像帧在设定的禁停区域内，当前车辆A_i的停车滞留时间stopTime＝T，匹配标志beFoundFlag＝false，预警标志beginStopFlag＝false，违停标志sureStopFlag＝false，连续中断时间breakTimes＝0。

所述步骤2)中，所述卷积神经网络模型包括：1个输入层、10个卷积层、5个下采样层、3个全连接层和1个输出层；其中，所述卷积层扫描边界自动填充0，均利用Leaky-ReLu函数对神经元进行激活；所述下采样层中均采用最大池化。

所述步骤2)中，如图3所示，所述卷积层进一步包括：卷积层C1的卷积核大小为7×7，16个卷积核，步长为2，生成特征图大小为224×224；卷积层C2卷积核大小为1×1，4个卷积核，步长为1，生成特征图大小为56×56；卷积层C3卷积核大小为1×1，4个卷积核，步长为1，生成特征图大小为56×56；卷积层C4卷积核大小为3×3，8个卷积核，步长为1，生成特征图大小为56×56；卷积层C5卷积核大小为1×1，8个卷积核，步长为1，生成特征图大小为28×28；卷积层C6卷积核大小为1×1，8个卷积核，步长为1，生成特征图大小为28×28；卷积层C7卷积核大小为3×3，16个卷积核，步长为1，生成特征图大小为28×28；卷积层C8卷积核大小为3×3，32个卷积核，步长为1，生成特征图大小为14×14；卷积层C9卷积核大小为3×3，64个卷积核，步长为1，生成特征图大小为7×7；下采样层S5窗口大小为4×4，步长为4，生成特征图大小为2×2；卷积层C10卷积核大小为3×3，64个卷积核，步长为1，生成特征图大小为2×2。

所述步骤2)中，所述下采样层进一步包括：下采样层S1窗口大小为4×4，步长为4，生成特征图大小为56×56；下采样层S2窗口大小为2×2，步长为2，生成特征图大小为28×28；下采样层S3窗口大小为2×2，步长为2，生成特征图大小为14×14；下采样层S4窗口大小为2×2，步长为2，生成特征图大小为7×7。

所述步骤2)中，所述全连接层进一步包括：全连接层F1包括256个神经元，使用Relu函数对所述每个神经元进行激活；全连接层F2包括4096个神经元，使用Leaky-ReLu函数对所述每个神经元进行激活。

所述步骤2)中，所述输出层进一步包括：输出层包括539个神经元，使用Relu函数对所述每个神经元进行激活。

步骤3)中，判断步骤2)的当前车辆集合A与历史车辆集合B是否存在可匹配的车辆的具体过程如下：

步骤3-1)根据步骤2-2)得到的当前车辆集合A，遍历上一周期图像帧的历史车辆集合B＝{B₁,B₂,...,B_j}，将所述历史车辆集B与所述当前车辆集A进行逐一比对，判断当前车辆A_i在历史车辆集B中是否存在可匹配车辆；

对当前视频帧图像中已检出目标车辆A_i，将检测到的当前目标车辆A_i的矩形包围框区域PA_i与历史车辆集合中B_j的检测到的矩形包围框区域PB_j逐一比较；区域重叠率IOU为两个区域PA_i、PB_j的交集除并集，即(PA_i∩PB_j)/(PA_i∪PB_j)；预设匹配判决阈值R；若IOU大于或等于R，认为当前目标车辆A_i与上一周期历史车辆B_j为疑似滞留同一车辆，可能发生违章停车行为，则进入下一个步骤；若IOU小于R，认为当前车辆A_i为新检出车辆，则直接进入步骤5)。

步骤3-2)提取当前目标车辆A_i的检测的矩形包围框区域PA_i的图像和相应的历史车辆B_j检测的矩形包围框区域PB_j的图像，归一化至48×48大小，并进行灰度化，计算LBP特征，即LBP_Ai和LBP_Bj；

在计算LBP特征时，使用半径为2，采样点数为8的LBP算子，对整幅图像的每个像素点求LBP值，统计整个图像LBP值的直方图构成该图像的LBP特征，其维度为59。计算PA_i区域图像LBP特征LBP_Ai与PB_j区域图像LBP特征LBP_Ai间的欧几里德距离d；若d小于欧几里德距离匹配判决阈值D，则当前目标车辆A_i与历史车辆B_j相互匹配，即当前视频帧图像中目标车辆Ai与历史车辆集合中的车辆Bj为滞留同一车辆，则进入下一步骤；若d>D，则当前目标车辆A_i与历史车辆B_j不匹配，所述当前目标车辆A_i为新检出车辆，进入步骤6)。

步骤3-3)当前目标车辆A_i停车滞留时间更新A_i.stopTime＝B_j.stopTime+T，匹配标志beFoundFlag＝true，连续中断时间breakTimes归零；相应的匹配车辆B_i匹配标志beFoundFlag＝false。

步骤4)中，判断当前目标车辆A_i已经滞留的时间是否大于步骤1)中的预设违章预警阈值的具体过程如下：

若更新后的当前目标车辆A_i滞留时间大于步骤1)中预设的违章停车预警阈值，则表示当前目标车辆A_i已经进入了违章停车预警状态，预警标志beginStopFlag＝true；若更新后的当前目标车辆A_i滞留时间小于步骤1)中预设的违章停车预警阈值，则进入步骤6)。

实际道路场景中，存在违章停车的车辆被正在行驶的车辆暂时遮挡的可能性。为减少漏判，若当前视频帧中所有检出目标车辆均未能匹配到历史车辆中已预警车辆B_j，预警判决时间T_p内仍将已预警车辆B_j判定为预警状态，保持已预警车辆B_j匹配标志与预警标志beFoundFlag＝beginStopFlag＝true，已预警车辆B_j滞留时间更新B_j.stopTime＝B_j.stopTime+T，已预警车辆B_j连续中断时间更新B_j.breakTimes＝B_j.breakTimes+T。若B_j.breakTimes>T_p，即连续未检出已预警车辆B_j的时间已超出预警判决时间，认为该预警车辆B_j已驶离，解除预警。匹配标志与预警标志beFoundFlag＝beginStopFlag＝false。

步骤5)中，判断所述当前目标车辆A_i的预警滞留的时间是否大于步骤1)中的预设违章阈值的具体过程如下：

若更新后的当前目标车辆A_i预警滞留时间大于步骤1)设定的违章停车阈值，表示当前目标车辆A_i已经进入了违章停车滞留状态，如图2(d)所示，违章标志sureStopFlag＝true；此时标注出违章停车的当前目标车辆A_i，后台保存违章的当前目标车辆A_i的图片，并将其作为判决证据；若更新后的当前目标车辆A_i预警滞留时间小于步骤1)设定的违章停车阈值，则进入步骤6)。

为避免出现误判，若当前当前视频帧中所有检出目标车辆均未能匹配到历史车辆集合B中已违章车辆B_j，判决时间T_p内仍将已违章车辆B_j判定为违章停车状态，保持已违章车辆B_j匹配标志与违章标志beFoundFlag＝sureStopFlag＝true，已违章车辆B_j滞留时间更新B_j.stopTime＝B_j.stopTime+T，已违章车辆B_j连续中断时间更新B_j.breakTimes＝B_j.breakTimes+T；若B_j.breakTimes>T_p，即连续未检出已违章车辆B_j的时间已超出预警判决时间，如图2(e)所示，认为该违章车辆已驶离；匹配标志、预警标志与违章标志beFoundFlag＝beginStopFlag＝sureStopFlag＝false，记录保存其总违章滞留时间stopTime＝stopTime-T_p。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于卷积神经网络的车辆违章停车检测方法，包括如下步骤：

初始化违停检测区域与违停参数；

输入视频，获取待处理图像；

使用卷积神经网络检测视频帧图像区域内车辆，设置当前车辆信息；

比对当前车辆信息与历史车辆信息，更新历史车辆信息；

判断是否存在违停车辆；是，则标注违停车辆，保存车辆信息并进入下一步判断；否，则直接进入下一步判断；

判断当前视频帧图像是否为最后一帧，是，则结束算法；否，则继续输入视频获取待处理图像进行下一帧违停车辆检测。

2.根据权利要求1所述的一种基于卷积神经网络的车辆违章停车检测方法，其特征在于，包括如下具体步骤：

步骤1)分别设定视频帧图像内的禁止停车区域、预设违章预警阈值和预设违章阈值；获得禁止停车区域的视频帧图像；

步骤2)通过卷积神经网络模型，检测停放在步骤1)中设定好的禁止停车区域内的目标车辆，记录在当前视频帧图像内检出的车辆信息；形成当前车辆集合A；

步骤3)判断步骤2)的当前车辆集合A与历史车辆集合B是否存在可匹配的车辆；如果存在可匹配的车辆，则更新所述目标车辆A_i已滞留的时间，并进行下一步骤；如果不存在可匹配的车辆，则更新当前周期内记录检出的视频帧图像中的目标车辆信息，并直接进入步骤6)；

步骤4)判断当前目标车辆A_i已经滞留的时间是否大于步骤1)中的预设违章预警阈值；如果当前目标车辆A_i已经滞留的时间小于步骤1)中的预设违章预警阈值，则继续更新并记录所述当前目标车辆A_i已滞留的时间，并直接进入步骤6)；如果所述当前目标车辆A_i已经滞留的时间大于步骤1)中的预设违章预警阈值，则更新并记录所述当前目标车辆A_i的预警滞留的时间，并进行下一步骤；

步骤5)判断所述当前目标车辆A_i的预警滞留的时间是否大于步骤1)中的预设违章阈值；如果所述当前目标车辆A_i的预警滞留的时间小于步骤1)中的预设违章阈值，则继续更新所述当前目标车辆A_i的预警滞留的时间，并直接进入步骤6)；如果所述当前目标车辆A_i的预警滞留的时间大于步骤1)中的预设违章阈值，则判定所述当前目标车辆A_i处于违章停车状态，记录并保存违章滞留的时间；

步骤6)更新历史车辆集合B的车辆信息，输入下一视频帧图像，根据下一周期内记录并检出的图像帧中的目标车辆信息，进入步骤2开始对下一视频帧图像进行车辆违章检测；重复步骤2)至步骤5)的操作。

3.根据权利要求2所述的一种基于卷积神经网络的车辆违章停车检测方法，其特征在于，所述步骤2)中，记录当前车辆集合A的具体过程如下：

步骤2-1)将步骤1)得到的禁止停车区域内的视频帧图像输入所述基于卷积神经网络的车辆模型中，检测停放在步骤1)中设定好的禁止停车区域内的当前目标车辆的矩形包围框；

步骤2-2)检出当前车辆集合A＝{A₁,A₂,...,A_i}，当前目标车辆A_i的矩形包围框区域为PA_i，当前车辆A_i的停车滞留时间stopTime＝T，匹配标志beFoundFlag＝false，预警标志beginStopFlag＝false，违停标志sureStopFlag＝false，连续中断时间breakTimes＝0。

4.根据权利要求3所述的一种基于卷积神经网络的车辆违章停车检测方法，其特征在于，所述步骤2)中，所述卷积神经网络模型包括：1个输入层、10个卷积层、5个下采样层、3个全连接层和1个输出层；其中，所述卷积层扫描边界自动填充0，均利用Leaky-ReLu函数对神经元进行激活；所述下采样层中均采用最大池化。

5.根据权利要求4所述的一种基于卷积神经网络的车辆违章停车检测方法，其特征在于，所述步骤2)中，所述卷积层进一步包括：卷积层C1的卷积核大小为7×7，16个卷积核，步长为2，生成特征图大小为224×224；卷积层C2卷积核大小为1×1，4个卷积核，步长为1，生成特征图大小为56×56；卷积层C3卷积核大小为1×1，4个卷积核，步长为1，生成特征图大小为56×56；卷积层C4卷积核大小为3×3，8个卷积核，步长为1，生成特征图大小为56×56；卷积层C5卷积核大小为1×1，8个卷积核，步长为1，生成特征图大小为28×28；卷积层C6卷积核大小为1×1，8个卷积核，步长为1，生成特征图大小为28×28；卷积层C7卷积核大小为3×3，16个卷积核，步长为1，生成特征图大小为28×28；卷积层C8卷积核大小为3×3，32个卷积核，步长为1，生成特征图大小为14×14；卷积层C9卷积核大小为3×3，64个卷积核，步长为1，生成特征图大小为7×7；下采样层S5窗口大小为4×4，步长为4，生成特征图大小为2×2；卷积层C10卷积核大小为3×3，64个卷积核，步长为1，生成特征图大小为2×2。

6.根据权利要求4所述的一种基于卷积神经网络的车辆违章停车检测方法，其特征在于，所述步骤2)中，所述下采样层进一步包括：下采样层S1窗口大小为4×4，步长为4，生成特征图大小为56×56；下采样层S2窗口大小为2×2，步长为2，生成特征图大小为28×28；下采样层S3窗口大小为2×2，步长为2，生成特征图大小为14×14；下采样层S4窗口大小为2×2，步长为2，生成特征图大小为7×7。

7.根据权利要求2所述的一种基于卷积神经网络的车辆违章停车检测方法，其特征在于，步骤3)具体过程如下：

步骤3-1)根据步骤2-2)得到的当前车辆集合A，遍历上一周期视频帧图像内的历史车辆集合B＝{B₁,B₂,...,B_j}，将所述历史车辆集B与所述当前车辆集A进行逐一比对，判断当前车辆A_i在历史车辆集B中是否存在可匹配车辆；

对当前视频帧图像中已检出目标车辆A_i，将检测到的车辆A_i的矩形包围框区域PA_i与历史车辆集合中B_j的检测到的矩形包围框区域PB_j逐一比较；区域重叠率IOU为两个区域PA_i、PB_j的交集除并集(PA_i∩PB_j)/(PA_i∪PB_j)；预设匹配判决阈值R；若IOU大于或等于R，认为当前目标车辆A_i与上一周期视频帧图像内历史车辆B_j为疑似滞留同一车辆，可能发生违章停车行为，则进入下一个步骤；若IOU小于R，认为当前车辆A_i为新检出车辆，则直接进入步骤5)；

步骤3-2)提取当前目标车辆A_i的检测的矩形包围框区域PA_i的图像和相应的历史车辆B_j检测的矩形包围框区域PB_j的图像，归一化至48×48大小，并进行灰度化，计算LBP特征LBP_Ai和LBP_Bj；

计算PA_i区域图像LBP特征LBP_Ai与PB_j区域图像LBP特征LBP_Ai间的欧几里德距离d；若d小于欧几里德距离匹配判决阈值D，则当前目标车辆A_i与历史车辆B_j相互匹配，当前视频帧图像中目标车辆Ai与历史车辆集合中的车辆Bj为滞留同一车辆，则进入下一步骤；若d>D，则当前目标车辆A_i与历史车辆B_j不匹配，所述当前目标车辆A_i为新检出车辆，进入步骤6)；

步骤3-3)当前目标车辆A_i停车滞留时间更新A_i.stopTime＝B_j.stopTime+T，匹配标志beFoundFlag＝true，连续中断时间breakTimes归零；相应的匹配车辆B_i匹配标志beFoundFlag＝false。

8.根据权利要求2所述的一种基于卷积神经网络的车辆违章停车检测方法，其特征在于，步骤4)的具体过程如下：

若更新后的当前目标车辆A_i滞留时间大于步骤1)中预设的违章停车预警阈值，则表示当前目标车辆A_i已经进入了违章停车预警状态，预警标志beginStopFlag＝true；若更新后的当前目标车辆A_i滞留时间小于步骤1)中预设的违章停车预警阈值，则进入步骤6)；

若当前视频帧中所有检出目标车辆均未能匹配到历史车辆中已预警车辆B_j，预警判决时间T_p内仍将已预警车辆B_j判定为预警状态，保持已预警车辆B_j匹配标志与预警标志beFoundFlag＝beginStopFlag＝true，已预警车辆B_j滞留时间更新B_j.stopTime＝B_j.stopTime+T，已预警车辆B_j连续中断时间更新B_j.breakTimes＝B_j.breakTimes+T；若B_j.breakTimes>T_p，连续未检出已预警车辆B_j的时间已超出预警判决时间，认为该预警车辆B_j已驶离，解除预警；匹配标志与预警标志beFoundFlag＝beginStopFlag＝false。

9.根据权利要求2所述的一种基于卷积神经网络的车辆违章停车检测方法，其特征在于，步骤5)的具体过程如下：

若更新后的当前目标车辆A_i预警滞留时间大于步骤1)设定的违章停车阈值，表示当前目标车辆A_i已经进入了违章停车滞留状态，违章标志sureStopFlag＝true；此时标注出违章停车的当前目标车辆A_i，后台保存违章的当前目标车辆A_i的图片，并将其作为判决证据；若更新后的当前目标车辆A_i预警滞留时间小于步骤1)设定的违章停车阈值，则进入步骤6)；

若当前视频帧中所有检出目标车辆均未能匹配到历史车辆集合B中已违章车辆B_j，判决时间T_p内仍将已违章车辆B_j判定为违章停车状态，保持已违章车辆B_j匹配标志与违章标志beFoundFlag＝sureStopFlag＝true，已违章车辆B_j滞留时间更新B_j.stopTime＝B_j.stopTime+T，已违章车辆B_j连续中断时间更新B_j.breakTimes＝B_j.breakTimes+T；若B_j.breakTimes>T_p，连续未检出已违章车辆B_j的时间已超出预警判决时间，认为该违章车辆已驶离；匹配标志、预警标志与违章标志beFoundFlag＝beginStopFlag＝sureStopFlag＝false，记录保存其总违章滞留时间stopTime＝stopTime-T_p。