CN113012439B - 车辆检测方法、装置、设备和存储介质 - Google Patents
车辆检测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113012439B CN113012439B CN202110335726.0A CN202110335726A CN113012439B CN 113012439 B CN113012439 B CN 113012439B CN 202110335726 A CN202110335726 A CN 202110335726A CN 113012439 B CN113012439 B CN 113012439B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- snapshot
- current
- license plate
- result set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 204
- 238000012545 processing Methods 0.000 claims abstract description 117
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000005540 biological transmission Effects 0.000 claims description 14
- 230000001186 cumulative effect Effects 0.000 claims description 8
- 238000009432 framing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000004590 computer program Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种车辆检测方法、装置、设备和存储介质,涉及图像处理领域,尤其涉及车辆检测领域。该方法包括:获取发送同一车次车辆的抓拍图至处理模型的发送周期和最大发送次数;获取目标车辆的当前候选抓拍图;根据所述发送周期、所述最大发送次数以及所述当前候选抓拍图确定所述目标车辆的目标抓拍图;将所述目标抓拍图发送至所述处理模型进行处理,以获取所述目标车辆的车辆信息。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种车辆检测方法、装置、设备和存储介质。
背景技术
现有的车辆检测方案中,通过将包含车辆抓拍信息的视频帧序列输入车辆检测算法模型,从而输出车辆抓拍图,之后,将车辆抓拍图依次送入车牌检测及识别模块、车辆属性检测模块、车辆特征提取模块、车型识别模块,以获取相应的车辆信息。
上述传统方法中,由于视频帧的连续性,同一车辆会出现在多个连续的视频帧中,将这些视频帧输入车辆检测算法模型,最终会输出同一车辆的一系列抓拍图,由此,针对同一车辆会多次调用车辆属性检测模块、车辆特征提取模块、车型识别模块,大量消耗了图形处理器(Graphics Processing Unit,GPU)、中央处理器(Central Processing Unit,CPU)等计算资源;另外,对于同一车辆的多个车辆抓拍图及提取的车辆属性(如车辆颜色、车辆种类等)、车辆特征值、识别的车型等信息,也需要大量消耗如磁盘、内存等存储资源。
发明内容
本公开提供了一种用于车辆检测方法、装置、设备以及存储介质。
根据本公开的一方面,提供了一种车辆检测方法,该方法包括:
获取发送同一车次车辆的抓拍图至处理模型的发送周期和最大发送次数;
获取目标车辆的当前候选抓拍图;
根据所述发送周期、所述最大发送次数以及所述当前候选抓拍图确定所述目标车辆的目标抓拍图;
将所述目标抓拍图发送至所述处理模型进行处理,以获取所述目标车辆的车辆信息。
在本公开的一实施例中,该方法还包括:获取当前时刻距离上次发送所述目标车辆的抓拍图至所述处理模型的时间间隔以及所述目标车辆的抓拍图累计发送次数;
其中,所述根据所述发送周期、所述最大发送次数以及所述当前候选抓拍图确定所述目标车辆的目标抓拍图,包括:
在所述时间间隔满足所述发送周期且所述抓拍图累计发送次数不超过所述最大发送次数的情况下,将所述当前候选抓拍图确定为目标抓拍图。
在本公开的一实施例中,该方法还包括:获取检测范围阈值和检测置信度阈值;
其中,所述获取目标车辆的当前候选抓拍图,包括:
获取一帧目标视频帧,并将所述目标视频帧确定为当前视频帧;
将所述当前视频帧输入预设的初始检测模型,以得到所述当前视频帧的至少一个初始检测结果;
根据所述至少一个初始检测结果中满足所述检测范围阈值且满足所述检测置信度阈值的初始检测结果,确定所述当前视频帧对应的当前车辆结果集和当前车牌结果集;
在所述当前车辆结果集不为空的情况下,将所述当前车辆结果集中任一元素对应的车辆确定为所述目标车辆;
获取历史视频帧对应的历史车辆结果集和历史车牌结果集;
根据所述当前车辆结果集、所述当前车牌结果集、所述历史车辆结果集以及所述历史车牌结果集确定所述目标车辆的当前候选抓拍图。
在本公开的一实施例中,所述获取一帧目标视频帧,包括:
读取一帧视频编码数据;
将所述视频编码数据送入解码器进行解码,得到第一格式视频帧;
对所述第一格式视频帧进行颜色空间变换,得到第二格式视频帧;
将所述第二格式视频帧确定为所述目标视频帧。
在本公开的一实施例中,所述初始检测结果包括用于框选所述目标视频帧上的抓拍对象的检测框的坐标、所述抓拍对象的类型以及检测结果置信度,其中,所述抓拍对象的类型为车辆或车牌;
所述根据所述至少一个初始检测结果中满足所述检测范围阈值且满足所述检测置信度阈值的初始检测结果,确定所述当前视频帧对应的当前车辆结果集和当前车牌结果集,包括:
针对每个初始检测结果,当所述初始检测结果中的检测框的坐标在所述检测范围阈值限定的检测范围以内,且所述初始检测结果中的检测结果置信度大于或等于所述检测置信度阈值时,根据所述初始检测结果中的抓拍对象的类型为车辆,将所述初始检测结果添加至所述当前车辆结果集,或者根据所述初始检测结果中的抓拍对象的类型为车牌,将所述初始检测结果添加至所述当前车牌结果集。
在本公开的一实施例中,该方法还包括:还包括:
在所述当前车辆结果集和所述当前车牌结果集均不为空的情况下,根据所述当前车辆结果集中的检测框的坐标和所述当前车牌结果集中检测框的坐标,对所述当前视频帧中同一车次的车辆进行车辆抓拍图和车牌抓拍图绑定;
将完成与相应车辆抓拍图的绑定操作的车牌抓拍图输入预设的车牌识别模型,以获取对应的车牌信息。
在本公开的一实施例中,所述根据所述当前车辆结果集、所述当前车牌结果集、所述历史车辆结果集以及所述历史车牌结果集确定所述目标车辆的当前候选抓拍图,包括:
对所述当前车辆结果集和所述历史车辆结果集中的元素所对应的各车次车辆进行标记,以获取各车次车辆的车辆身份标识ID;
根据所述当前车辆结果集和所述历史车辆结果集中各检测框的坐标确定对应的车辆抓拍图的面积;
获取由所述当前车牌结果集和所述历史车牌结果集确定的所有车辆ID对应的车牌信息;
根据每个车辆ID对应的车辆抓拍图的面积和车牌信息,以及预设的车辆尺寸权重值和车牌信息权重值,得到所述每个车辆ID对应的车辆抓拍图的质量评分;
将所述每个车辆ID对应的车辆抓拍图中的质量评分最高的车辆抓拍图确定为所述每个车辆ID对应的当前候选抓拍图。
根据本公开的另一方面,提供了一种车辆检测装置,该装置包括:
第一获取模块,用于获取发送同一车次车辆的抓拍图至处理模型的发送周期和最大发送次数;
第二获取模块,用于获取目标车辆的当前候选抓拍图;
抓拍图确定模块,用于根据所述发送周期、所述最大发送次数以及所述当前候选抓拍图确定所述目标车辆的目标抓拍图;
信息获取模块,用于将所述目标抓拍图发送至所述处理模型进行处理,以获取所述目标车辆的车辆信息。
根据本公开的另一方面,还提供了一种电子设备,该设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开任一实施例所述的方法。
根据本公开的另一方面,还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行本公开任一实施例所述的方法。
根据本公开的另一方面,还提供了计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本公开任一实施例所述的方法。
本公开实施例通过获取发送同一车次车辆的抓拍图至处理模型的发送周期和最大发送次数,以及获取目标车辆的当前候选抓拍图,并根据所述发送周期、所述最大发送次数以及所述当前候选抓拍图确定所述目标车辆的目标抓拍图,之后将所述目标抓拍图发送至所述处理模型进行处理,以获取所述目标车辆的车辆信息。由此,大大减少了同一车次车辆的发送至处理模型的抓拍图的数量,从而大大减少了对处理模型的调用次数,节约了大量GPU、CPU等计算资源。同时,处理模型对车辆抓拍图进行处理所产生的大量中间处理数据也大大减少,因此,也节约了大量用于存储车辆抓拍图和中间处理数据的存储资源。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例的一种车辆检测方法的流程示意图;
图2是根据本公开实施例的另一种车辆检测方法的流程示意图;
图3是根据本公开实施例的一种车辆检测方法的应用示例流程图;
图4根据本公开实施例的一种车辆与车牌绑定方法的流程示意图;
图5根据本公开实施例的一种车辆检测装置的结构示意图;
图6是用来实现本公开实施例的车辆检测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
可以理解的是,在车辆检测领域,由于视频帧的连续性,同一车辆会出现在多个连续的视频帧中,将这些视频帧输入车辆检测算法模型,最终会输出同一车辆的一系列抓拍图,由此,针对同一车辆会多次调用车辆属性检测模块、车辆特征提取模块、车型识别模块,大量消耗了GPU、CPU等计算资源;另外,对于同一车辆的多个车辆抓拍图及提取的车辆属性(如车辆颜色、车辆种类等)、车辆特征值、识别的车型等信息,也需要大量消耗如磁盘、内存等存储资源。本公开在于,针对同一车次车辆,在向处理模型发送该车次车辆的抓拍图之前,通过设定发送车辆抓拍图至处理模型的发送周期和最大发送次数,减少实际发送至处理模型的同一车次车辆的抓拍图的数量,以减少对处理模型的实际调用次数以及减少后续生成的中间处理数据的数量,由此可以节约大量的计算资源和存储资源。
图1为根据本公开实施例的一种车辆检测方法的流程示意图,如图1所示,该方法包括如下步骤:
步骤101,获取发送同一车次车辆的抓拍图至处理模型的发送周期和最大发送次数。
其中,同一车次车辆即指同一台车辆。发送周期是指相邻两次发送同一车次车辆的车辆抓拍图至处理模型的时间间隔。最大发送次数为设定的允许发送同一车次车辆的抓拍图至处理模型的次数上限。处理模型可以是从车辆抓拍图提取车辆有效信息的后续处理模块。
在本公开的一实施例中,处理模型可以包括:车辆属性检测模块、车辆特征提取模块、车型识别模块。其中,车辆属性检测模块包括但不限于对车辆颜色、车辆种类进行检测。
可以理解的是,通过设定发送同一车次车辆的抓拍图至处理模型的发送周期,而不是将读取的连续视频帧数据中的车辆抓拍图连续发送至处理模型,由此可以在通过处理模型处理车辆抓拍图之前,提供一个先对车辆抓拍图进行预处理的时间间隔。通过设定发送同一车次车辆的抓拍图至处理模型的最大发送次数,则可以直接减少发送同一车次车辆的抓拍图至处理模型的数量。
步骤102,获取目标车辆的当前候选抓拍图。
其中,目标车辆可以理解为是任一车次的待检测车辆。当前候选抓拍图可以理解为,当前选定的作为该目标车辆的待发送至处理模型的车辆抓拍图的候选项。
可以理解的是,获取目标车辆的当前候选抓拍图,相当于是对目标车辆的多个车辆抓拍图进行预处理,以从中筛选出一个符合约束条件的车辆抓拍图。
在本公开的一实施例中,可以建立目标车辆的每张车辆抓拍图的质量评分,通过比较当前车辆抓拍图和历史车辆抓拍图的质量评分,将质量评分高的车辆抓拍图作为目标车辆的当前候选抓拍图。
步骤103,根据发送周期、最大发送次数以及当前候选抓拍图确定目标车辆的目标抓拍图。
其中,目标抓拍图可以是理解为最终确定的当前即将发送至处理模型的目标车辆的抓拍图。
可以理解的是,通过设定发送周期和最大发送次数可以直接减少发送至处理模型的车辆抓拍图的数量,而通过确定当前候选抓拍图相当于从目标车辆的多个车辆抓拍图筛选出符合约束条件,例如质量评分最高的车辆抓拍图,从而进一步减少发送至处理模型的车辆抓拍图的数量。
步骤104,将目标抓拍图发送至处理模型进行处理,以获取目标车辆的车辆信息。
可以理解的是,对车辆检测来说,所确定的目标抓拍图已经包含目标车辆最够的车辆消息,因此,只需将目标抓拍图发送至处理模型进行处理,即可获取必要的车辆信息。
需要说明的是,处理模型对目标抓怕图的处理过程与正常的车辆抓拍图处理过程可以相同,也可以不同,此处不做限定。
本公开实施例,通过获取发送同一车次车辆的抓拍图至处理模型的发送周期和最大发送次数,以及获取目标车辆的当前候选抓拍图,并根据发送周期、最大发送次数以及当前候选抓拍图确定目标车辆的目标抓拍图,之后将目标抓拍图发送至处理模型进行处理,以获取目标车辆的车辆信息。由此,大大减少了同一车次车辆的发送至处理模型的抓拍图的数量,从而大大减少了对处理模型的调用次数,节约了大量GPU、CPU等计算资源。同时,处理模型对车辆抓拍图进行处理所产生的大量中间处理数据也大大减少,因此,也节约了大量用于存储车辆抓拍图和中间处理数据的存储资源。
图2是根据本公开实施例的另一种车辆检测方法的流程示意图,如图2所示,该方法包括如下步骤:
步骤201,获取发送同一车次车辆的抓拍图至处理模型的发送周期和最大发送次数。
步骤202,获取当前时刻距离上次发送目标车辆的抓拍图至处理模型的时间间隔以及目标车辆的抓拍图累计发送次数。
其中,抓拍图累计发送次数可以理解为是从第一次发送目标车辆的抓拍图至处理模型到当前时刻为止,累计完成发送的次数。
在本公开的一实施例中,可以通过获取当前系统时间和上次发送目标车辆的抓拍图至处理模型的历史系统时间,并求取当前系统时间和历史系统时间之间的时间差,从而确定当前时刻距离上次发送目标车辆的抓拍图至处理模型的时间间隔。
可以理解的是,获取当前时刻距离上次发送目标车辆的抓拍图至处理模型的时间间隔主要是为了判断该时间间隔是否满足发送同一车次车辆的抓拍图至处理模型的发送周期。而通过获取目标车辆的抓拍图累计发送次数可以判断是否超过了目标车辆对应的最大发送次数。
步骤203,获取检测范围阈值和检测置信度阈值。
其中,检测范围阈值是指在对读取的视频帧进行初步检测时,设定的用于确定有效检测范围的阈值。检测置信度阈值是指用于判定检测结果是否可信的阈值。
在本公开的一实施例中,可以设置距离图像边缘一定距离(假设此距离为d)的矩形图像范围,为有效检测范围。
在本公开的一实施例中,设置检测置信度阈值为conf,其中0<conf<=1.0。
可以理解的是,通过设置检测范围阈值可以将位于视频帧边缘的显式不完整的车辆抓拍图和/或车牌抓拍图剔除掉,减少了后续对无效数据的处理量,同样达到了减少后续处理量的效果。而设置检测置信度阈值,可以对初步的检测结果进行算法层面的可信度判别,由此可以排除不可信数据,同样达到了减少后续处理量的效果。
步骤204,获取一帧目标视频帧,并将目标视频帧确定为当前视频帧。
在本公开的一实施例中,步骤204可以进一步通过如下步骤2041~步骤2044实现:
步骤2041,读取一帧视频编码数据。
步骤2042,将视频编码数据送入解码器进行解码,得到第一格式视频帧。
在本公开的一实施例中,第一格式可以是YUV格式。
步骤2043,对第一格式视频帧进行颜色空间变换,得到第二格式视频帧。
在本公开的一实施例中,第二格式可以是ARGB格式或者BGRA格式。
可以理解的是,由于深度学习框架一般都需要ARGB格式或者BGRA格式的帧数据,因此需要将上一步骤输出的YUV格式的视频帧送入颜色空间变换模块,转换为ARGB格式或者BGRA格式的视频帧。
步骤2044,将第二格式视频帧确定为目标视频帧。
步骤205,将当前视频帧输入预设的初始检测模型,以得到当前视频帧的至少一个初始检测结果。
在本公开的一实施例中,初始检测模型为车辆集车牌检测模型,用于检测当前视频帧是否包含车辆抓拍图和/或车牌抓拍图。
在本公开的一实施例中,初始检测结果包括用于框选目标视频帧上的抓拍对象的检测框的坐标、抓拍对象的类型以及检测结果置信度,其中,抓拍对象的类型为车辆或车牌。
步骤206,根据至少一个初始检测结果中满足检测范围阈值且满足检测置信度阈值的初始检测结果,确定当前视频帧对应的当前车辆结果集和当前车牌结果集。
其中,当前车辆结果集用于存储当前视频帧中包含的对应各车次的车辆类型的初始检测结果,当前车牌结果集中包含的对应各车次的车牌类型的初始检测结果。
在本公开的一实施例中,针对每个初始检测结果,当初始检测结果中的检测框的坐标在检测范围阈值限定的检测范围以内,且初始检测结果中的检测结果置信度大于或等于检测置信度阈值时,根据初始检测结果中的抓拍对象的类型为车辆,将初始检测结果添加至当前车辆结果集,或者根据初始检测结果中的抓拍对象的类型为车牌,将初始检测结果添加至当前车牌结果集。
可以理解的是,通过对初始检测结果按照车辆和车牌类型分类,可以将视频帧中的抓拍图进一步区分为车辆抓拍图和车牌抓拍图。由此使得抓拍图的信息划分更精确,也便于后续的进一步处理。
步骤207,在当前车辆结果集不为空的情况下,将当前车辆结果集中任一元素对应的车辆确定为目标车辆。
可以理解的是,当前视频帧中可能包含多个车次车辆的抓拍图,而当前车辆结果集不为空,表明当前视频帧中存在有效可用的抓拍图,因此,将当前车辆结果集中任一元素对应的车辆确定为目标车辆,从而一次执行后续处理步骤。
步骤208,在当前车辆结果集和当前车牌结果集均不为空的情况下,根据当前车辆结果集中的检测框的坐标和当前车牌结果集中检测框的坐标,对当前视频帧中同一车次的车辆进行车辆抓拍图和车牌抓拍图绑定。
在本公开的一实施例中,当前车牌结果集中检测框的坐标可以确定车辆抓拍图所在的区域,当前车辆结果集中的检测框的坐标可以确定车牌抓拍图所在的区域,判断车牌抓拍图所在的区域是否包含在车辆抓拍图所在的区域,若是,则判断两者为同一车次车辆对应的车辆抓拍图和车牌抓拍图,从而实现对当前视频帧中同一车次的车辆进行车辆抓拍图和车牌抓拍图绑定。
步骤209,将完成与相应车辆抓拍图的绑定操作的车牌抓拍图输入预设的车牌识别模型,以获取对应的车牌信息。
其中,车牌识别模型用于对车牌抓拍图进行识别,以确定出具体的车牌信息。
步骤210,获取历史视频帧对应的历史车辆结果集和历史车牌结果集。
其中,历史车辆结果集和历史车牌结果集可以理解为是对历史目标视频帧进行初始检测后确定的车辆结果集和车牌结果集。
在本公开的一实施例中,历史目标视频帧可以是当前视频帧对应的目标视频帧的上一目标视频帧,或前面多个目标视频帧。
步骤211,根据当前车辆结果集、当前车牌结果集、历史车辆结果集以及历史车牌结果集确定目标车辆的当前候选抓拍图。
在本公开的一实施例中,步骤211可以包括如下步骤2111~步骤2115:
步骤2111,对当前车辆结果集和历史车辆结果集中的元素所对应的各车次车辆进行标记,以获取各车次车辆的车辆身份标识ID。
可以理解的是,通过为各车次车辆标记身份ID,可以将各车次车辆的抓拍图和车牌信息进行对应存储,便于后续进一步处理。
步骤2112,根据当前车辆结果集和历史车辆结果集中各检测框的坐标确定对应的车辆抓拍图的面积。
可以理解的是,检测框的坐标除了确定车辆抓拍图和车牌抓拍图在视频帧中的位置,还可以用来确定抓拍图的面积尺寸,而抓拍图的面积尺寸可以作为抓拍图的质量评分指标。
步骤2113,获取由当前车牌结果集和历史车牌结果集确定的所有车辆ID对应的车牌信息。
可以理解的是,当前车牌结果集不一定包含所有车次车辆的车牌抓拍图,因此需要根据当前车牌结果集和历史车牌结果集确定的所有车辆ID对应的车牌信息。
在本公开的一实施例中,将所有车辆ID对应的车牌抓拍图送入车牌识别模型,以识别出具体的车牌信息。
在本公开的一实施例中,车牌识别模型可以为光学字符识别(Optical CharacterRecognition,OCR)模型。
步骤2114,根据每个车辆ID对应的车辆抓拍图的面积和车牌信息,以及预设的车辆尺寸权重值和车牌信息权重值,得到每个车辆ID对应的车辆抓拍图的质量评分。
其中,车辆尺寸权重值表示车辆抓拍图面积对应的权重值,车牌信息权重表示所识别的车牌信息对应的权重。
在本公开的一实施例中,根据识别的车牌文字、字母、数字总数中可以清楚识别的符号总数进行权重配比。
步骤2115,将每个车辆ID对应的车辆抓拍图中的质量评分最高的车辆抓拍图确定为每个车辆ID对应的当前候选抓拍图。
可以理解的是,通过对每个车辆ID对应的车辆抓拍图进行质量评分,并将质量评分最高的车辆抓拍图确定为该车辆ID对应的当前候选抓拍图,由此实现了对每个车辆ID对应的车辆抓拍图的进一步筛选,从而达到向处理模型发送待处理的车辆抓拍图的数量。
步骤212,在时间间隔满足发送周期且抓拍图累计发送次数不超过最大发送次数的情况下,将当前候选抓拍图确定为目标抓拍图。
可以理解的是,本步骤主要为了判定当前时刻是否满足设定的发送周期以及最大发送次数这两个约束条件,在同时满足这两个约束条件的情况下将当前候选抓拍图确定为目标抓拍图,由此大大减少了实际发送至处理模型的目标车辆的抓拍图的数量。
步骤213,将目标抓拍图发送至处理模型进行处理,以获取目标车辆的车辆信息。
本公开实施例的方法,大大减少了同一车次车辆的发送至处理模型的抓拍图的数量,从而大大减少了对处理模型的调用次数,节约了大量GPU、CPU等计算资源。同时,处理模型对车辆抓拍图进行处理所产生的大量中间处理数据也大大减少,因此,也节约了大量用于存储车辆抓拍图和中间处理数据的存储资源。
图3为根据本公开实施例的一种车辆检测方法的应用示例流程图,如图3所示,该方法包括如下步骤:
步骤301,设置距离图像边缘一定距离(假设此距离为d)的矩形图像范围,为有效检测范围。
步骤302,设置视频中单车次(单车次是指,一辆车在视频中出现到消失的阶段)的车辆抓拍图及车牌信息(对应于某个车辆抓拍图,其车牌信息可能有,也可能没有)输入到处理模型(车辆属性检测算法模块、车辆特征提取算法模块、车型识别算法模块)的时间间隔,假设时间间隔为t,其中t>=0。
步骤303,设置视频中单车次车辆信息(车辆抓拍图及车牌信息)最多输入到处理模型(车辆属性检测算法模块、车辆特征提取算法模块、车型识别算法模块)的次数,假设次数为m,其中m>=1,m为正整数。
步骤304,设置车辆及车牌检测算法的置信度阈值,假设置信度阈值为conf,其中0<conf<=1.0。
步骤305,接收实时视频流,或打开离线视频文件。
步骤306,读取一帧视频编码数据。
步骤307,将读取的视频帧送入解码器,进行解码。
步骤308,将上一步骤输出的YUV格式的视频帧送入颜色空间变换模块,转换为ARGB格式或者BGRA格式的视频帧。
步骤309,将ARGB格式或者BGRA格式的视频帧送入车辆及车牌检测算法,进行车辆及车牌检测。
步骤310,如果车辆及车牌检测算法没有检测结果输出,则直接进入步骤306;如果车辆及车牌检测算法模块有检测结果输出,则将检测结果(每个检测结果主要包含3个部分内容:检测框坐标、检测框类型、检测结果的置信度c)进行置信度阈值判断。
步骤311,依次校验每个检测结果的置信度,如果c>=conf,则保留此检测结果;如果c<conf,则丢弃此检测结果。
步骤312,如果没有满足置信度阈值限制的检测结果,则进入步骤306;如果有满足置信度阈值限制的检测结果,则进入步骤313。
步骤313,判断上一步得到的检测结果,是否在有效检测范围内;如果不在检测范围内,则丢弃;如果在检测范围内则保留。经过判断后,如果没有检测结果了,则进入步骤306;如果仍有检测结果,则进入步骤314。
步骤314,将上一步得到的检测结果,按照检测框类型(即检测框所框选的抓拍对象的类型,包括车辆类型及车牌类型)进行分类。将车辆类型的检测结果放入队列A,将车牌类型的检测结果放入队列B。
步骤315,判断队列A的检测结果数量是否为0,如果队列A的检测结果数量为0,则进入步骤306;如果队列A的检测结果数量大于0,则进入步骤316。
步骤316,判断队列B的检测结果数量是否为0,如果队列B中的检测结果数量为0,则进入步骤318;如果队列B中的检测结果数量大于0,则进行车辆与车牌绑定操作。
在本公开的一实施例中,如图4所示,车辆与车牌绑定方法包括如下步骤401~步骤408:
步骤401,计算得到队列A的元素数量,假设为Ca。
步骤402,标记队列B中的第一个元素为bj。
步骤403,标记队列A中的第一个元素为ai。
步骤404,判断元素bj(车牌坐标框)是否位于元素ai(车辆坐标框)内部;如果bj不在ai内部,则重新计算Ca(Ca=Ca–1),并且判断Ca是否为0;如果Ca不为0,则将A队列中ai元素的下一个元素重新标记为ai元素,再次进入步骤404;如果Ca为0,则从队列B中删除标记为bj的元素,之后进入步骤408;如果bj在ai内部,则认为bj车牌属于ai车辆,完成bj车牌与ai车辆绑定,之后进入步骤405。
步骤405,从队列A中删除ai元素。
步骤406,从队列B中删除bj元素。
步骤407,判断队列A中是否还有元素;如果队列A中没有元素了,则退出车辆与车牌绑定操作;如果队列A中还有元素,则进入步骤408。
步骤408,判断队列B中是否还有元素;如果队列B中没有元素了,则退出车辆与车牌绑定操作;如果队列B中还有元素,则进入步骤401。
通过图4所示的车辆与车牌绑定方法,可以实现对同一车次车辆对应的车辆与车牌的绑定。
步骤317,对应上一步输出一系列车辆抓拍图,判断是否有完成与相对应完成车辆的绑定的车牌抓拍图;如果没有,则进入步骤318;如果有,则将车牌抓拍图送入车牌识别算法(OCR)模块,得到对应车牌抓拍图的车牌信息。
在本公开的一实施例中,对于车牌信息,通常由多个数字、字母或文字组成,对于较为清晰的部分,车牌识别算法能够输出准确的数字、字母或文字(如输出为”京A1111”),对于不清晰的部分,通常用*号代替(如输出为”京A1**1”)。
步骤318,将此帧中的一系列车辆抓拍图送入车辆跟踪算法模块。
在本公开的一实施例中,如果当前帧是第一帧,则车辆跟踪模块直接标记车辆抓拍图的id,假设此车辆抓拍图的id为id1;如果当前帧不是第一帧,则车辆跟踪模块在前一个视频帧图像的特定区域查找是否有匹配车辆。如果有匹配人脸车辆且此匹配车辆的id为id2,则当前输入的车辆抓拍图的id也为id2;如果没有匹配车辆,则车辆跟踪模块标记此输入的车辆抓拍图的id为id3。其中,id1、id2、id3均为自然数,id1、id2、id3均不相同,即保证每个车次的id均不相同。
步骤319,使用map作为车辆抓拍图的存储结构,key用来存储车辆的id,value用来存储车辆抓拍图、相对应的车牌信息和其对应的质量分数qulity。
在本公开的一实施例中,quality的计算方法如下:
1)假设有两个权重值,分别为车辆尺寸权重值ws和车牌信息权重值wp,其中ws和wp是0到1之间的浮点数,其中ws+wp=1;
2)假设车辆抓拍图面积值为s,建立不同面积尺寸s1、s2、…、s10与分数Qs(假设面积对应的分数为10、20、…、100)的一一映射关系。假设有Sx,其中S1<=Sx<S2,则取Qs为10;如果Sx>s10,则取Qs为100。
3)假设车牌文字、字母、数字总数为n,则建立可以清楚识别的符号总数(1,2,…,n)与分数Qp(假设对应的分数为100/n,100*2/n,…,100)之间的一一映射关系。则quality的计算方式为:quality=Qs*ws+Qp*wp。
在本公开的一实施例中,假设存储抓拍图的map结构变量为M,则对于当前帧产生的车辆抓拍图,存在如下两种情况:
1)当抓拍图的id不在M中,则将抓拍图id和相应车辆抓拍图及其对应的(如果有)车牌信息、车辆抓拍图发送次数m1、当前系统时间tc及计算得到的车辆抓拍图质量分数quality(假设其值为q)存入M;其中m1=0;
2)当抓拍图的id在M中存在时,首先判断当前车辆id的已发送次数m1是否大于等于m;
如果m1>=m,则跳到步骤321;
如果m1<m,则计算此车辆抓拍图的quality(假设其值为q1):
如果此车辆id对应的车辆抓拍图已经被清空,则将当前车辆抓拍图及其车牌信息作为此车辆id对应的车辆抓拍图及其车牌信息,并且使q=q1,之后跳转到步骤320;
如果q1<=q,则不进行抓拍图更新,之后跳转到步骤320;
如果q1>q,则使用当前车辆抓拍图替换之前的车辆抓拍图,并且使q=q1,之后跳转到步骤320。
步骤320,获取当前系统时间ts,之后依次获取M中各车辆id的tc:
如果ts-tc<t,则跳转到步骤321;
如果ts-tc>=t,则将此时对应的车辆抓拍图发送给处理模型(车辆属性检测模块、车辆特征提取模块、车型识别模块),如果有相对应的车牌信息,则将车牌信息也一起发送给后端处理模块进行展示或存储;之后从M中删除已发送车辆抓拍图及车牌信息,并将更新对应的tc,令tc=ts。
步骤321,判断M中的车辆是否已在当前帧中消失;
如果M中的车辆全部没有在当前帧中消失,则跳转到步骤306;
如果M中的某些车辆在当前帧中消失了,则遍历查看这些消失车辆所对应的车辆抓拍图是否还有保存:
如果车辆抓拍图还有保存,则发送对应的车辆抓拍图及车牌信息给处理模型,之后删除此消失车辆的全部信息,包括id、车辆抓拍图发送次数m1、车辆抓拍图累计起始时间tc、车辆抓拍图质量分数q、车辆抓拍图、车牌信息,之后跳转到步骤306;
如果车辆抓拍图及车牌信息已被删除,则删除此消失车辆的所有信息,包括id、车辆抓拍图发送次数m1、车辆抓拍图累计起始时间tc、车辆抓拍图质量分数q,之后跳转到步骤306。
经过上述一系列步骤,可以获取车辆的一系列完整信息,包括车辆抓拍图、车牌信息、车辆属性信息(包括车辆颜色、车内人员是否有系好安全带等等)、车辆特征信息、车辆型号信息,从而可以实现车辆结构化。
本公开实施例的方案,相对于传统车辆检测方案,通过增加车辆跟踪模块,可以对同一车次的车辆抓拍图标记相同的id;通过修改车辆检测算法(单分类算法)为车辆及车牌检测算法(多分类算法),进行一次图像检测,即可同时获得车辆抓拍图和车牌抓拍图;通过提出一种抓拍图quality的计算方法,通过比对同一id车辆的quality,可以选择到质量较好的一张或几张抓拍图;通过设置的发送次数、发送间隔,只在发送次数以内同时满足发送间隔时,进行车辆抓拍图的发送,减少对后续模块的调用;对于不满足发送次数,且没有超过发送间隔时间就消失的车辆,在车辆消失时,将车辆抓拍图及相应的车牌信息进行发送。由此,大大减少了同一车次车辆的发送至处理模型的抓拍图的数量,从而大大减少了对处理模型的调用次数,节约了大量GPU、CPU等计算资源。同时,处理模型对车辆抓拍图进行处理所产生的大量中间处理数据也大大减少,因此,也节约了大量用于存储车辆抓拍图和中间处理数据的存储资源。
图5根据本公开实施例的一种车辆检测装置的结构示意图,如图5所示,该装置包括:
第一获取模块501,用于获取发送同一车次车辆的抓拍图至处理模型的发送周期和最大发送次数;
第二获取模块502,用于获取目标车辆的当前候选抓拍图;
抓拍图确定模块503,用于根据发送周期、最大发送次数以及当前候选抓拍图确定目标车辆的目标抓拍图;
信息获取模块504,用于将目标抓拍图发送至处理模型进行处理,以获取目标车辆的车辆信息。
在本公开的一实施例中,该装置还包括:第三获取模块,用于获取当前时刻距离上次发送目标车辆的抓拍图至处理模型的时间间隔以及目标车辆的抓拍图累计发送次数;
其中,抓拍图确定模块503,包括:
抓拍图确定单元,用于在时间间隔满足发送周期且抓拍图累计发送次数不超过最大发送次数的情况下,将当前候选抓拍图确定为目标抓拍图。
在本公开的一实施例中,该装置还包括:第四获取模块,用于获取检测范围阈值和检测置信度阈值;
其中,第二获取模块502,包括:
视频帧获取单元,用于获取一帧目标视频帧,并将目标视频帧确定为当前视频帧;
初始检测单元,用于将当前视频帧输入预设的初始检测模型,以得到当前视频帧的至少一个初始检测结果;
当前结果确定单元,用于根据至少一个初始检测结果中满足检测范围阈值且满足检测置信度阈值的初始检测结果,确定当前视频帧对应的当前车辆结果集和当前车牌结果集;
目标车辆确定单元,用于在当前车辆结果集不为空的情况下,将当前车辆结果集中任一元素对应的车辆确定为目标车辆;
历史获取单元,用于获取历史视频帧对应的历史车辆结果集和历史车牌结果集;
候选确定单元,用于根据当前车辆结果集、当前车牌结果集、历史车辆结果集以及历史车牌结果集确定目标车辆的当前候选抓拍图。
在本公开的一实施例中,视频帧获取单元包括:
视频读取子单元,用于读取一帧视频编码数据;
解码子单元,用于将视频编码数据送入解码器进行解码,得到第一格式视频帧;
变换子单元,用于对第一格式视频帧进行颜色空间变换,得到第二格式视频帧;
目标确定子单元,用于将第二格式视频帧确定为目标视频帧。
在本公开的一实施例中,初始检测结果包括用于框选目标视频帧上的抓拍对象的检测框的坐标、抓拍对象的类型以及检测结果置信度,其中,抓拍对象的类型为车辆或车牌;
当前结果确定单元,包括:
结果添加子单元,用于针对每个初始检测结果,当初始检测结果中的检测框的坐标在检测范围阈值限定的检测范围以内,且初始检测结果中的检测结果置信度大于或等于检测置信度阈值时,根据初始检测结果中的抓拍对象的类型为车辆,将初始检测结果添加至当前车辆结果集,或者根据初始检测结果中的抓拍对象的类型为车牌,将初始检测结果添加至当前车牌结果集。
在本公开的一实施例中,该装置还包括:
车辆车牌绑定模块,用于在当前车辆结果集和当前车牌结果集均不为空的情况下,根据当前车辆结果集中的检测框的坐标和当前车牌结果集中检测框的坐标,对当前视频帧中同一车次的车辆进行车辆抓拍图和车牌抓拍图绑定;
车牌信息获取模块,用于将完成与相应车辆抓拍图的绑定操作的车牌抓拍图输入预设的车牌识别模型,以获取对应的车牌信息。
在本公开的一实施例中,候选确定单元,包括:
身份标记子单元,用于对当前车辆结果集和历史车辆结果集中的元素所对应的各车次车辆进行标记,以获取各车次车辆的车辆身份标识ID;
面积确定子单元,根据当前车辆结果集和历史车辆结果集中各检测框的坐标确定对应的车辆抓拍图的面积;
车牌获取子单元,用于获取由当前车牌结果集和历史车牌结果集确定的所有车辆ID对应的车牌信息;
质量评分子单元,用于根据每个车辆ID对应的车辆抓拍图的面积和车牌信息,以及预设的车辆尺寸权重值和车牌信息权重值,得到每个车辆ID对应的车辆抓拍图的质量评分;
候选确定子单元,用于将每个车辆ID对应的车辆抓拍图中的质量评分最高的车辆抓拍图确定为每个车辆ID对应的当前候选抓拍图。
本公开实施例提供的上述装置,能够实现前述方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,电子设备600包括计算单元601,其可以根据存储在ROM(Read-OnlyMemory,只读存储器)602中的计算机程序或者从存储单元608加载到RAM(Random AccessMemory,随机访问/存取存储器)603中的计算机程序,来执行各种适当的动作和处理。在RAM603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。I/O(Input/Output,输入/输出)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于CPU(Central Processing Unit,中央处理单元)、GPU(Graphic Processing Units,图形处理单元)、各种专用的AI(Artificial Intelligence,人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor,数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如车辆检测方法。例如,在一些实施例中,车辆检测方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的车辆检测方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行车辆检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array,现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit,专用集成电路)、ASSP(Application Specific StandardProduct,专用标准产品)、SOC(System On Chip,芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device,复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory,可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory,便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(Cathode-Ray Tube,阴极射线管)或者LCD(Liquid Crystal Display,液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:LAN(LocalArea Network,局域网)、WAN(Wide Area Network,广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
其中,需要说明的是,人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (10)
1.一种车辆检测方法,包括:
获取发送同一车次车辆的抓拍图至处理模型的发送周期和最大发送次数;
获取目标车辆的当前候选抓拍图;
根据所述发送周期、所述最大发送次数以及所述当前候选抓拍图确定所述目标车辆的目标抓拍图;
将所述目标抓拍图发送至所述处理模型进行处理,以获取所述目标车辆的车辆信息。
2.根据权利要求1所述的方法,还包括:获取当前时刻距离上次发送所述目标车辆的抓拍图至所述处理模型的时间间隔以及所述目标车辆的抓拍图累计发送次数;
其中,所述根据所述发送周期、所述最大发送次数以及所述当前候选抓拍图确定所述目标车辆的目标抓拍图,包括:
在所述时间间隔满足所述发送周期且所述抓拍图累计发送次数不超过所述最大发送次数的情况下,将所述当前候选抓拍图确定为目标抓拍图。
3.根据权利要求1所述的方法,还包括:获取检测范围阈值和检测置信度阈值;
其中,所述获取目标车辆的当前候选抓拍图,包括:
获取一帧目标视频帧,并将所述目标视频帧确定为当前视频帧;
将所述当前视频帧输入预设的初始检测模型,以得到所述当前视频帧的至少一个初始检测结果;
根据所述至少一个初始检测结果中满足所述检测范围阈值且满足所述检测置信度阈值的初始检测结果,确定所述当前视频帧对应的当前车辆结果集和当前车牌结果集;
在所述当前车辆结果集不为空的情况下,将所述当前车辆结果集中任一元素对应的车辆确定为所述目标车辆;
获取历史视频帧对应的历史车辆结果集和历史车牌结果集;
根据所述当前车辆结果集、所述当前车牌结果集、所述历史车辆结果集以及所述历史车牌结果集确定所述目标车辆的当前候选抓拍图。
4.根据权利要求3所述的方法,其中,所述获取一帧目标视频帧,包括:
读取一帧视频编码数据;
将所述视频编码数据送入解码器进行解码,得到第一格式视频帧;
对所述第一格式视频帧进行颜色空间变换,得到第二格式视频帧;
将所述第二格式视频帧确定为所述目标视频帧。
5.根据权利要求3所述的方法,其中,所述初始检测结果包括用于框选所述目标视频帧上的抓拍对象的检测框的坐标、所述抓拍对象的类型以及检测结果置信度,其中,所述抓拍对象的类型为车辆或车牌;
所述根据所述至少一个初始检测结果中满足所述检测范围阈值且满足所述检测置信度阈值的初始检测结果,确定所述当前视频帧对应的当前车辆结果集和当前车牌结果集,包括:
针对每个初始检测结果,当所述初始检测结果中的检测框的坐标在所述检测范围阈值限定的检测范围以内,且所述初始检测结果中的检测结果置信度大于或等于所述检测置信度阈值时,根据所述初始检测结果中的抓拍对象的类型为车辆,将所述初始检测结果添加至所述当前车辆结果集,或者根据所述初始检测结果中的抓拍对象的类型为车牌,将所述初始检测结果添加至所述当前车牌结果集。
6.根据权利要求3所述的方法,还包括:
在所述当前车辆结果集和所述当前车牌结果集均不为空的情况下,根据所述当前车辆结果集中的检测框的坐标和所述当前车牌结果集中检测框的坐标,对所述当前视频帧中同一车次的车辆进行车辆抓拍图和车牌抓拍图绑定;
将完成与相应车辆抓拍图的绑定操作的车牌抓拍图输入预设的车牌识别模型,以获取对应的车牌信息。
7.根据权利要求6所述的方法,其中,所述根据所述当前车辆结果集、所述当前车牌结果集、所述历史车辆结果集以及所述历史车牌结果集确定所述目标车辆的当前候选抓拍图,包括:
对所述当前车辆结果集和所述历史车辆结果集中的元素所对应的各车次车辆进行标记,以获取各车次车辆的车辆身份标识ID;
根据所述当前车辆结果集和所述历史车辆结果集中各检测框的坐标确定对应的车辆抓拍图的面积;
获取由所述当前车牌结果集和所述历史车牌结果集确定的所有车辆ID对应的车牌信息;
根据每个车辆ID对应的车辆抓拍图的面积和车牌信息,以及预设的车辆尺寸权重值和车牌信息权重值,得到所述每个车辆ID对应的车辆抓拍图的质量评分;
将所述每个车辆ID对应的车辆抓拍图中的质量评分最高的车辆抓拍图确定为所述每个车辆ID对应的当前候选抓拍图。
8.一种车辆检测装置,包括:
第一获取模块,用于获取发送同一车次车辆的抓拍图至处理模型的发送周期和最大发送次数;
第二获取模块,用于获取目标车辆的当前候选抓拍图;
抓拍图确定模块,用于根据所述发送周期、所述最大发送次数以及所述当前候选抓拍图确定所述目标车辆的目标抓拍图;
信息获取模块,用于将所述目标抓拍图发送至所述处理模型进行处理,以获取所述目标车辆的车辆信息。
9.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110335726.0A CN113012439B (zh) | 2021-03-29 | 2021-03-29 | 车辆检测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110335726.0A CN113012439B (zh) | 2021-03-29 | 2021-03-29 | 车辆检测方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113012439A CN113012439A (zh) | 2021-06-22 |
CN113012439B true CN113012439B (zh) | 2022-06-21 |
Family
ID=76408941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110335726.0A Active CN113012439B (zh) | 2021-03-29 | 2021-03-29 | 车辆检测方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113012439B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682644A (zh) * | 2017-01-11 | 2017-05-17 | 同观科技(深圳)有限公司 | 一种基于移动摄像设备的双动态车辆监测管理系统和方法 |
CN107871011A (zh) * | 2017-11-21 | 2018-04-03 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
CN109254833A (zh) * | 2017-07-12 | 2019-01-22 | 杭州海康威视数字技术股份有限公司 | 图片分析方法、装置及系统、计算机设备 |
US10475338B1 (en) * | 2018-09-27 | 2019-11-12 | Melodie Noel | Monitoring and reporting traffic information |
CN110503042A (zh) * | 2019-08-23 | 2019-11-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置以及电子设备 |
CN111191481A (zh) * | 2018-11-14 | 2020-05-22 | 杭州海康威视数字技术股份有限公司 | 车辆识别方法及系统 |
CN111738033A (zh) * | 2019-03-24 | 2020-10-02 | 初速度(苏州)科技有限公司 | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 |
CN111738098A (zh) * | 2020-05-29 | 2020-10-02 | 浪潮(北京)电子信息产业有限公司 | 一种车辆识别方法、装置、设备及存储介质 |
CN112133100A (zh) * | 2020-09-16 | 2020-12-25 | 北京影谱科技股份有限公司 | 一种基于r-cnn的车辆检测方法 |
CN112416570A (zh) * | 2020-10-15 | 2021-02-26 | 北京旷视科技有限公司 | 图片流接入方法、装置、图片处理系统及电子设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040167861A1 (en) * | 2003-02-21 | 2004-08-26 | Hedley Jay E. | Electronic toll management |
CN102708685B (zh) * | 2012-04-27 | 2014-08-20 | 南京航空航天大学 | 检测与抓拍违规车辆的装置及方法 |
CN105632171A (zh) * | 2015-12-29 | 2016-06-01 | 安徽海兴泰瑞智能科技有限公司 | 一种交通路况视频监控方法 |
CN108550264A (zh) * | 2018-06-22 | 2018-09-18 | 泉州创先力智能科技有限公司 | 一种道路监控方法、装置、设备和存储介质 |
CN109147341B (zh) * | 2018-09-14 | 2019-11-22 | 杭州数梦工场科技有限公司 | 违章车辆检测方法及装置 |
US10748423B2 (en) * | 2018-11-27 | 2020-08-18 | Toyota Motor North America, Inc. | Proximity-based vehicle tagging |
JP7428360B2 (ja) * | 2019-05-20 | 2024-02-06 | i-PRO株式会社 | 車両監視システムおよび車両監視方法 |
CN111476107B (zh) * | 2020-03-18 | 2024-11-08 | 平安国际智慧城市科技股份有限公司 | 一种图像处理方法及装置 |
CN112270309A (zh) * | 2020-11-20 | 2021-01-26 | 罗普特科技集团股份有限公司 | 一种车辆卡口设备抓拍质量评估方法、装置及可读介质 |
-
2021
- 2021-03-29 CN CN202110335726.0A patent/CN113012439B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682644A (zh) * | 2017-01-11 | 2017-05-17 | 同观科技(深圳)有限公司 | 一种基于移动摄像设备的双动态车辆监测管理系统和方法 |
CN109254833A (zh) * | 2017-07-12 | 2019-01-22 | 杭州海康威视数字技术股份有限公司 | 图片分析方法、装置及系统、计算机设备 |
CN107871011A (zh) * | 2017-11-21 | 2018-04-03 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
US10475338B1 (en) * | 2018-09-27 | 2019-11-12 | Melodie Noel | Monitoring and reporting traffic information |
CN111191481A (zh) * | 2018-11-14 | 2020-05-22 | 杭州海康威视数字技术股份有限公司 | 车辆识别方法及系统 |
CN111738033A (zh) * | 2019-03-24 | 2020-10-02 | 初速度(苏州)科技有限公司 | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 |
CN110503042A (zh) * | 2019-08-23 | 2019-11-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置以及电子设备 |
CN111738098A (zh) * | 2020-05-29 | 2020-10-02 | 浪潮(北京)电子信息产业有限公司 | 一种车辆识别方法、装置、设备及存储介质 |
CN112133100A (zh) * | 2020-09-16 | 2020-12-25 | 北京影谱科技股份有限公司 | 一种基于r-cnn的车辆检测方法 |
CN112416570A (zh) * | 2020-10-15 | 2021-02-26 | 北京旷视科技有限公司 | 图片流接入方法、装置、图片处理系统及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113012439A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112633384B (zh) | 基于图像识别模型的对象识别方法、装置和电子设备 | |
CN113177968A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN113392253B (zh) | 视觉问答模型训练及视觉问答方法、装置、设备及介质 | |
CN113642431A (zh) | 目标检测模型的训练方法及装置、电子设备和存储介质 | |
CN112989995B (zh) | 文本检测方法、装置及电子设备 | |
CN112560862A (zh) | 文本识别方法、装置及电子设备 | |
CN114494784A (zh) | 深度学习模型的训练方法、图像处理方法和对象识别方法 | |
CN114863437B (zh) | 文本识别方法、装置、电子设备和存储介质 | |
CN113420681A (zh) | 行为识别及模型训练的方法、设备、存储介质和程序产品 | |
CN113378836A (zh) | 图像识别方法、装置、设备、介质及程序产品 | |
CN113326773A (zh) | 识别模型训练方法、识别方法、装置、设备及存储介质 | |
CN113963197A (zh) | 图像识别方法、装置、电子设备和可读存储介质 | |
CN116246287B (zh) | 目标对象识别方法、训练方法、装置以及存储介质 | |
CN113688887A (zh) | 图像识别模型的训练与图像识别方法、装置 | |
CN115457329B (zh) | 图像分类模型的训练方法、图像分类方法和装置 | |
CN113706705A (zh) | 用于高精地图的图像处理方法、装置、设备以及存储介质 | |
CN113012439B (zh) | 车辆检测方法、装置、设备和存储介质 | |
CN116309963B (zh) | 一种图像的批量标注方法、装置、电子设备及存储介质 | |
CN115761698A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
CN115909357A (zh) | 基于人工智能的目标识别方法、模型训练方法和装置 | |
CN114998387A (zh) | 一种物体距离监测方法、装置、电子设备和存储介质 | |
CN115019321A (zh) | 一种文本识别、模型训练方法、装置、设备及存储介质 | |
CN114842541A (zh) | 模型的训练及人脸识别方法、装置、设备以及存储介质 | |
CN114612971A (zh) | 人脸检测方法、模型训练方法、电子设备及程序产品 | |
CN113033431A (zh) | 光学字符识别模型训练和识别方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |