Nothing Special   »   [go: up one dir, main page]

CN111582180B - 车牌定位方法、图像处理装置及具有存储功能的装置 - Google Patents

车牌定位方法、图像处理装置及具有存储功能的装置 Download PDF

Info

Publication number
CN111582180B
CN111582180B CN202010389063.6A CN202010389063A CN111582180B CN 111582180 B CN111582180 B CN 111582180B CN 202010389063 A CN202010389063 A CN 202010389063A CN 111582180 B CN111582180 B CN 111582180B
Authority
CN
China
Prior art keywords
image
detected
license plate
vehicle
vehicle image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010389063.6A
Other languages
English (en)
Other versions
CN111582180A (zh
Inventor
郝行猛
舒梅
王耀农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010389063.6A priority Critical patent/CN111582180B/zh
Publication of CN111582180A publication Critical patent/CN111582180A/zh
Application granted granted Critical
Publication of CN111582180B publication Critical patent/CN111582180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种车牌定位方法、图像处理装置及具有存储功能的装置，该车牌定位方法包括：获取待检测车辆图像，待检测车辆图像包括待检测车牌；在模板库中查询与待检测车辆图像的姿态角相匹配的车牌模板图像；从待检测车辆图像提取多个候选子图像；计算各候选子图像与车牌模板图像的相似度；根据与车牌模板图像的相似度满足预设条件的至少一候选子图像在待检测车辆图像中的位置确定待检测车牌在待检测车辆图像中的位置。本申请所提供的车牌定位方法能够在图像中快速、准确地对车牌进行定位。

Description

车牌定位方法、图像处理装置及具有存储功能的装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种车牌定位方法、图像处理装置及具有存储功能的装置。
背景技术
随着智能交通系统(ITS)在电警、卡口、出入口、停车场等交通场景的日益普及，车牌定位结果作为车牌识别的输入，它的质量直接影响到最终车牌字符识别结果，因而一种快速有效的车牌定位方法在ITS系统中起着至关重要的作用。
发明内容
本申请主要解决的技术问题是提供一种车牌定位方法、图像处理装置及具有存储功能的装置，能够在图像中快速、准确地对车牌进行定位。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种车牌定位方法，所述方法包括：获取待检测车辆图像，所述待检测车辆图像包括待检测车牌；在模板库中查询与所述待检测车辆图像的姿态角相匹配的车牌模板图像；从所述待检测车辆图像提取多个候选子图像；计算各所述候选子图像与所述车牌模板图像的相似度；根据与所述车牌模板图像的相似度满足预设条件的至少一所述候选子图像在所述待检测车辆图像中的位置确定所述待检测车牌在所述待检测车辆图像中的位置。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像处理装置，包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现上述方法中的步骤。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种具有存储功能的装置，存储有程序数据，所述程序数据能够被处理器执行以实现上述方法中的步骤。
本申请的有益效果是：本申请的车牌定位方法先找出与待检测车辆图像的姿态角相匹配的车牌模板图像，然后从待检测车辆图像中提取出多个候选子图像以及计算各候选子图像与车牌模板图像的相似度，最后根据与车牌模板图像的相似度满足预设条件的至少一候选子图像在待检测车辆图像中的位置确定待检测车牌在待检测车辆图像中的位置，能够快速、准确地对待检测车辆图像中的待检测车牌进行定位。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请车牌定位方法一实施方式的流程示意图；
图2是本申请车牌定位方法另一实施方式的流程示意图；
图3是调整相机与车辆相对角度时的示意图；
图4是图2中步骤S260在一应用场景中的流程示意图；
图5是图2中步骤S280在一应用场景中的流程示意图；
图6是利用候选框在待检测车辆图像进行滑窗操作的示意图；
图7是图2中步骤S290在一应用场景中的流程示意图；
图8是对待检测车辆图像进行划分的示意图；
图9是本申请图像处理装置一实施方式的结构示意图；
图10是本申请图像处理装置另一实施方式的结构示意图；
图11是本申请具有存储功能的装置一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参阅图1，图1是本申请车牌定位方法一实施方式的流程示意图。
该车牌定位方法包括：
S110：获取待检测车辆图像，待检测车辆图像包括待检测车牌。
待检测车辆图像包括待检测车牌，本实施方式中的车牌定位方法就是旨在解决如何在该待检测车辆图像中对该待检测车牌进行定位。
S120：在模板库中查询与待检测车辆图像的姿态角相匹配的车牌模板图像。
其中，车牌模板图像是提取车辆模板图像中的车牌而得到的。
具体地，待检测车辆图像的姿态角反映了待检测车牌的倾斜程度，车牌模板图像与待检测车辆图像的姿态角相匹配表明车牌模板图像中车牌的倾斜程度与待检测车辆图像中待检测车牌的倾斜程度相同。
S130：从待检测车辆图像提取多个候选子图像。
具体地，可以是按照预设策略提取多个候选子图像，也可以是随机提取多个候选子图像。
S140：计算各候选子图像与车牌模板图像的相似度。
由于车牌模板图像中车牌的倾斜程度与待检测车辆图像中待检测车牌的倾斜程度相同，因此候选子图像与车牌模板图像的相似度越高表明候选子图像包括的待检测车牌的部分越多，候选子图像在待检测车辆图像中的位置越接近待检测车牌在待检测车辆图像中的位置。
S150：根据与车牌模板图像的相似度满足预设条件的至少一候选子图像在待检测车辆图像中的位置确定待检测车牌在待检测车辆图像中的位置。
与车牌模板图像的相似度满足预设条件的候选子图像在待检测车辆图像中的位置与待检测车牌在待检测车辆图像中的位置也满足一定条件，因此根据与车牌模板图像的相似度满足预设条件的至少一候选子图像在待检测车辆图像中的位置能够确定待检测车牌在待检测车辆图像中的位置。
在上述实施方式中，先找出与待检测车辆图像的姿态角相匹配的车牌模板图像，然后从待检测车辆图像中提取出多个候选子图像以及计算各候选子图像与车牌模板图像的相似度，最后根据与车牌模板图像的相似度满足预设条件的至少一候选子图像在待检测车辆图像中的位置确定待检测车牌在待检测车辆图像中的位置，能够快速、准确地对待检测车辆图像中的待检测车牌进行定位。
参阅图2，图2是本申请车牌定位方法另一实施方式的流程示意图，该方法包括：
S210：调整相机与位于抓拍线处的车辆的相对角度。
结合图3，设置车辆(该车辆安装有车牌，图3未将车辆示出)位于抓拍线处，然后在相机视角θ内调整相机与车辆的相对角度。
在一应用场景中，按照预定梯度角Δθ调整相机与车辆的相对角度，也就是说，每一次调整相机与车辆之间的相对位置，相机与车辆之间的相对角度变化Δθ，那么在相机视角θ内调整相机与车辆的相对角度的次数N＝θ/Δθ。
在该应用场景中，定义相机正对车辆时，相机与车辆之间的相对角度为0度(即将相机正向角度定为0度)，则相机与车辆的相对角度范围为[-θ/2,θ/2]。
在其他应用场景中，也可以在相机视角θ内随机调整相机与车辆的相对角度，例如，每次调整相机与车辆的相对位置，相机与车辆之间的相对角度变化值不同。
S220：获取在不同的相对角度下相机拍摄的车辆模板图像。
在每次调整相机与车辆的相对角度后，让相机对车辆进行拍摄，从而获取车辆模板图像，该车辆模板图像包括车辆以及车牌。
在一应用场景中，相机对车辆进行拍摄得到的图像中可能不仅仅包括车辆以及车牌，还有可能包括车辆周围的物体，此时需要对该图像中的车辆进行定位以提取该图像中的车辆，从而得到车辆模板图像。
S230：提取车辆模板图像中的车牌作为车牌模板图像。
对车辆模板图像中的车牌进行定位并提取车牌。
S240：在模板库中关联保存相对角度与车牌模板图像。
从上述提取过程可以看出，相机与车辆的相对角度、车辆模板图像以及车牌模板图像具有一一对应关系，因此在模板库中关联保存相对角度与车牌模板图像。
可以理解的是，当按照梯度角Δθ调整相机与车辆的相对角度时，模板库中保存的相对角度个数为N(N＝θ/Δθ)，对应的车牌模板图像的个数也为N。
S250：获取待检测车辆图像，待检测车辆图像包括待检测车牌。
S260：计算待检测车辆图像的姿态角。
在一应用场景中，在计算待检测车辆图像的姿态角之前，为了提高计算的准确率，还会对待检测车辆图像进行预处理，该预处理主要包括对待检测车辆图像依次进行灰度化、二值化以及边缘检测处理等步骤。通过对待检测车辆图像进行预处理，能够有效筛选图像信息，过滤噪声点以及强化图像特征信息。
在一应用场景中，如图4所示，步骤S260具体包括：
S261：利用拉东变换计算待检测车辆图像的第一姿态角。
S262：利用霍夫变换计算待检测车辆图像的第二姿态角。
S263：对第一姿态角和第二姿态角进行加权求和而得到待检测车辆图像的姿态角。
Radon变换(拉东变换)是一个积分变换，它将定义在二维平面上的一个函数f(x,y)沿着平面上的任意一条之间做线积分，相当于对函数f(x,y)做CT扫描。其中如何通过Radon变换计算图像的姿态角属于现有技术，在此不再做具体介绍。
Hough变换(霍夫变换)是将图像矩阵参数空间与Hough参数空间建立映射关系，将图像中直线检测问题转换为在Hough空间中的搜索累加器峰值问题。其中如何通过Hough变换计算图像的姿态角也属于现有技术，在此不再做具体介绍。
在得到第一姿态角和第二姿态角后，利用如下公式计算待检测车辆图像的姿态角：
α＝λ1*θ+λ2*β，其中，α为待检测车辆图像的姿态角，θ为第一姿态角，β为第二姿态角，λ1为拉东变换的权重系数，λ2为拉东变换的权重系数。其中，λ1、λ2由设计人员根据实际应用情况设定，在此不做限制。
利用Radon变换与Hough变换按加权融合的方式计算待检测车辆图像的姿态角，相比单独利用拉东变换或者霍夫变换计算待检测图像的姿态角，能够修正单一算法可能引致的偶然性结果，提高姿态角计算的准确率。当然在其他应用场景中，也可以单独利用拉东变换或者霍夫变换计算待检测图像的姿态角，在此不做限制。
S270：将待检测车辆图像的姿态角与模板库中的相对角度进行匹配，以查询与待检测车辆图像的姿态角相匹配的车牌模板图像。
具体地，待检测车辆图像的姿态角反映了待检测车牌的倾斜程度，该倾斜程度取决于拍摄时相机与车辆之间的相对角度，因此待检测车辆图像的姿态角与模板库中的相对角度存在一一对应关系，根据待检测车辆图像的姿态角与模板库中相对角度之间的映射关系，能够查询到与待检测车辆图像的姿态角相匹配的车牌模板图像，该匹配到的车牌模板图像中车牌的倾斜程度与待检测车辆图像中待检测车牌的倾斜程度相同。
S280：从待检测车辆图像提取多个候选子图像，计算各候选子图像与车牌模板图像的相似度。
在一应用场景中，如图5所示，步骤S280中提取多个候选子图像的步骤，包括：
S281：建立与车牌模板图像尺寸相同的候选框。
S282：利用候选框在待检测车辆图像进行滑窗操作。
S283：将候选框在滑窗操作过程中所框选到的子图像区域作为候选子图像。
结合图6，将候选框按照预设的步长自待检测车辆图像中的预设位置开始进行滑窗操作，例如，将候选框自待检测车辆图像的左上角开始，按照从左到右，从上到下的顺序进行滑窗操作(即先将候选框从左上角向右按照一定的步长移动，当候选框到达待检测图像的边界时，将候选框自左上角的位置下移一定步长，然后向右移动，重复上述步骤，直至候选框到达待检测车辆图像的右下角)，其中，候选框每次移动的步长可以是3个像素或者5像素。
同时将候选框在滑窗操作过程中所框选到的子图像区域作为候选子图像可以是将候选框每次所框选到的子图像区域均作为候选子图像，也可以是挑选部分候选框所框选到的子图像区域作为候选子图像，在此不做限制。
可以理解的是，候选子图像的尺寸与车牌模板图像的尺寸相同。
在一应用场景中，步骤S280中计算各候选子图像与车牌模板图像的相似度的步骤，包括：计算各候选子图像的Hu不变矩特征向量与车牌模板图像的Hu不变矩特征向量之间的Pearson相似度。
具体地，Hu不变矩表征图像的几何特征，具有旋转、平移、尺寸等特征的不变特征，其中如何计算各候选子图像的Hu不变矩特征向量与车牌模板图像的Hu不变矩特征向量属于现有技术，在此不做具体介绍。
在计算出候选子图像的Hu不变矩特征向量与车牌模板图像的Hu不变矩特征向量后，利用如下公式计算候选子图像与车牌模板图像之间的相似度rXY：
Figure BDA0002485033790000071
其中，X是车牌模板图像的Hu不变矩特征向量，Y是候选子图像的Hu不变矩特征向量。
在一应用场景中，为了提高计算速度，预先在模板库中关联保存车牌模板图像与其对应的Hu不变矩特征向量，此后在匹配到车牌模板图像后，可以直接获取到该车牌模板图像的Hu不变矩特征向量，无需再进行计算。
S290：根据与车牌模板图像的相似度满足预设条件的至少一候选子图像在待检测车辆图像中的位置确定待检测车牌在待检测车辆图像中的位置。
在一应用场景中，如图7所示，步骤S290具体包括：
S291：选择与车牌模板图像的相似度最大的至少两个候选子图像。
具体地，首先按照与车牌模板图像的相似度从大到小的顺序对步骤S280提取的多个候选子图像进行排序，然后选择排在前几位的至少两个候选子图像。
在一应用场景中，当利用候选框的方式选择候选子图像时，为了减少计算量以及提高运算速度，在每次框选到候选子图像后，计算该候选子图像与车牌模板图像的相似度，若该相似度未超过相似度阈值，则直接将对应的候选子图像舍弃，只保留与车牌模板图像的相似度超过相似度阈值的候选子图像，最后在保留的候选子图像中再选择与车牌模板图像的相似度最大的至少两个候选子图像。
例如，当用Pearson相似度表征候选子图像与车牌模板图像之间的相似度时，只保留Pearson相似度大于0.6所对应的候选子图像，而后在保留的候选子图像中提取Pearson相似度排在前5位的候选子图像。
S292：计算至少两个候选子图像的中心点在待检测车辆图像中的坐标的平均值，以作为待检测车牌的中心点在待检测车辆图像中的坐标。
具体地，在待检测车辆图像中建立直角坐标系，计算至少两个候选子图像的中心点在待检测车辆图像中的横坐标的均值，以该均值作为待检测车牌的中心点在待检测车辆图像中的横坐标，以及计算至少两个候选子图像的中心点在待检测车辆图像中的纵坐标的均值，以该均值作为待检测车牌的中心点在待检测车辆图像中的纵坐标，从而得到待检测车牌的中心点在待检测车辆图像中的坐标。
以至少两个候选子图像的中心点在待检测车辆图像中的坐标的平均值作为待检测车牌的中心点在待检测车辆图像中的坐标，能够减少偶然性结果的发生。
S293：根据待检测车牌的中心点在待检测车辆图像中的坐标以及车牌模板图像的尺寸确定待检测车牌在待检测车辆图像中的位置。
车牌模板图像的尺寸与待检测车牌的尺寸具有相关性，因此根据待检测车牌的中心点在待检测车辆图像中的坐标以及车牌模板图像的尺寸能够确定待检测车牌在待检测车辆图像中的位置。
在本实施方式的一应用场景中，考虑到待检测车牌一般位于待检测车辆图像的下部区域，因此为了减少后续对图像的处理、缩小车牌的定位范围以及减少计算量，步骤S250在获取到待检测车辆图像后，沿竖直方向将待检测车辆图像划分成上半区域和下半区域，以基于下半区域执行后续步骤。
也就是说，后续的步骤S260至S290中只要涉及到对图像的计算处理，均是基于待检测车辆图像的下半区域进行。
在一具体实例中，在对待检测车辆图像进行划分时，如图8所示，可以基于经过待检测车辆图像的中心点的水平线(图8虚线所示)进行划分。
为了对上述实施方式进行更好的理解，下面结合具体实例进行说明：
在获取到待检测车辆图像后，基于经过待检测车辆图像的中心点的水平线将待检测车辆图像划分为位于水平线上方的第一子图像以及位于水平线下方的第二子图像。
在得到第二子图像后，对第二子图像进行预处理，并计算第二子图像的姿态角，而后将第二子图像的姿态角与模板库中的相对角度进行匹配，得到与第二子图像的姿态角相匹配的车牌模板图像。
建立与车牌模板图像尺寸相同的候选框，利用候选框在待检测车辆图像上进行滑窗操作，并计算候选框每次所框选的候选子图像与车牌模板图像的Pearson相似度。
若发现候选子图像与车牌模板图像的Pearson相似度小于相似度阈值，则将该候选子图像舍弃，否则保留候选子图像。
在第二子图像中建立直角坐标系：以第二子图像的左上角为坐标原点，水平向右方向为X轴正方向，竖直向下方向为Y轴正方向。
分别计算保留的候选子图像中与车牌模板图像的相似度最大的至少两个候选子图像的中心点在第二子图像中横坐标的平均值以及纵坐标的平均值，并将横坐标的平均值作为待检测车牌的中心点在第二子图像中的横坐标，纵坐标的平均值作为待检测车牌的中心点在第二子图像中的纵坐标，从而得到待检测车牌的中心点在第二子图像中的坐标为(xc,yc)。
假设候选框的宽度、高度分别为w、h，则待检测车牌的左上角、右下角在第二子图像中的坐标(x1,y1)、(x2,y2)的计算公式如下：
Figure BDA0002485033790000101
然后再将待检测车牌在第二子图像中的位置映射到整幅待检测车辆图像中：
首先在待检测车辆图像中建立坐标系：以待检测车辆图像的左上角为坐标原点，水平向右方向为X轴正方向，竖直向下方向为Y轴正方向(如图6所示)，然后假设待检测车辆图像的宽度、高度分别为W、H，则此时待检测车牌的左上角、右下角在待检测车辆图像中的坐标(x1',y1')、(x2',y2')的计算公式如下：
Figure BDA0002485033790000102
参阅图9，图9是本申请图像处理装置一实施方式的结构示意图。该图像处理装置200包括处理器210、存储器220以及通信电路230。处理器210分别耦接存储器220、通信电路230，存储器220中存储有程序数据，处理器210通过执行存储器220内的程序数据以实现上述任一项实施方式中的方法，其中详细的方法可参见上述实施方式，在此不再赘述。
其中，图像处理装置200可以是任何一种具有图像处理能力的装置，例如手机、等脑等，在此不做限制。
参阅图10，图10是本申请图像处理装置一实施方式的结构示意图。该图像处理装置300包括图像获取模块310、图像匹配模块320、图像提取模块330、相似度计算模块340以及车牌定位模块350。
图像获取模块310用于获取待检测车辆图像，待检测车辆图像包括待检测车牌。
图像匹配模块320与图像获取模块310连接，用于在模板库中查询与待检测车辆图像的姿态角相匹配的车牌模板图像。
图像提取模块330与图像匹配模块320连接，用于从待检测车辆图像提取多个候选子图像。
相似度计算模块340与图像提取模块330连接，用于计算各候选子图像与车牌模板图像的相似度。
车牌定位模块350与相似度计算模块340连接，用于根据与车牌模板图像的相似度满足预设条件的至少一候选子图像在待检测车辆图像中的位置确定待检测车牌在待检测车辆图像中的位置。
在一实施方式中，图像处理模块300还包括模板建立模块。模板建立模块用于调整相机与位于抓拍线处的车辆的相对角度；获取在不同的相对角度下相机拍摄的车辆模板图像；提取车辆模板图像中的车牌作为车牌模板图像；在模板库中关联保存相对角度与车牌模板图像。
在一实施方式中，图像匹配模块320具体包括姿态角计算子单元以及匹配子单元。姿态角计算子单元用于计算待检测车辆图像的姿态角，匹配子单元用于将待检测车辆图像的姿态角与模板库中的相对角度进行匹配，以查询与待检测车辆图像的姿态角相匹配的车牌模板图像。
在一实施方式中，姿态角计算子单元具体用于利用拉东变换计算待检测车辆图像的第一姿态角；利用霍夫变换计算待检测车辆图像的第二姿态角；对第一姿态角和第二姿态角进行加权求和而得到待检测车辆图像的姿态角。
在一实施方式中，图像提取模块330包括候选框单元、滑窗单元以及提取单元。候选框单元用于建立与车牌模板图像尺寸相同的候选框，滑窗单元用于利用候选框在待检测车辆图像进行滑窗操作，提取单元用于将候选框在滑窗操作过程中所框选到的子图像区域作为候选子图像。
在一实施方式中，相似度计算模块340用于计算各候选子图像的Hu不变矩特征向量与车牌模板图像的Hu不变矩特征向量之间的Pearson相似度。
在一实施方式中，车牌定位模块350具体应用于选择与车牌模板图像的相似度最大的至少两个候选子图像；计算至少两个候选子图像的中心点在待检测车辆图像中的坐标的平均值，以作为待检测车牌的中心点在待检测车辆图像中的坐标；根据待检测车牌的中心点在待检测车辆图像中的坐标以及车牌模板图像的尺寸确定待检测车牌在待检测车辆图像中的位置。
在一实施方式中，图像获取模块310还用于沿竖直方向将待检测车辆图像划分成上半区域和下半区域，后续图像处理装置300中的其他模块便基于下半区域操作。
其中，图像处理装置300可以是任何一种具有图像处理能力的装置，例如手机、等脑等，在此不做限制。
参阅图11，图11是本申请具有存储功能的装置一实施方式的结构示意图。该具有存储功能的装置400存储有程序数据410，该程序数据410能够被处理器执行以实现上述任一项实施方式中的方法，其中详细的方法可参见上述实施方式，在此不再赘述。
其中具存储功能的装置400具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序数据410的装置，或者也可以为存储有该程序数据410的服务器，该服务器可将存储的程序数据410发送给其他设备运行，或者也可以自运行该存储的程序数据410。
总而言之，本申请的车牌定位方法先找出与待检测车辆图像的姿态角相匹配的车牌模板图像，然后从待检测车辆图像中提取出多个候选子图像以及计算各候选子图像与车牌模板图像的相似度，最后根据与车牌模板图像的相似度满足预设条件的至少一候选子图像在待检测车辆图像中的位置确定待检测车牌在待检测车辆图像中的位置，能够快速、准确地对待检测车辆图像中的待检测车牌进行定位。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种车牌定位方法，其特征在于，所述方法包括：
获取待检测车辆图像，所述待检测车辆图像包括待检测车牌；
在模板库中查询与所述待检测车辆图像的姿态角相匹配的车牌模板图像；
从所述待检测车辆图像提取多个候选子图像；
计算各所述候选子图像与所述车牌模板图像的相似度；
根据与所述车牌模板图像的相似度满足预设条件的至少一所述候选子图像在所述待检测车辆图像中的位置确定所述待检测车牌在所述待检测车辆图像中的位置；
其中，在所述获取待检测车辆图像之前，还包括：
调整相机与位于抓拍线处的车辆的相对角度；
获取在不同的相对角度下所述相机拍摄的车辆模板图像；
提取所述车辆模板图像中的车牌作为所述车牌模板图像；
在所述模板库中关联保存所述相对角度与所述车牌模板图像；
其中，所述在模板库中查询与所述待检测车辆图像的姿态角相匹配的车牌模板图像的步骤，包括：
计算所述待检测车辆图像的姿态角；
将所述待检测车辆图像的所述姿态角与所述模板库中的所述相对角度进行匹配，以查询与所述待检测车辆图像的所述姿态角相匹配的车牌模板图像。
2.根据权利要求1所述的车牌定位方法，其特征在于，所述计算所述待检测车辆图像的姿态角的步骤，包括：
利用拉东变换计算所述待检测车辆图像的第一姿态角；
利用霍夫变换计算所述待检测车辆图像的第二姿态角；
对所述第一姿态角和所述第二姿态角进行加权求和而得到所述待检测车辆图像的所述姿态角。
3.根据权利要求1所述的车牌定位方法，其特征在于，所述从所述待检测车辆图像提取多个候选子图像的步骤，包括：
建立与所述车牌模板图像尺寸相同的候选框；
利用所述候选框在所述待检测车辆图像进行滑窗操作；
将所述候选框在滑窗操作过程中所框选到的子图像区域作为所述候选子图像。
4.根据权利要求1所述的车牌定位方法，其特征在于，所述计算各所述候选子图像与所述车牌模板图像的相似度的步骤，包括：
计算各所述候选子图像的Hu不变矩特征向量与所述车牌模板图像的Hu不变矩特征向量之间的Pearson相似度。
5.根据权利要求1所述的车牌定位方法，其特征在于，所述根据与所述车牌模板图像的相似度满足预设条件的至少一所述候选子图像在所述待检测车辆图像中的位置确定所述待检测车牌在所述待检测车辆图像中的位置的步骤，包括：
选择与所述车牌模板图像的相似度最大的至少两个所述候选子图像；
计算至少两个所述候选子图像的中心点在所述待检测车辆图像中的坐标的平均值，以作为所述待检测车牌的中心点在所述待检测车辆图像中的坐标；
根据所述待检测车牌的中心点在所述待检测车辆图像中的坐标以及所述车牌模板图像的尺寸确定所述待检测车牌在所述待检测车辆图像中的位置。
6.根据权利要求1所述的车牌定位方法，其特征在于，所述获取待检测车辆图像的步骤，进一步包括：
沿竖直方向将所述待检测车辆图像划分成上半区域和下半区域，以基于所述下半区域执行后续步骤。
7.一种图像处理装置，其特征在于，包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现如权利要求1-6任一项所述方法中的步骤。
8.一种具有存储功能的装置，其特征在于，存储有程序数据，所述程序数据能够被处理器执行以实现如权利要求1至6任一项所述方法中的步骤。
CN202010389063.6A 2020-05-09 2020-05-09 车牌定位方法、图像处理装置及具有存储功能的装置 Active CN111582180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010389063.6A CN111582180B (zh) 2020-05-09 2020-05-09 车牌定位方法、图像处理装置及具有存储功能的装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010389063.6A CN111582180B (zh) 2020-05-09 2020-05-09 车牌定位方法、图像处理装置及具有存储功能的装置

Publications (2)

Publication Number Publication Date
CN111582180A CN111582180A (zh) 2020-08-25
CN111582180B true CN111582180B (zh) 2023-04-18

Family

ID=72125400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010389063.6A Active CN111582180B (zh) 2020-05-09 2020-05-09 车牌定位方法、图像处理装置及具有存储功能的装置

Country Status (1)

Country Link
CN (1) CN111582180B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784569B (zh) * 2020-09-04 2020-12-04 平安国际智慧城市科技股份有限公司 成对车牌图像及车辆图像的生成方法、装置、介质及设备
CN112257764B (zh) * 2020-10-15 2024-09-27 浙江大华技术股份有限公司 车牌分类方法、电子设备及存储介质
CN112346614B (zh) * 2020-10-28 2022-07-29 京东方科技集团股份有限公司 图像显示方法及装置、电子设备、存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630361A (zh) * 2008-12-30 2010-01-20 北京邮电大学 一种基于车牌、车身颜色和车标识别的套牌车辆识别设备及方法
CN101673338A (zh) * 2009-10-09 2010-03-17 南京树声科技有限公司 基于多角度投影的模糊车牌识别方法
CN103826057A (zh) * 2012-11-19 2014-05-28 索尼公司 图像处理设备、图像处理方法和图像拍摄设备
CN104123553A (zh) * 2014-06-16 2014-10-29 孙晓航 一种基于级联形态学变换的车牌定位方法及系统
JP2015056065A (ja) * 2013-09-12 2015-03-23 住友電工システムソリューション株式会社 ナンバープレート傾斜角度算出装置、コンピュータプログラム及びナンバープレート傾斜角度算出方法
CN105469055A (zh) * 2015-11-26 2016-04-06 上海斐讯数据通信技术有限公司 一种基于云计算的车牌识别系统及方法
CN105512649A (zh) * 2016-01-22 2016-04-20 大连楼兰科技股份有限公司 一种基于颜色空间的高清视频实时车牌定位方法
CN105654048A (zh) * 2015-12-30 2016-06-08 四川川大智胜软件股份有限公司 一种多视角人脸比对方法
CN106384113A (zh) * 2016-11-07 2017-02-08 湖南源信光电科技有限公司 基于投影和模板匹配的单双行车牌字符分割方法
CN109977739A (zh) * 2017-12-28 2019-07-05 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110020578A (zh) * 2018-01-10 2019-07-16 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110443221A (zh) * 2019-08-14 2019-11-12 上海世茂物联网科技有限公司 一种车牌识别方法及系统
CN110751150A (zh) * 2019-09-29 2020-02-04 上海工程技术大学 一种基于fpga的二值神经网络车牌识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160203379A1 (en) * 2015-01-12 2016-07-14 TigerIT Americas, LLC Systems, methods and devices for the automated verification and quality control and assurance of vehicle identification plates

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630361A (zh) * 2008-12-30 2010-01-20 北京邮电大学 一种基于车牌、车身颜色和车标识别的套牌车辆识别设备及方法
CN101673338A (zh) * 2009-10-09 2010-03-17 南京树声科技有限公司 基于多角度投影的模糊车牌识别方法
CN103826057A (zh) * 2012-11-19 2014-05-28 索尼公司 图像处理设备、图像处理方法和图像拍摄设备
JP2015056065A (ja) * 2013-09-12 2015-03-23 住友電工システムソリューション株式会社 ナンバープレート傾斜角度算出装置、コンピュータプログラム及びナンバープレート傾斜角度算出方法
CN104123553A (zh) * 2014-06-16 2014-10-29 孙晓航 一种基于级联形态学变换的车牌定位方法及系统
CN105469055A (zh) * 2015-11-26 2016-04-06 上海斐讯数据通信技术有限公司 一种基于云计算的车牌识别系统及方法
CN105654048A (zh) * 2015-12-30 2016-06-08 四川川大智胜软件股份有限公司 一种多视角人脸比对方法
CN105512649A (zh) * 2016-01-22 2016-04-20 大连楼兰科技股份有限公司 一种基于颜色空间的高清视频实时车牌定位方法
CN106384113A (zh) * 2016-11-07 2017-02-08 湖南源信光电科技有限公司 基于投影和模板匹配的单双行车牌字符分割方法
CN109977739A (zh) * 2017-12-28 2019-07-05 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110020578A (zh) * 2018-01-10 2019-07-16 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110443221A (zh) * 2019-08-14 2019-11-12 上海世茂物联网科技有限公司 一种车牌识别方法及系统
CN110751150A (zh) * 2019-09-29 2020-02-04 上海工程技术大学 一种基于fpga的二值神经网络车牌识别方法及系统

Also Published As

Publication number Publication date
CN111582180A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
KR101758684B1 (ko) 객체 추적 장치 및 방법
US8705876B2 (en) Improving performance of image recognition algorithms by pruning features, image scaling, and spatially constrained feature matching
CN111582180B (zh) 车牌定位方法、图像处理装置及具有存储功能的装置
CN109145928B (zh) 一种基于图像的车头朝向识别方法及装置
CN110866903B (zh) 基于霍夫圆变换技术的乒乓球识别方法
US7346190B2 (en) Traffic line recognition device
CN109460722B (zh) 一种车牌智能识别方法
CN111695373B (zh) 斑马线的定位方法、系统、介质及设备
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
CN111382722B (zh) 车牌图像优选方法、图像处理装置及具有存储功能的装置
KR20220017697A (ko) 복수의 센서간 캘리브레이션 방법 및 장치
CN111738033A (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN111553845A (zh) 一种基于优化的三维重建的快速图像拼接方法
CN112580434A (zh) 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN112528994B (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN112036342B (zh) 单证抓拍方法、设备及计算机存储介质
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
CN109785367B (zh) 三维模型追踪中外点滤除方法和装置
Ko et al. A simple OCR method from strong perspective view
US12125218B2 (en) Object tracking apparatus and method
JP7293100B2 (ja) カメラシステム
CN112733565A (zh) 二维码粗定位方法、设备及存储介质
CN113591848B (zh) 停车场车牌识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant