CN106407959A - 基于小波变换和svm的低照度的复杂背景车牌定位方法 - Google Patents
基于小波变换和svm的低照度的复杂背景车牌定位方法 Download PDFInfo
- Publication number
- CN106407959A CN106407959A CN201610976425.5A CN201610976425A CN106407959A CN 106407959 A CN106407959 A CN 106407959A CN 201610976425 A CN201610976425 A CN 201610976425A CN 106407959 A CN106407959 A CN 106407959A
- Authority
- CN
- China
- Prior art keywords
- image
- license plate
- wavelet
- svm
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000005286 illumination Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 31
- 230000009466 transformation Effects 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 14
- 238000003708 edge detection Methods 0.000 abstract description 8
- 238000001914 filtration Methods 0.000 abstract description 3
- 238000012706 support-vector machine Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 15
- 230000006872 improvement Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/431—Frequency domain transformation; Autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明为一种基于小波变换和SVM的低照度的复杂背景车牌定位方法,其涉及计算机视觉领域。该方法利用小波变换进行图像的多级小波分解得到尺度系数和小波系数,采用MSR方法处理尺度系数来调整低照度图像的亮度,采用阈值增强方法处理各层的小波系数来增强图像,从而获得了细节信息丰富、高对比度的清晰图像,有利于准确地进行车牌定位;再利用垂直边缘检测Bernsen算子进行边缘检测,结合垂直投影方法快速地进行车牌的粗定位,得到车牌区域的宽度,过滤掉了大部分无关的背景区域;最后提取了图像的空域特征和离散余弦域特征,利用SVM算法进行分类训练定位出车牌区域,然后去除车牌区域之间的重合框得到最终的精确定位效果。
Description
技术领域
本发明涉及计算机视觉领域,特指一种基于小波变换和SVM的低照度的复杂背景车牌定位方法。
背景技术
智能交通系统已经成为交通管理发展的主流方向,作为实现交通管理自动化的车辆车牌识别技术(License Plate Recognition,LPR)应运而生,LPR系统广泛应用于电子收费站、停车场车辆管理等场合。车牌识别系统主要由牌照图像的采集和预处理、牌照区域的定位和提取、牌照字符的分割和识别等几个组成部分。
其中,车牌定位的效果会对接下来的字符分割和字符识别产生直接的影响。常用的车牌定位方法有基于边缘特征的车牌定位方法、基于颜色特征的车牌定位方法和基于纹理特征的车牌定位等方法。基于边缘的定位方法通常比较快速简单,但是容易受到背景干扰,在背景复杂干扰边缘较多时往往定位效果不佳。基于颜色特征的车牌定位方法定位准确、精度高。但是车身颜色和背景颜色比较接近时车牌定位会失效,因此有较明显的局限性。基于纹理特征的定位方法可以克服边缘模糊和颜色失真等问题,但是计算量较大。由于车牌识别系统往往应用于室外环境,因此在实际的应用过程中车牌定位会受到很多因素的影响,比如车牌模糊、车牌的悬挂位置不统一、光照不均和不足、车牌大小不固定、复杂的背景等都会给车牌定位带来一定的困难。
针对低照度下车牌信息的丢失以及复杂背景中过多的干扰信息而造成的车牌定位的困难性和不准确性,提出了基于小波变换和SVM的低照度的复杂背景车牌定位方法。该方法首先利用小波变换进行图像的多级小波分解得到尺度系数和小波系数,采用MSR方法处理尺度系数来调整低照度图像的亮度,采用阈值增强方法处理各层的小波系数来增强图像,从而获得了细节信息丰富、高对比度的清晰图像,有利于准确地进行车牌定位;再利用垂直边缘检测Bernsen算子进行边缘检测,结合垂直投影方法快速地进行车牌的粗定位,得到车牌区域的宽度,过滤掉了大部分无关的背景区域,有利于提高精确定位的速率;最后提取了图像的空域特征和离散余弦域特征,利用SVM算法进行分类训练,从而定位出车牌区域,然后去除车牌区域矩形框的重叠部分得到最终的精确定位效果。
发明内容
本发明要解决的技术问题在于:针对车牌定位这个特定问题,提出一种基于小波和SVM的低照度的复杂背景的车牌定位方法。
为解决上述技术问题,本发明采取的技术方案是:一种基于小波变换和SVM的低照度的复杂背景的车牌定位方法,其特征是包括如下步骤:
步骤1)利用小波变换对低照度图像进行图像增强,获得细节信息丰富、高对比度的增强图像,对于不同层次的小波系数采用不同阈值增强算法,使得增强图像细节特征的同时,也抑制了噪声,其包括:
1.1、利用小波变换对图像进行多级小波分解,得到尺度系数φ(t)和小波系数ψ(t);
1.2、采用MSR方法处理尺度系数来调整图像的亮度;
1.3、采用阈值增强的方法处理各层小波系数来增强图像的细节特征;
步骤2)对增强后的图像进行二值化处理,利用垂直边缘检测Bernsen算子进行边缘检测,结合垂直投影方法快速地进行车牌的粗定位,得到车牌区域的宽度,从而过滤掉了大部分无关的背景区域,有利于快速实现SVM分类训练,提高了系统的速率;
步骤3)提取步骤2)得到的车牌区域的空域特征和离散余弦域特征,利用SVM算法进行分类训练,从而定位出车牌区域,其包括:
3.1、提取图像的空域特征和离散余弦特征,作为SVM训练的特征向量;
3.2、利用SVM算法进行分类训练,定位出车牌区域;
步骤4)进行车牌区域的重叠矩形框检测,精确定位出车牌区域。
作为本发明的进一步改进,所述步骤1)中,所述采用MSR方法处理尺度系数来调整图像的亮度的方法如下:
上式中,R(x,y)是MSR方法的输出;I(x,y)是图像数据;是卷积运算符;we为权值,满足∑we=1,e表示顺序,即第几个权值,F(x,y)=K*exp(-(x2+y2)/ce 2),K满足∫∫F(x,y)dxdy=1;ce决定高斯曲面的形状;E为不同形状的高斯曲面的数目也就是尺度的数目,不同的e对应不同的ce。
作为本发明的进一步改进,所述步骤1)中,所述采用阈值增强的方法处理各层小波系数来增强图像的细节特征包括:
选择长度为5的3次B样条小波对图像进行四级小波分解,根据各层小波系数的不同特点,通过不同的阈值算法对不同尺度小波分量分别进行变换;
在第一级小波系数内,采用双阈值增强图像细节特征:
上式中,T1和T2是阈值门限,T1<T2,G=8,Win和Wout是变换前后的小波系数;
在第二、三级小波系数内,采用自适应阈值增强算法:
式中,T3和T4是阈值门限,T4<T3,G=10,Win和Wout是变换前后的小波系数;
在第四级小波系数内,采用单阈值算法进行处理:
式中,T5是阈值门限,G=8,Win和Wout是变换前后的小波系数。
作为本发明的进一步改进,所述步骤2)中,对车牌图像的下2/3部分进行垂直投影,采用自下往上的方式扫描车牌,结合垂直投影的方法粗定位出牌照位置的宽度步骤如下:
(1)对处理后的二值化图像进行垂直投影,扫描垂直投影后的车牌图像,统计投影图像中各相邻两列黑色像素点数的绝对差值,同时记录下各个绝对差值所对应的前一列的坐标;
(2)利用快速排序的方法排列所述绝对差值,对其相对应的坐标也进行排序,取绝对差值最大的18个坐标值,从小到大排序,利用最小二乘法,去除突兀的点,剩下的坐标值对应区域就是牌照在垂直方向的区域,即垂直条带区域,从而得到了车牌的宽度。
作为本发明的进一步改进,所述步骤3)中,对于空域特征采用灰度共生矩阵来提取图像表面纹理特征参数,将图像f(i,j)的灰度值分级,其最高的灰度为Ng,记图像水平方向的宽度为Lx={1,2,...,Nx},图像垂直方向的长度为Ly={1,2,...,Ny},图像的灰度集合记为G={1,2,...,Ng}。可将待分析的图像f(i,j)看作从Lx×Ly到G的一个变换,即图像f(i,j)中的每一个点Lx×Ly对应一个属于G中的灰度值。定义方向为θ、间隔为d的灰度共生矩阵为[p(i,j,d,θ)]。矩阵[p(i,j,d,θ)]的第i行j列元素表示所有θ方向,相邻间隔为d的像素中有一个取i值,另一个取i值的相邻对点数。灰度共生矩阵作正规化处理为:
p(i,j)=p(i,j,d,θ)/R
其中R是正规化常数:
对灰度共生矩阵正规化处理后,就可得到纹理特征:角二阶矩f1、对比度f2、相关性f3和熵f4;
离散余弦变换可将原始纹理图像变换到频域中进一步分析图像的纹理特征,离散余弦变换是先将整体图像分成N×N像素块,在对该像素块逐一进行离散余弦变换,假设一个8×8的图像平均分成4个区块,则每个区块有4×4个系数,每个区块用统计参数AK表示:
式中,表示第n个8×8的离散余弦变换块中第i行和第j列的系数;S表示图像块总离散余弦变换块的数目,每个区块均有16个系数,Dk(k=0,1,2,3)表示一个8×8的图像平均分成4个区块D0,D1,D2,D3。则A0,A1,A2,A3便构成了特征向量的四个特征参数。另外,Ek代表不同纹理方向的区域能量,并且:
其中,则E0,E1,E2,E3构成了特征向量中另外的4个参数;
则输入到SVM分类器中的特征向量的形式为f1,f2,f3,f4,A1,A2,A3,...Am,E0,E1,E2,E3。
作为本发明的进一步改进,所述步骤4)中,
SVM训练的主要实现步骤如下:
一、建立包含正样本和负样本的训练集合N;
二、利用训练集合N通过非线性可分的SVM算法训练SVM分类器;
三、用训练好的SVM分类器对随机选取的非牌照样本进行分类测试,收集那些被错分为牌照的样本;
四、随机选取50%的错分类样本加入到训练集N;
五、重复一至四步骤直到没有再发现错分的样本;
六、使用最终获得的N训练SVM分类器;
利用检测框通过左右和上下移动的方式来遍历步骤2)中获得垂直条带区域,结合训练好的SVM分类器进行车牌定位的主要实现步骤如下:
一、初始化检测框大小为15×45像素;
二、提取步骤S2中获得的垂直条带中检测框区域内的空域特征和离散余弦变换域特征,作为输入的特征向量,送入SVM分类器中进行判别;
三、若分类器结果为1则标记该检测区域为车牌区域,否则标记为非车牌区域;
四、以1像素为步长移动检测框,重新计算空域特征和离散余弦变换域特征;
五、若遍历结束则检测框放大1.25倍,重新遍历,当检测框的高大于垂直条带的高,或检测框的宽大于垂直条带的宽时,遍历结束。
作为本发明的进一步改进,所述步骤4)中,包括:对重叠的车牌区域的矩形框按照一定的规则进行合并,形成一个最终的检测结果,去除重叠矩形框的方法如下:
4.1、若是多个矩形框在重叠区域均占各自面积的50%以上,最终的检测出来车牌的矩形框为重叠框的平均值;
4.2、当存在大框包围小框的情况,小框的100%面积位于重叠区域,大框不到50%的面积位于重叠区域,则将小框融进大框中。
与现有技术相比,本发明具有以下有益效果:
1、该方法首先利用小波变换进行图像的多级小波分解得到尺度系数和小波系数,采用MSR方法处理尺度系数来调整低照度图像的亮度,采用阈值增强方法处理各层的小波系数来增强图像,从而获得了细节信息丰富、高对比度的清晰图像,有利于准确地进行车牌定位。
2、利用垂直边缘检测Bernsen算子进行边缘检测,结合垂直投影方法快速地进行车牌的粗定位,得到车牌区域的宽度,过滤掉了大部分无关的背景区域,有利于提高精确定位的速率。
3、提取了图像的空域特征和离散余弦域特征,特征量丰富,便于利用支持向量机的方法准确地定位出车牌区域,在进行SVM训练的过程中,采用了“自举”的方式收集具有代表性的负样本,可获得更加精确的SVM分类器,从而定位出车牌区域,然后去除车牌区域矩形框的重叠部分得到最终的精确定位效果。
附图说明
图1是实施例车牌定位方法流程图。
图2是实施例所述粗定位获得垂直条带效果图。
图3实施例所述算法车牌定位效果图。
具体实施方式
实施例1:以车牌图像为例,结合附图对本发明做进一步详细说明。
S1.利用小波变换进行图像增强,获得细节信息丰富、高对比度的清晰图像,有利于准确地进行车牌定位;
S1.1利用小波变换对图像进行多级小波分解,得到尺度系数和小波系数;
假设ψ(t)和φ(t)分别是小波函数和尺度函数,aj[n],dj[n]分别是尺度系数和小波系数,j表示第j次小波分解,是卷积运算符。则:
其中:
t是函数的自变量,n为位移量,
对于任何的j≥0,有:
其中是小波分解过程中的低通分解滤波器和高通分解滤波器。是相对应的小波逆变换过程中低通重建滤波器和高通重建滤波器。
S1.2采用MSR方法处理尺度系数来调整图像的亮度;
小波变换具有多分辨率、多尺度的特点,应用于图像增强过程中,增强效果和抗噪性能优于传统的图像增强算法,但是对图像的亮度改变效果不佳,针对这种缺点,本发明采用MSR(Multiscale Retinex)方法对图像的低频信号即尺度系数进行处理。方法如下:
式中,R(x,y)是MSR方法的输出;I(x,y)是图像数据;是卷积运算符;we为权值,满足∑we=1,e表示顺序,即第几个权值。F(x,y)=k*exp(-(x2+y2)/ce 2),k满足∫∫F(x,y)dxdy=1;ce决定高斯曲面的形状;E为不同形状的高斯曲面的数目也就是尺度的数目,不同的e对应不同的ce。
选择三个尺度对小波变换的尺度系数采用MSR处理,cn分别取值15,60,180,权重wn取三个相同数值1/3。MSR利用人眼的色感一致性对图像进行处理,对图像具有很好的动态范围压缩性能,对光照不足和不均匀的图像具有较好的处理效果。
S1.3采用阈值增强的方法处理各层小波系数来增强图像的细节特征;
选择长度为5的3次B样条小波对图像进行4级小波分解。小波变换使图像中不同分辨率的细节特征随尺度的不同而分离,图像的细节特征和噪声都属于高频分量,根据各层小波系数的不同特点,通过不同的阈值算法对不同尺度小波分量分别进行变换,从而使不同分辨率的细节特征得到增强,同时也抑制图像的噪声。
图像的噪声属于高频分量,主要集中在第一级小波系数内,这一层采用双阈值增强图像细节特征,处理方法如公式(6)所示;第二、三级的小波系数中噪声较小,采用自适应阈值增强算法,处理方法如公式(7)所示;对于第四级小波系数采用单阈值算法进行处理,处理方法如公式(8)所示。
式中,T1和T2是阈值门限,T1=3.5,G=8,T2=40,Win和Wout是变换前后的小波系数。
式中,T3和T4是阈值门限,T3=35,G=10,T4=1.8,Win和Wout是变换前后的小波系数。
式中,T5是阈值门限,G=8,T5=1.5,Win和Wout是变换前后的小波系数。
通过S1的处理步骤之后,获得了细节信息丰富、高对比度的清晰图像,有利于后续进行准确的车牌定位;
S2.利用Bernsen算子对增强后的图像进行二值化处理,结合垂直投影方法快速地进行车牌的粗定位,得到牌照区域的宽度,过滤掉了大部分无关的背景区域,有利于后续SVM分类训练的实现;
采用S1步骤处理低照度图像之后,利用Bernsen算子进行二值化处理,Bernsen算子能够保留图像较多的细节信息。
由于牌照区域有七个连续的字符,字符与字符之间有一定的距离。从字符到车牌背景或者从背景到字符都存在一个跳变,同时牌照区域还有两个边框,字符和边框有近两次以上的跳变。所以牌照区域相对于其他非牌照区域跳变多,跳变的次数大于或等于18。车牌一般悬挂在车身较低的位置,下方没有明显的边缘密集区域,所以只对车牌图像的下2/3部分进行垂直投影,以此提高算法的运行速率,减少复杂背景影响。采用自下往上的方式扫描车牌,结合垂直投影的方法粗定位出牌照位置的宽度步骤如下:
(1)对Bernsen算子处理的二值化图像进行垂直投影,扫描垂直投影后的车牌图像,统计投影图像中各相邻两列黑色像素点数的绝对差值,同时记录下各个差值所对应的前一列的坐标。
(2)利用快速排序的方法排列上述的绝对差值,对其相对应的坐标也进行排序,取绝对差值最大的18个坐标值,从小到大排序,利用最小二乘法,去除突兀的点,剩下的坐标值对应区域就是牌照在垂直方向的区域,即垂直条带区域,从而得到了车牌的宽度。
获得牌照的宽度同时也过过滤了大部分无关的复杂背景区域,便于后续SVM分类训练的实现。图2为粗定位获得垂直条带的效果图。
S3.提取了图像的空域特征和离散余弦变换域特征,利用SVM算法进行分类训练,从而定位出车牌区域;
S3.1提取图像的空域特征和离散余弦变换域特征,作为SVM训练的特征向量;
提取S2步骤获得的牌照区域的空域特征和离散余弦变换域的特征,其特征量丰富,便于利用支持向量机准确地定位出牌照。对于空域特征采用灰度共生矩阵来提取图像表面纹理特征参数,将图像f(i,j)的灰度值分级,其最高的灰度为Ng,记图像水平方向的宽度为Lx={1,2,...,Nx},图像垂直方向的长度为Ly={1,2,...,Ny},图像的灰度集合记为G={1,2,...,Ng}。可将待分析的图像f(i,j)看作从Lx×Ly到G的一个变换,即图像f(i,j)中的每一个点Lx×Ly对应一个属于G中的灰度值。定义方向为θ、间隔为d的灰度共生矩阵为[p(i,j,d,θ)]。矩阵[p(i,j,d,θ)]的第i行j列元素表示所有θ方向,相邻间隔为d的像素中有一个取i值,另一个取i值的相邻对点数。灰度共生矩阵作正规化处理为:
p(i,j)=p(i,j,d,θ)/R (9)
其中R是正规化常数:
对灰度共生矩阵正规化处理后,就可得到纹理特征:角二阶矩、对比度、相关性和熵。角二阶矩描述图像灰度均匀分布的特性,粗纹理的值较大,细纹理则较小,如公式(11)所示;对比度描述的是图像的清晰程度,纹理的沟纹越深,则其对比度越大,图像越清晰,如公式(12)所示;相关性用于衡量灰度共生矩阵的元素在行的方向或是列的方向的相似程度,如公式(13)所示;熵用于衡量图像所具有的信息量,若图像没有任何纹理,则熵值几乎为0,熵的公式如公式(16)所示。
式中,μx,σx分别是{px(i);i=1,2,...,Ng}的均值和均方差;μy,σy分别是{py(i);i=1,2,...,Ng}的均值和均方差。其中:
上述特征对于不同的间距d和方向θ将得到不同的值,通常设d=1,θ为0°、45°、90°、135°,因此对于每一个特征fi=(i=1,2,3,4),存在不同方向的4个值。
离散余弦变换可将原始纹理图像变换到频域中进一步分析图像的纹理特征。将原始纹理图像作离散余弦变换后对频率系数量化,从量化值中提取图像的方向性,并将量化值的统计特性和图像的方向性结合构造特征向量,用于采用SVM对纹理图像进行分类过程中。离散余弦变换是先将整体图像分成N×N像素块,在对该像素块逐一进行离散余弦变换,假设一个8×8的图像平均分成4个区块,则每个区块有4×4个系数,每个区块用统计参数AK表示:
式中,表示第n个8×8的离散余弦变换块中第i行和第j列的系数;S表示图像块总离散余弦变换块的数目,每个区块均有16个系数,Dk(k=0,1,2,3)表示一个8×8的图像平均分成4个区块D0,D1,D2,D3。则A0,A1,A2,A3便构成了特征向量的四个特征参数。另外,Ek代表不同纹理方向的区域能量,并且:
其中,则E0,E1,E2,E3构成了特征向量中另外的4个参数。
则输入到SVM分类器中的特征向量的形式为f1,f2,f3,f4,A1,A2,A3,...Am,E0,E1,E2,E3。
S3.2SVM算法进行分类训练,定位出车牌区域。
SVM基于SRM准则构造最优超平面,使每类数据之间间隔最大,同时保持分类误差尽可能小。车牌的准确定位问题是一种非线性可分的模式分类问题。给定训练集合(x1,y1),(x2,y2),…,(xi,yi),其中xi为输入向量,yi为样本标签,yi=±1。在本发明中yi=±1。对于线性可分的问题,可以按照公式(20)所示的超平面,将训练样本分为2类:
yi(xi·w+b)≥1,i=1,2,...,m (20)
式中,w是超平面中的向量,b为截距。
超平面的边缘为超平面到正样本和负样本的最短距离之和,如下所示:
式中,M是超平面的边缘,x+是正样本的支持向量,x-是负样本的支持向量,g是超平面的归一化向量。SVM中求解M最大值的问题转换成求||w||2的最小值,公式(20)为其约束条件。
对于线性不可分的车牌定位问题,可以将松弛变量ξi和惩罚因子C引入到每个训练数据集中。公式(21)转换成公式(22)。
约束条件为:
寻找最优超平面可以归为二次规划问题:
将训练集映射到高维特征空间,利用核函数代替点积运算。在高维特征空间中,数据是线性可分的。二次规划问题(24)转化成求解最大拉格朗日算子:
约束条件:
式中,αi和αj是拉格朗日对偶变量,x和y的定义与前面一样,K(xi,xj)为核函数,本案例中采用高斯核函数K(xi,xj)=exp(-1/(2σ2)||xi-xj||2),σ是核函数的带宽。
在求得αi的最优解后,就可以通过下式(27)的符号来判断测试样本x的分类了。
利用SVM算法实现车牌定位过程中,包含牌照区域的图像可作为正样本,难点在于人如何收集具有代表性的负样本,因为实际上存在太多的不包含牌照的图像可以作为负样本。本案例中采用一种称为“自举”的方法来解决这个问题,这种方法中一些负样本是在训练中获得的而不是在训练以前就选定好的,这样能得到更加精确的SVM分类器,使得分类更加精确,车牌定位效果更加精确。SVM训练的主要实现步骤如下:
(1)建立包含正样本和负样本的训练集合N;
(2)利用训练集合N通过非线性可分的SVM算法训练SVM分类器;
(3)用训练好的SVM分类器对随机选取的非牌照样本进行分类测试,收集那些被错分为牌照的样本;
(4)随机选取50%的错分类样本加入到训练集N;
(5)重复(2)~(4)步骤直到没有再发现错分的样本;
(6)使用最终获得的N训练SVM分类器。
利用一定大小的检测框通过左右和上下移动的方式来遍历步骤S2中获得垂直条带区域,结合训练好的SVM分类器进行车牌定位的主要实现步骤:
(1)初始化检测框大小为15×45像素;
(2)提取步骤S2中获得的垂直条带中检测框区域内的空域特征和离散余弦变换域特征,作为输入的特征向量,送入SVM分类器中进行判别;
(3)若分类器结果为1则标记该检测区域为车牌区域,否则标记为非车牌区域;
(4)以1像素为步长移动检测框,重新计算空域特征和离散余弦变换域特征;
(5)若遍历结束则检测框放大1.25倍,重新遍历,当检测框的高大于垂直条带的高,或检测框的宽大于垂直条带的宽时,遍历结束。
S4.进行车牌区域的重叠矩形框检测,精确定位出车牌区域。
由步骤S3定位出的车牌区域会出现多个重叠的窗口。为了精确地定位出车牌区域,必须对重叠的车牌区域的矩形框按照一定的规则进行合并,形成一个最终的检测结果。去除重叠矩形框的方法:
(1)若是多个矩形框在重叠区域均占各自面积的50%以上,最终的检测出来车牌的矩形框为重叠框的平均值;
(2)当存在大框包围小框的情况,小框的100%面积位于重叠区域,大框不到50%的面积位于重叠区域,则将小框融进大框中。
图3为本实施案例算法进行车牌定位的效果图。由图片的结果可知:本实施案例的算法处理低照度下车牌定位的效果良好。对低照度的车牌图像,分别采用只基于SVM算法和本实施案例的算法进行车牌定位,检测结果对比如下表所示:
表1 检测结果对比表
由上表可以看出本实施案例的算法的性能优于只基于SVM算法,原因在于在进行粗定位得到垂直条带之后候选区域大大减少,减少了伪车牌出现的数目,从而提高了正确率。本实施案例算法在时间上也能满足工程上实时性的要求。
本发明中提出的方法实际上可嵌入FPGA实现,应用于车牌识别和视频监控系统中。以上实施例仅起到解释本发明技术方案的作用,本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此,仅对上述实施例中具体的公式及算法进行简单替换,但其实质内容仍与本发明所述方法相一致的技术方案,均应属于本发明的保护范围。
Claims (7)
1.一种基于小波变换和SVM的低照度的复杂背景的车牌定位方法,其特征是,包括如下步骤:
步骤1)利用小波变换对低照度图像进行图像增强,获得高对比度图像,其包括:
1.1、利用小波变换对图像进行多级小波分解,得到尺度系数φ(t)和小波系数ψ(t);
1.2、采用MSR方法处理尺度系数来调整图像的亮度;
1.3、采用阈值增强的方法处理各层小波系数来增强图像的细节特征;
步骤2)对增强后的图像进行二值化处理,对二值化处理后的图像结合垂直投影方法快速地进行车牌的粗定位,得到车牌区域的宽度;
步骤3)提取步骤2)得到的车牌区域的空域特征和离散余弦域特征,利用SVM算法进行分类训练,从而定位出车牌区域,其包括:
3.1、提取图像的空域特征和离散余弦特征,作为SVM训练的特征向量;
3.2、利用SVM算法进行分类训练,定位出车牌区域;
步骤4)进行车牌区域的重叠矩形框检测,精确定位出车牌区域。
2.根据权利要求1所述基于小波变换和SVM的低照度的复杂背景车牌定位方法,其特征是,所述步骤1)中,所述采用MSR方法处理尺度系数来调整图像的亮度的方法如下:
上式中,R(x,y)是MSR方法的输出;I(x,y)是图像数据;是卷积运算符;we为权值,满足∑we=1,e表示顺序,即第几个权值,F(x,y)=K*exp(-(x2+y2)/ce 2),K满足∫∫F(x,y)dxdy=1;ce决定高斯曲面的形状;E为不同形状的高斯曲面的数目也就是尺度的数目,不同的e对应不同的ce。
3.根据权利要求1基于小波变换和SVM的低照度的复杂背景车牌定位方法,其特征是,所述步骤1)中,所述采用阈值增强的方法处理各层小波系数来增强图像的细节特征包括:
选择长度为5的3次B样条小波对图像进行四级小波分解,根据各层小波系数的不同特点,通过不同的阈值算法对不同尺度小波分量分别进行变换;
在第一级小波系数内,采用双阈值增强图像细节特征:
上式中,T1和T2是阈值门限,T1<T2,G=8,Win和Wout是变换前后的小波系数;
在第二、三级小波系数内,采用自适应阈值增强算法:
式中,T3和T4是阈值门限,T4<T3,G=10,Win和Wout是变换前后的小波系数;
在第四级小波系数内,采用单阈值算法进行处理:
式中,T5是阈值门限,G=8,Win和Wout是变换前后的小波系数。
4.根据权利要求1基于小波变换和SVM的低照度的复杂背景车牌定位方法,其特征是,所述步骤2)中,对车牌图像的下2/3部分进行垂直投影,采用自下往上的方式扫描车牌,结合垂直投影的方法粗定位出牌照位置的宽度步骤如下:
(1)对处理后的二值化图像进行垂直投影,扫描垂直投影后的车牌图像,统计投影图像中各相邻两列黑色像素点数的绝对差值,同时记录下各个绝对差值所对应的前一列的坐标;
(2)利用快速排序的方法排列所述绝对差值,对其相对应的坐标也进行排序,取绝对差值最大的18个坐标值,从小到大排序,利用最小二乘法,去除突兀的点,剩下的坐标值对应区域就是牌照在垂直方向的区域,即垂直条带区域,从而得到了车牌的宽度。
5.根据权利要求1基于小波变换和SVM的低照度的复杂背景车牌定位方法,所述步骤3)中,对于空域特征采用灰度共生矩阵来提取图像表面纹理特征参数,将图像f(i,j)的灰度值分级,其最高的灰度为Ng,记图像水平方向的宽度为Lx={1,2,...,Nx},图像垂直方向的长度为Ly={1,2,...,Ny},图像的灰度集合记为G={1,2,...,Ng},可将待分析的图像f(i,j)看作从Lx×Ly到G的一个变换,即图像f(i,j)中的每一个点Lx×Ly对应一个属于G中的灰度值,定义方向为θ、间隔为d的灰度共生矩阵为[p(i,j,d,θ)],矩阵[p(i,j,d,θ)]的第i行j列元素表示所有θ方向,相邻间隔为d的像素中有一个取i值,另一个取i值的相邻对点数,灰度共生矩阵作正规化处理为:
p(i,j)=p(i,j,d,θ)/R
其中R是正规化常数:
对灰度共生矩阵正规化处理后,就可得到纹理特征:角二阶矩f1、对比度f2、相关性f3和熵f4;
离散余弦变换可将原始纹理图像变换到频域中进一步分析图像的纹理特征,离散余弦变换是先将整体图像分成N×N像素块,在对该像素块逐一进行离散余弦变换,假设一个8×8的图像平均分成4个区块,则每个区块有4×4个系数,每个区块用统计参数AK表示:
式中,表示第n个8×8的离散余弦变换块中第i行和第j列的系数;S表示图像块总离散余弦变换块的数目,每个区块均有16个系数,Dk(k=0,1,2,3)表示一个8×8的图像平均分成4个区块D0,D1,D2,D3,则A0,A1,A2,A3便构成了特征向量的四个特征参数,Ek代表不同纹理方向的区域能量,并且:
其中,则E0,E1,E2,E3构成了特征向量中另外的4个参数;
则输入到SVM分类器中的特征向量的形式为f1,f2,f3,f4,A1,A2,A3,...Am,E0,E1,E2,E3。
6.根据权利要求1基于小波变换和SVM的低照度的复杂背景车牌定位方法,所述步骤4)中,
SVM训练的主要实现步骤如下:
一、建立包含正样本和负样本的训练集合N;
二、利用训练集合N通过非线性可分的SVM算法训练SVM分类器;
三、用训练好的SVM分类器对随机选取的非牌照样本进行分类测试,收集那些被错分为牌照的样本;
四、随机选取50%的错分类样本加入到训练集N;
五、重复一至四步骤直到没有再发现错分的样本;
六、使用最终获得的N训练SVM分类器;
利用检测框通过左右和上下移动的方式来遍历步骤2)中获得垂直条带区域,结合训练好的SVM分类器进行车牌定位的主要实现步骤如下:
一、初始化检测框大小为15×45像素;
二、提取步骤S2中获得的垂直条带中检测框区域内的空域特征和离散余弦变换域特征,作为输入的特征向量,送入SVM分类器中进行判别;
三、若分类器结果为1则标记该检测区域为车牌区域,否则标记为非车牌区域;
四、以1像素为步长移动检测框,重新计算空域特征和离散余弦变换域特征;
五、若遍历结束则检测框放大1.25倍,重新遍历,当检测框的高大于垂直条带的高,或检测框的宽大于垂直条带的宽时,遍历结束。
7.根据权利要求1基于小波变换和SVM的低照度的复杂背景车牌定位方法,所述步骤4)中,包括:对重叠的车牌区域的矩形框按照一定的规则进行合并,形成一个最终的检测结果,去除重叠矩形框的方法如下:
4.1、若是多个矩形框在重叠区域均占各自面积的50%以上,最终的检测出来车牌的矩形框为重叠框的平均值;
4.2、当存在大框包围小框的情况,小框的100%面积位于重叠区域,大框不到50%的面积位于重叠区域,则将小框融进大框中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610976425.5A CN106407959A (zh) | 2016-11-07 | 2016-11-07 | 基于小波变换和svm的低照度的复杂背景车牌定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610976425.5A CN106407959A (zh) | 2016-11-07 | 2016-11-07 | 基于小波变换和svm的低照度的复杂背景车牌定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106407959A true CN106407959A (zh) | 2017-02-15 |
Family
ID=58015454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610976425.5A Pending CN106407959A (zh) | 2016-11-07 | 2016-11-07 | 基于小波变换和svm的低照度的复杂背景车牌定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106407959A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108776792A (zh) * | 2018-06-07 | 2018-11-09 | 北京智芯原动科技有限公司 | 一种车牌的多尺度定位融合方法及装置 |
CN110097132A (zh) * | 2019-05-07 | 2019-08-06 | 电子科技大学 | 一种识别数字照片与拍摄相机的方法 |
CN110163815A (zh) * | 2019-04-22 | 2019-08-23 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
CN112216640A (zh) * | 2020-10-19 | 2021-01-12 | 惠州高视科技有限公司 | 一种半导体芯片定位方法和装置 |
CN113903180A (zh) * | 2021-11-17 | 2022-01-07 | 四川九通智路科技有限公司 | 一种高速公路检测车辆超速的方法及系统 |
CN113984192A (zh) * | 2021-10-27 | 2022-01-28 | 广东电网有限责任公司佛山供电局 | 一种基于声音信号的变压器工作状态监测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246551A (zh) * | 2008-03-07 | 2008-08-20 | 北京航空航天大学 | 一种快速的车牌定位方法 |
CN102831429A (zh) * | 2012-08-13 | 2012-12-19 | 深圳市捷顺科技实业股份有限公司 | 车牌定位方法 |
CN103824078A (zh) * | 2014-03-18 | 2014-05-28 | 厦门翼歌软件科技有限公司 | 复杂场景多车牌定位方法 |
-
2016
- 2016-11-07 CN CN201610976425.5A patent/CN106407959A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246551A (zh) * | 2008-03-07 | 2008-08-20 | 北京航空航天大学 | 一种快速的车牌定位方法 |
CN102831429A (zh) * | 2012-08-13 | 2012-12-19 | 深圳市捷顺科技实业股份有限公司 | 车牌定位方法 |
CN103824078A (zh) * | 2014-03-18 | 2014-05-28 | 厦门翼歌软件科技有限公司 | 复杂场景多车牌定位方法 |
Non-Patent Citations (6)
Title |
---|
于明 等: "自适应复杂天气的车牌定位方法", 《计算机工程与科学》 * |
刘尚旺 等: "二次定位车牌分割及识别方法", 《河南师范大学学报(自然科学版)》 * |
周旋 等: "基于小波变换的图像增强新算法", 《计算机应用》 * |
贺光: "基于粗糙集和模糊SVM的车牌识别技术研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 * |
郭延祥: "针对高分辨率背景复杂图像的车牌定位算法研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 * |
隆晓玲 等: "基于SVM的车牌区域定位系统研究", 《信息技术》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108776792A (zh) * | 2018-06-07 | 2018-11-09 | 北京智芯原动科技有限公司 | 一种车牌的多尺度定位融合方法及装置 |
CN108776792B (zh) * | 2018-06-07 | 2021-09-17 | 北京智芯原动科技有限公司 | 一种车牌的多尺度定位融合方法及装置 |
CN110163815A (zh) * | 2019-04-22 | 2019-08-23 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
CN110163815B (zh) * | 2019-04-22 | 2022-06-24 | 桂林电子科技大学 | 基于多阶段变分自编码器的低照度还原方法 |
CN110097132A (zh) * | 2019-05-07 | 2019-08-06 | 电子科技大学 | 一种识别数字照片与拍摄相机的方法 |
CN112216640A (zh) * | 2020-10-19 | 2021-01-12 | 惠州高视科技有限公司 | 一种半导体芯片定位方法和装置 |
CN112216640B (zh) * | 2020-10-19 | 2021-08-06 | 高视科技(苏州)有限公司 | 一种半导体芯片定位方法和装置 |
CN113984192A (zh) * | 2021-10-27 | 2022-01-28 | 广东电网有限责任公司佛山供电局 | 一种基于声音信号的变压器工作状态监测方法及系统 |
CN113984192B (zh) * | 2021-10-27 | 2023-08-01 | 广东电网有限责任公司佛山供电局 | 一种基于声音信号的变压器工作状态监测方法及系统 |
CN113903180A (zh) * | 2021-11-17 | 2022-01-07 | 四川九通智路科技有限公司 | 一种高速公路检测车辆超速的方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115861135B (zh) | 一种应用于箱体全景探测的图像增强及识别方法 | |
CN106407959A (zh) | 基于小波变换和svm的低照度的复杂背景车牌定位方法 | |
JP6710135B2 (ja) | 細胞画像の自動分析方法及びシステム | |
CN110443128B (zh) | 一种基于surf特征点精确匹配的指静脉识别方法 | |
CN103048329B (zh) | 一种基于主动轮廓模型的路面裂缝检测方法 | |
CN107103317A (zh) | 基于图像融合和盲反卷积的模糊车牌图像识别算法 | |
CN109635733B (zh) | 基于视觉显著性和队列修正的停车场和车辆目标检测方法 | |
CN108765465A (zh) | 一种无监督sar图像变化检测方法 | |
US20240221201A1 (en) | Linewidth measurement mthod and apparatus, computing and processing device, computer program and computer readable medium | |
CN105279772A (zh) | 一种红外序列图像的可跟踪性判别方法 | |
CN108932518A (zh) | 一种基于视觉词袋模型的鞋印图像特征提取及检索方法 | |
CN106557740A (zh) | 一种遥感图像中油库目标的识别方法 | |
CN105894037A (zh) | 一种基于sift训练样本提取的遥感图像全监督分类方法 | |
CN109507193A (zh) | 一种基于局部对比度增强与二值模式的织物瑕疵检测方法 | |
CN104637060B (zh) | 一种基于邻域主成分分析-拉普拉斯的图像分割方法 | |
CN107784284B (zh) | 人脸识别方法及系统 | |
CN103942526A (zh) | 一种离散数据点集的线特征提取方法 | |
CN112990368B (zh) | 一种多边形结构引导的高光谱图像单样本识别方法及系统 | |
CN115147613A (zh) | 一种基于多向融合的红外小目标检测方法 | |
CN111275687B (zh) | 一种基于连通区域标记的细粒度图像拼接检测方法 | |
CN106295478A (zh) | 一种图像特征提取方法和装置 | |
CN109754001B (zh) | 图像分类方法、计算机存储介质及图像分类装置 | |
Bojarczak | Visual algorithms for automatic detection of squat flaws in railway rails | |
Tung et al. | Efficient uneven-lighting image binarization by support vector machines | |
CN112818779B (zh) | 一种基于特征优选与多种特征融合的人体行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170215 |
|
RJ01 | Rejection of invention patent application after publication |