CN114299275A - 一种基于霍夫变换的车牌倾斜校正方法 - Google Patents

Abstract

本发明属于智能交通领域，公开了基于霍夫变换的车牌倾斜校正方法，将待检测图片通过级联分类器检测出车牌位置；使用边框回归方法将得到的车牌位置进行调整；将车牌图像进行颜色过滤；将车牌图像使用水平膨胀算法；使用Canny算子对车牌图像进行单次标识；对车牌图像使用霍夫变换检测间断点边界，确认旋转角；使用旋转算法将车牌图像进行旋转，并按上下边框倾斜角进行拉伸；对倾斜校正完成后的车牌进行字符分割和识别。本发明得到的车牌坐标更接近真实车牌；本发明对图像使用水平膨胀操作，使其字符宽度减小，减少了霍夫变换后干扰直线段的数量和霍夫变换的耗时。本发明针对车牌图像畸变进行还原，提升车牌识别的准确率。

Description

一种基于霍夫变换的车牌倾斜校正方法

技术领域

本发明属于智能交通技术领域，尤其涉及一种基于霍夫变换的车牌倾斜校正方法。

背景技术

倾斜车牌校正属于图像校正处理的一种，是为了将图像中倾斜的车牌校正后，更有利于机器进行车牌识别。车牌倾斜校正广泛应用于智能交通领域。

倾斜车牌校正技术的关键在于如何高效和准确地找到理论倾斜角，通常的方法是寻找最优倾斜直线，而在车牌识别的实际场景中，有可能会出现侧角度的车牌识别需求，除了车牌倾斜以外还会造成伸缩和畸变，这对传统的倾斜校正算法造成了一定的难度。现有的校正算法大都针对旋转倾斜，并不具备侧角度成像恢复的能力，不能满足实际使用需求。。

发明内容

为克服现有技术对于侧角度成像造成的车牌倾斜校正效率低，最终识别准确率低的问题，本发明提供了一种基于霍夫变换的车牌倾斜校正方法，包括以下步骤：

将待检测图片通过级联分类器检测出车牌位置；

使用边框回归方法将得到的车牌位置进行调整，从调整后的车牌位置获得第一车牌图像；

将所述第一车牌图像从RGB颜色空间转换到HSV颜色空间，进行颜色过滤，得到第二车牌图像；

将所述第二车牌图像使用水平膨胀算法去除字符信息对差分运算造成的影响，得到第三车牌图像；

使用Canny算子对所述第三车牌图像进行单次标识，且排除存在噪声的集合；

对所述第三车牌图像使用霍夫变换检测间断点边界，用直线拟合图片中的车牌边框以确认旋转角；

使用旋转算法将所述第一车牌图像进行旋转，并按上下边框倾斜角进行拉伸；

对倾斜校正完成后的车牌进行字符分割和识别。

进一步的，所述将待检测图片通过级联分类器检测出车牌位置包括：

将待检测图片转化为灰度图以加快检测速度，通过Opencv的级联分类器，使用训练好的XML分类器文件检测出车牌位置。

进一步的，所述边框回归方法步骤如下：

平移变换：Δx＝P_wd_x(P),Δy＝P_hd_y(P)

尺度缩放：S_w＝exp(d_w(P)),S_h＝exp(d_h(P))

其中Δx，Δy为平移量，d_x(P)，d_y(P)为输入窗口P的坐标，d_w(P)和d_h(P)为输入窗口P的宽和高，P_w和P_h为比例系数；

计算损失函数：根据上述平移变换和尺度缩放得到预测值，要使预测值与真实值的差距最小，得到损失函数为：

函数优化目标为：

其中φ₅(Pi)是输入窗口P的特征向量，w_*是要学习的参数，

代表真实框的平移量和尺度缩放，μ为超参数；

利用梯度下降法或者最小二乘法得到w_*。

进一步的，所述HSV颜色过滤步骤如下：

将图像从RGB颜色空间转换为HSV颜色空间：

V＝max(R,G,B)

If H<0 then H＝H+360

其中，R，G，B为RGB颜色空间中的色彩分量，V，S，H为HSV颜色空间中的分量；

根据相机曝光参数确定需要保留的HSV颜色阈值，去除S分量和V分量过低的区域，再筛选出H分量在阈值内的区域。

进一步的，所述Canny边缘检测步骤如下：

S051高斯滤波：根据图像中某一个像素点(x，y)与其领域内的像素点的灰度值按二维高斯公式生成的参数规则进行加权平均，去除叠加在图像中的高频噪声；所述二维高斯公式为：

其中σ为常数；

S052计算梯度图像与角度图像：将使用高斯滤波器进行梯度计算得到的滤波器作为梯度检测算子计算梯度图像，距离中心点越近的像素点权重越大，角度图像为非极大值抑制的方向提供指导，对于二元函数z＝f(x,y),在点(x，y)的梯度计算公式如下：

S053对梯度图像进行非极大值抑制查找像素点的局部最大值，排除边缘粗宽、弱边缘干扰的问题；

S054使用双阈值进行边缘连接，将小于抵阈值的点认为是假边缘置0，将大于高阈值的点认为是强边缘置1，进一步检查介于低阈值和高阈值中间的像素点；

将高阈值图像中把边缘链接成轮廓，完成边缘检测。

进一步的，所述直线检测步骤如下：

S061空间映射：将二值化图像中的每一个像素点映射到霍夫空间中的曲线，映射公式如下：

x cosθ+y sinθ＝ρ

其中θ为垂直线与x轴的夹角，ρ为极径的距离；

S062取局部极大值，设定阈值，过滤干扰直线；

S063绘制直线：在步骤S062得到的直线段上任取两点(x₁,y₁)和(x₂,y₂)，求出直线线段的角度angle并转换到(-45°,45°]之间，计算如下：

使用聚类算法计算出最优角度集合，获得车牌上下边框直线段的平均倾斜角。

进一步的，所述字符分割方法包括：

调用轮廓提取函数获取字符轮廓；

寻找外接矩形以解决中文字符断裂问题；

调用opencv接口加载基于GRU的序列模型进行字符识别。

本发明的有益效果如下：

本发明使用边框回归算法对车牌框进行二次回归拟合，使得到的车牌坐标更接近真实车牌；

本发明对需处理的二值化图像使用水平膨胀操作，使其字符宽度减小，减少了霍夫变换后干扰直线段的数量和霍夫变换的耗时。

本发明提出的上下双倾斜角校正可以针对侧角度成像下产生的车牌图像畸变进行还原，更有利于提升车牌识别的准确率。

附图说明

图1本发明基于霍夫变换的倾斜车牌校正流程图；

图2本发明中边框回归流程图；

图3本发明中Canny边缘检测流程图；

图4本发明中直线检测流程图。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

S01车牌定位：将待检测图片转化为灰度图以加快检测速度，通过opencv的级联分类器(CascadeClassifier)，使用训练好的XML分类器文件检测出车牌位置；

S02边框回归：为了获得更接近真实车牌坐标的回归窗口，本发明中使用边框回归对步骤1中得到的车牌位置使用边框回归算法进行调整。该算法的作用是寻找一个映射函数使得原始坐标点位经过变换后得到的回归点位与真实坐标点位更加接近。图2为边框回归流程图，具体步骤如下：

S021平移变换：Δx＝P_wd_x(P),Δy＝P_hd_y(P)

S022尺度缩放：S_w＝exp(d_w(P)),S_h＝exp(d_h(P))

其中Δx，Δy为平移量，d_x(P)，d_y(P)为输入窗口P的坐标，d_w(P)和d_h(P)为输入窗口P的宽和高，P_w和P_h为比例系数；

S023计算损失函数：根据上述平移变换和尺度缩放得到预测值，要使预测值与真实值的差距最小，得到损失函数为：

函数优化目标为：

其中φ₅(Pi)是输入窗口P的特征向量，w_*是要学习的参数，

代表真实框的平移量和尺度缩放，μ为超参数；

利用梯度下降法或者最小二乘法就可以得到w_*。

S03 HSV颜色过滤：将步骤S02中所得图像从RGB颜色空间转换到HSV颜色空间。HSV是面向用户的颜色模型，能够更好的完成颜色过滤操作。具体操作步骤如下：

S031颜色空间转换：根据公式3、公式4、公式5、公式6将图像从RGB颜色空间转换为HSV颜色空间。其中，R，G，B为RGB颜色空间中的色彩分量，V，S，H为HSV颜色空间中的分量。

V＝max(R,G,B) (3)

If H<0 then H＝H+360 (6)

S032：根据相机曝光参数确定需要保留的HSV颜色阈值，去除S分量和V分量过低的区域，再筛选出H分量在阈值内的区域。

S04水平膨胀：本发明中在进行霍夫变换前使用水平膨胀算法，尽可能去除字符信息对差分运算造成的影响，同时降低霍夫变换的运算量。

S05 Canny边缘检测：使用Canny算子对二值化图像进行单次标识，且同时排除存在噪声的集合。实施流程如图3，具体实施步骤如下：

S051高斯滤波：根据图像中某一个像素点与其领域内的像素点的灰度值按高斯公司生成的参数规则进行加权平均，去除叠加在图像中的高频噪声。

其中，二维高斯公式为：

其中σ为常数。

使用的高斯滤波器为

其中滤波器的值对应像素点的权重。

S052计算梯度图像与角度图像：将使用高斯滤波器进行梯度计算得到的滤波器作为梯度检测算子计算梯度图像，距离中心点越近的像素点权重越大。角度图像为非极大值抑制的方向提供指导，计算公式如公式8：

S053对梯度图像进行非极大值抑制：使用非极大值抑制查找像素点的局部最大值，排除边缘粗宽、弱边缘干扰的问题。

S054使用双阈值进行边缘连接：使用双阈值排除伪边缘干扰，将小于抵阈值的点认为是假边缘置0，将大于高阈值的点认为是强边缘置1，进一步检查介于低阈值和高阈值中间的像素点。

根据高阈值图像中把边缘链接成轮廓，当到达轮廓的端点时，该算法会在断点的8邻域点中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像闭合，完成边缘检测。

S06直线检测：对于步骤4中得到的图片使用霍夫变换检测间断点边界，用直线拟合图片中的车牌边框以确认旋转角。实施流程如图4，各个步骤的具体描述如下：

S061空间映射：将二值化图像中的每一个像素点映射到霍夫空间中的曲线。在笛卡尔坐标平面中的一个坐标点转换到极坐标系中，对应霍夫空间中的一条曲线。映射公式如公式9

x cosθ+y sinθ＝ρ (9)

其中θ为垂直线与x轴的夹角，ρ为极径的距离。

S062取局部极大值：根据局部最大值设定阈值，过滤干扰直线。

S063绘制直线：在步骤S062得到的直线段上任取两点根据公式10求出直线线段的角度angle并转换到(-45°,45°]之间。

使用聚类算法计算出最优角度集合，获得车牌上下边框直线段的平均倾斜角。

S07车牌旋转校正：使用旋转算法将上述步骤2中得到的原始车牌图像进行旋转，并按上下边框倾斜角进行拉伸。

S08车牌识别：对倾斜校正完成后的车牌进行字符分割和识别。其中字符分割方法是：调用轮廓提取函数获取字符轮廓；然后寻找外接矩形以解决中文字符断裂问题。然后调用opencv接口加载基于GRU的序列模型进行字符识别。

本发明的有益效果如下：

本发明使用边框回归算法对车牌框进行二次回归拟合，使得到的车牌坐标更接近真实车牌；

本发明对需处理的二值化图像使用水平膨胀操作，使其字符宽度减小，减少了霍夫变换后干扰直线段的数量和霍夫变换的耗时。

本发明提出的上下双倾斜角校正可以针对侧角度成像下产生的车牌图像畸变进行还原，更有利于提升车牌识别的准确率。

本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于霍夫变换的车牌倾斜校正方法，其特征在于，包括以下步骤：

将待检测图片通过级联分类器检测出车牌位置；

使用边框回归方法将得到的车牌位置进行调整，从调整后的车牌位置获得第一车牌图像；

将所述第一车牌图像从RGB颜色空间转换到HSV颜色空间，进行颜色过滤，得到第二车牌图像；

将所述第二车牌图像使用水平膨胀算法去除字符信息对差分运算造成的影响，得到第三车牌图像；

使用Canny算子对所述第三车牌图像进行单次标识，且排除存在噪声的集合；

对所述第三车牌图像使用霍夫变换检测间断点边界，用直线拟合图片中的车牌边框以确认旋转角；

使用旋转算法将所述第一车牌图像进行旋转，并按上下边框倾斜角进行拉伸；

对倾斜校正完成后的车牌进行字符分割和识别。

2.根据权利要求1所述的基于霍夫变换的车牌倾斜校正方法，其特征在于，所述将待检测图片通过级联分类器检测出车牌位置包括：

将待检测图片转化为灰度图以加快检测速度，通过Opencv的级联分类器，使用训练好的XML分类器文件检测出车牌位置。

3.根据权利要求1所述的基于霍夫变换的车牌倾斜校正方法，其特征在于，所述边框回归方法步骤如下：

平移变换：Δx＝P_wd_x(P)，Δy＝P_hd_y(P)

尺度缩放：S_w＝exp(d_w(P))，S_h＝exp(d_h(P))

其中Δx，Δy为平移量，d_x(P)，d_y(P)为输入窗口P的坐标，d_w(P)和d_h(P)为输入窗口P的宽和高，P_w和P_h为比例系数；

计算损失函数：根据上述平移变换和尺度缩放得到预测值，要使预测值与真实值的差距最小，得到损失函数为：

函数优化目标为：

其中φ₅(Pi)是输入窗口P的特征向量，w_*是要学习的参数，

代表真实框的平移量和尺度缩放，μ为超参数；

利用梯度下降法或者最小二乘法得到w_*。

4.根据权利要求1所述的基于霍夫变换的车牌倾斜校正方法，其特征在于，所述HSV颜色过滤步骤如下：

将图像从RGB颜色空间转换为HSV颜色空间：

V＝max(R，G，B)

If H＜0 then H＝H+360

其中，R，G，B为RGB颜色空间中的色彩分量，V，S，H为HSV颜色空间中的分量；

根据相机曝光参数确定需要保留的HSV颜色阈值，去除S分量和V分量过低的区域，再筛选出H分量在阈值内的区域。

5.根据权利要求1所述的基于霍夫变换的车牌倾斜校正方法，其特征在于，所述Canny边缘检测步骤如下：

S051高斯滤波：根据图像中某一个像素点(x，y)与其领域内的像素点的灰度值按二维高斯公式生成的参数规则进行加权平均，去除叠加在图像中的高频噪声；所述二维高斯公式为：

其中σ为常数；

S052计算梯度图像与角度图像：将使用高斯滤波器进行梯度计算得到的滤波器作为梯度检测算子计算梯度图像，距离中心点越近的像素点权重越大，角度图像为非极大值抑制的方向提供指导，对于二元函数z＝f(x，y)，在点(x，y)的梯度计算公式如下：

S053对梯度图像进行非极大值抑制查找像素点的局部最大值，排除边缘粗宽、弱边缘干扰的问题；

S054使用双阈值进行边缘连接，将小于抵阈值的点认为是假边缘置0，将大于高阈值的点认为是强边缘置1，进一步检查介于低阈值和高阈值中间的像素点；

将高阈值图像中把边缘链接成轮廓，完成边缘检测。

6.根据权利要求1所述的基于霍夫变换的车牌倾斜校正方法，其特征在于，所述直线检测步骤如下：

S061空间映射：将二值化图像中的每一个像素点映射到霍夫空间中的曲线，映射公式如下：

x cosθ+y sinθ＝ρ

其中θ为垂直线与x轴的夹角，ρ为极径的距离；

S062取局部极大值，设定阈值，过滤干扰直线；

S063绘制直线：在步骤S062得到的直线段上任取两点(x₁，y₁)和(x₂，y₂)，求出直线线段的角度angle并转换到(-45°，45°]之间，计算如下：

使用聚类算法计算出最优角度集合，获得车牌上下边框直线段的平均倾斜角。

7.根据权利要求1所述的基于霍夫变换的车牌倾斜校正方法，其特征在于，所述字符分割方法包括：

调用轮廓提取函数获取字符轮廓；

寻找外接矩形以解决中文字符断裂问题；

调用opencv接口加载基于GRU的序列模型进行字符识别。

Images