CN106960208A - 一种仪表液晶数字自动切分和识别的方法及系统 - Google Patents

Abstract

本发明公开了一种仪表液晶数字自动切分和识别的方法及系统，所述仪表液晶数字自动切分和识别的系统包括图像预处理模块、小数点识别模块、字符切分模块、字符识别模块四个模块，所述仪表液晶数字自动切分和识别的方法包括图像预处理、小数点识别、字符切分、字符识别四个步骤。相对于现有技术，本发明具有如下优点：1、预处理部分对于亮度变化较大的图像具有很高的鲁棒性，能很好地将液晶数字与背景区分开来；2、对于图像中的小数点能够准确地识别出来；3、单个液晶数字识别率为98％，而整串完全识别正确的成功率达到97％。

Description

一种仪表液晶数字自动切分和识别的方法及系统

技术领域

本发明属于数字图像处理、光学字符识别(OCR)技术领域，涉及一种能对仪表图像中液晶数字进行切分并识别的方法，具体涉及一种煤气表液晶数字的切分和识别方法及系统。

背景技术

随着现代化城市建设的迅速发展，智能工厂和智能城市的建设已经呈现出必然的趋势，各类仪表如电表、水表、煤气表等大量地出现在人民的生活之中。然而，我国目前许多地方的水费、煤气费等的计量方式仍然主要依靠抄表人员的现场操作，进入小区抄收，再录入电脑中，这样不仅存在因人为因素造成的误差，还造成了人力、物力的浪费。随着计算机和电子通信技术的发展，针对不同场合的各种远程自动抄表系统不断涌现，替代繁琐的手工劳动，方便查表，还不干扰用户，具有良好的经济和社会效益。当前远程抄表系统多种多样，其中一种是通过在仪表前放置一个摄像头为仪表拍照，再通过OCR识别技术获取仪表上的数值。这种方式对于那些还在使用较老的非智能的仪表的工厂或小区是一种较为廉价有效的改造方式。相比之下，这种一次性的投入比长期的人力投入明显要划算得多；而如果为这些地方更换为新的智能表，那么需要的器械及拆装费用也明显高得多，且对生产生活有一定的影响。本发明就是主要面向上述仪表的远程自动抄表系统中的液晶数字切分与识别的问题。

仪表液晶数字的切分与识别主要使用的技术是光学字符识别(OCR)技术。通常现有的OCR软件一般由图像的输入和预处理、版面分析、字符切割、字符识别及后处理等几部分组成，其中：图像输入主要利用光学仪器如扫描仪、传真机等对目标进行扫描或者用数码相机拍照得到数字图像数据，图像生成时的光照条件、分辨率等因素会影响到后续的识别效果和正确率；预处理包括图像二值化、噪声去除、倾斜矫正等过程；版面分析是将文档的图片按段落分割，由于文档的多样性目前没有固定的最优切割模型；由于拍照条件的限制，经常造成字符粘连、断笔，再加上汉字本身的特点，文字识别软件需要复杂的字符切分功能，将一行字符切分成单个的字符；字符识别技术属于统计学习，早期的方法为模板匹配，后来则以特征提取为主；后处理包括版面恢复、根据特定语言上下文的联系纠正等。

将光学字符识别技术应用于仪表将面临新的挑战。文档文件的图像一般都能按段落或按行切割成单行文字的图像，而仪表图像液晶数字所处的环境则要复杂得多，表盘等部件以及显示屏上不重要的字符等内容都会对版面分析造成影响，因此不能方便地将目标字符串区域切割出来，需要针对不同的仪表设计合理的处理方法。另一个重要的问题是仪表在拍照时受光照影响较大，使得图像的亮度不均匀，经常会遇到局部区域过亮的问题，这对图像的分析及字符的识别都有较大的影响，而对文档扫描或拍照时则不会出现这类问题，因此在处理仪表图像时排除光照的影响是一个重要的工作。此外，对于多数液晶数字仪表来说，小数点的位置对识别结果是有重要意义的，提高小数点识别的准确率也应该是重要的内容。显然，光学字符识别技术应用于仪表时需要考虑许多新的问题，需要寻找更为合理方法。

曾仲杰等发表的基于字符切割拼接的字段式液晶数字识别(计算机工程与应用，2013，49(12)：110-112)如图1所示，主要包括预处理、字符切割和字符识别三个步骤，首先通过对原始图像进行预处理，实现液晶屏的定位、倾斜校正、目标增强以及二值化；然后根据字符串的垂直投影实现字符的分割；最后借助投影特征进行字符识别。该方法存在以下不足之处：

1、对于光照变化较大的图，该方法并不能得到较好的二值图。

2、缺少小数点的识别，而在很多高精度仪表中会出现小数点且小数点位置是不固定的，因此小数点的识别是不可或缺的。

3、字符识别使用的是较为简单的投影的峰值等特征进行判断，由于预处理方法及阈值设置，以及图像本身的扭曲歪斜等因素的影响，仍然会有部分字符识别错误，比如0与8这样形态接近的字符。

发明内容

本发明针对上述方法存在的问题，提供了一种仪表液晶数字自动切分和识别的方法及系统。

本发明的目的是通过以下技术方案实现的：

一种仪表液晶数字自动切分和识别的方法，包括图像预处理、小数点识别、字符切分、字符识别四个步骤，具体步骤如下：

一、图像预处理

(1)使用LoG算子对原始图像进行滤波处理；

(2)将滤波后的图像二值化，得到二值图；

(3)通过hough变换检测液晶屏的边缘并进行倾斜矫正；

(4)在检测出液晶屏边缘的基础上，结合字符的高度与液晶屏的高度成固定比例这一约束条件，截取目标字符串大致区域；

(5)对上述截取区域的二值图进行膨胀、腐蚀，然后计算连通分量，去掉较小的和过大的分量，得到连通图，最后对连通图做水平、垂直投影，得到字符区域的准确位置。

二、小数点识别

(1)用一个较大的阈值对LoG算子滤波后的图像二值化，得到一个仅包含小数点及少数噪声的二值图；

(2)分别计算每个连通分量外接矩形的几何中心在图中的相对坐标(x，y)；

(3)与图像预处理过程中得到的连通图作对比，计算每个连通分量的中心坐标在该图中对应的坐标(x′，y′)，如果(x′，y′)位于数字上，则认为是数字的一部分而不是小数点，将该坐标去掉；筛选所有的坐标(x′，y′)，如果还剩下一个，则认为该坐标就是小数点在原图中的相对位置，否则原图不存在小数点。

三、字符切分

(1)采用垂直投影对图像过切分，将图像分割为若干个单个数字的图像；

(2)对于相邻的两张较窄的图像，增加一个合并两张图像的备选切分方案，得到一个识别路径图。

四、字符识别

(1)使用已有的单字识别库，对识别路径图中每段弧线对应的所有可能单字图像进行识别；

(2)对于存在多条路径的识别路径图，计算不同路径下识别的平均距离；

(3)输出最优路径上的单字识别结果作为字符串的识别结果。

一种实现上述方法的仪表液晶数字自动切分和识别的系统，包括图像预处理模块、小数点识别模块、字符切分模块、字符识别模块，其中：

所述预处理模块使用LoG算子对原始图像进行处理，然后通过hough变换检测液晶屏的边缘并进行倾斜矫正和目标定位。

所述小数点识别模块对预处理模块中LoG算子滤波后的图像进行二值化，得到仅包含小数点及少数噪声的二值图，再通过对位置合理性检验得到小数点的位置。

所述字符切分模块采用垂直投影及过切分将图像分割为若干个单个数字的图像，对于宽度明显较窄的图像，增加一个将相邻两个较窄的图像合并的备选切分方案。

所述字符识别模块使用已有的单字识别库对字符切分模块得到的所有可能的单字图像进行识别，对于存在较窄图像合并的部分进行相似距离对比，得到最佳的切分方案。

相对于现有技术，本发明具有如下优点：

1、预处理部分对于亮度变化较大的图像具有很高的鲁棒性，能很好地将液晶数字与背景区分开来；

2、对于图像中的小数点能够准确地识别出来；

3、单个液晶数字识别率为98％，而整串完全识别正确的成功率达到97％。

附图说明

图1为基于字符切割拼接的字段式液晶数字识别算法框架；

图2为hough变换算法示意图，(a)用参数θ和r表示坐标(x，y)所在直线，(b)统计每对参数θ和r对应直线上的前景点的个数；

图3为膨胀、腐蚀使用的两种结构元素，(a)正方形的结构元素，(b)十字型的结构元素；

图4为连通分量的提取，(a)含有2个连通分量的图像A，(b)A的连通分量标注图像，(c)3×3结构元素S；

图5为识别路径示意图；

图6为仪表图像(以煤气表为例)；

图7为识别仪表图像中液晶数字的过程的流程图；

图8为预处理部分处理图像时使用的拉普拉斯高斯算子；

图9为使用LoG算子对原图像滤波后得到的图像；

图10为对图9膨胀、腐蚀、去掉较大及较小的连通分量后得到的连通图；

图11为经预处理后截取到的目标液晶数字所在区域的图像；

图12为字符切分的示意图；

图13为增加了将字符切分中相邻较窄的块组合起来的切分方案后形成的多种字符切分方案的示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

具体实施方式一：本实施方式提供了一种仪表液晶数字自动切分和识别的系统，所述系统由图像预处理、小数点识别、字符切分、字符识别四个模块组成，其中：

所述预处理模块主要使用拉普拉斯高斯算子(LoG)处理，对亮度差异较大的图片能达到有效的降噪处理的效果，获得较好的二值图；然后通过hough变换检测液晶屏的边缘并进行倾斜矫正和目标定位。

所述小数点识别模块对预处理模块中LoG算子滤波后的图像使用一个较大的阈值进行二值化，得到仅包含小数点及少数噪声的二值图，再通过对位置合理性检验等方式得到小数点的位置。

所述字符切分模块采用垂直投影及过切分将图像分割为若干个单个数字的图像，对于宽度明显较窄的图像，增加一个将相邻两个较窄的图像合并的备选切分方案。

所述字符识别模块使用已有的单字识别库对字符切分模块得到的所有可能的单字图像进行识别，对于存在较窄图像合并的部分进行相似距离对比，得到最佳的切分方案。

具体实施方式二：本实施方式提供了一种仪表液晶数字自动切分和识别的方法，所述方法包括以下四个步骤：图像预处理、小数点识别、字符切分、字符识别。每个步骤的详细过程如下：

1、图像预处理

(1)使用拉普拉斯高斯算子(LoG)对图像滤波。

LoG函数的定义如下：

G_σ(x，y)是二维的高斯函数(也叫做正态分布函数)，定义如下：

其中，x，y是二维直角坐标系中函数的变量，参数σ是高斯函数的标准差，且σ＞0，其决定了高斯函数的作用范围(或正态分布的集中程度)。σ越大，则高斯函数及LoG函数的作用范围越大。

当2σ＝图中小数点直径或液晶数字笔画宽度，卷积核大小＝(6σ，6σ)时效果最好。

(2)将滤波后的图像二值化得到二值图。阈值通过大津算法(OTSU)计算。大津法又叫做最大类间方差法，类间方差计算公式：

w0(t)*(u0(t)-u)²+w1(t)*(u1(t)-u)²。

其中，t为分类的阈值，w0为背景比例，u0为背景均值，w1为前景比例，u1为前景均值，u为整幅图像的均值。对灰度图像灰度级是L、灰度范围为[0，L-1]的图像，计算当以每个灰度级为阈值时上式的结果，使上式取得最大值的阈值t就是最佳的阈值。

(3)通过hough变换检测液晶屏边缘。通过限定所检测直线的最小长度及倾斜角范围，可以剔除由于噪声干扰造成的误检。

hough变换检测直线的算法思想：

二维直角坐标系中经过点(x，y)的直线簇满足下面的约束方程：

x*cosθ+y*sinθ＝r。

其中，r为原点到直线的几何垂直距离，角度θ为垂线r与X轴之间的夹角。如图2(a)所示。

将θ角在-90度到90度的范围里划分为若干个区间，计算图像中所有前景像素点(x，y)的每个θ角对应直线的r的值，统计每条直线(θ，r)上的前景点的个数，如图2(b)所示。当个数高于某个阈值t时就认为图像中有一条明显的直线(θ，r)。

(4)根据检测出的直线的倾斜角度θ进行倾斜校正。当液晶屏的倾斜角度太大时，字符串经过倾斜校正后会发生严重变形。因此为了保证识别准确率，该算法对倾斜角度作了限制，当倾斜角度超过限定时就拒绝识别，例如限定水平方向直线倾斜角区间为(-15，+15)，垂直方向直线倾斜角区间为[-90，-75)∪(75，90)。

(5)在定位出液晶屏边缘的基础上，结合字符的高度与液晶屏的高度成固定比例这一约束条件，截取目标字符串大致区域。

(6)对上述截取区域的二值图进行膨胀、腐蚀。膨胀的目的是将液晶数字的笔画连接起来，然后通过腐蚀使笔画恢复为原来的粗细，膨胀应使用正方形的结构元素，腐蚀应使用十字型结构元素，如图3所示。然后计算连通分量，去掉较小的和过大的分量，得到连通图。其中最小连通分量的阈值应大于小数点的大小，最大连通分量的阈值应至少大于数字“8”的大小。最后对连通图做水平、垂直投影，得到字符区域的准确位置。

这里简要介绍一种基于形态学膨胀操作的提取连通分量的方法。

如图4(a)所示的含有多个连通分量的图像A，从仅为连通分量A1内部某个点的图像B开始，不断采用图4(c)所示的结构元素S进行膨胀，由于A1与其他连通分量至少有一条1个像素宽的空隙(图4(a)中的虚线)，这样能保证每次膨胀不会产生位于其他连通区域内的点，这样就只需用每次膨胀后的结果与原图A相交，就能把膨胀限制在A1内部，直到最终B充满整个连通分量A1，提取连通分量A1完毕。算法概要如下：

初始化：B₀＝连通分量A1中的某个点

循环：

Until B_i+1＝B_i

2、小数点识别

小数点识别使用的是预处理过程中用LoG算子滤波后的图像。

(1)用一个较大的阈值对图像二值化，得到一个仅包含小数点及少数噪声的二值图。可以直接选取图像像素最大值的0.8倍作阈值，或者使用以大津法阈值与图像像素最大值的平均值作阈值。

(2)计算二值图的连通分量，其中某个连通分量就有可能对应的是小数点，分别计算每个连通分量外接矩形的几何中心在图中的相对坐标(x，y)。

(3)与预处理过程中得到的连通图作对比，计算每个连通分量的中心坐标在该图中对应的坐标(x′，y′)，如果(x′，y′)位于数字上，则认为是数字的一部分而不是小数点，将该坐标去掉。筛选所有的坐标(x′，y′)，如果还剩下一个，则认为该坐标就是小数点在原图中的相对位置，否则原图不存在小数点。

3、字符切分

(1)采用垂直投影对图像过切分，将图像分割为若干个单个数字的图像，如图12所示。切分的阈值应小于液晶数字笔画的宽度。

(2)切分后宽度明显较窄的图像可能不是一个完整的字符，故对于相邻的两张较窄的图像，应增加一个合并两张图像的切分方案，得到一个识别路径图，如图13所示。

由于将完整字符切割成两块后每张图像的宽度约为0.5倍字距(字距是指相邻两个字符中心点之间的距离)，故判断其是否完整的阈值可以设为0.75倍字距。而字距又明显是与字符高度成固定比例的，故在实际操作中，阈值＝字符高度×字距与字符高度的比例×0.75。此处注意还需找到小数点所在的切分块，应将其视为完整的字符块。

4、字符识别

(1)使用已有的单字识别库，对识别路径图中每段弧线对应的所有可能单字图像进行识别。所使用的识别方法为，先对图像提取100维梯度特征，然后采用矢量量化方法进行分类。

(2)对于存在多条路径的识别路径图，计算不同路径下识别的平均距离。

图5所示的路径图一共有3条识别路径，d1，d2，...，d6为每段弧线对应切分图像的识别距离。3条路径分别为{0，1，2，3，4}，{0，1，3，4}，{0，2，3，4}。计算每条路径的平均识别距离(d1+d2+d3+d4)/4，(d1+d6+d4)/3，(d5+d3+d4)/3。这三个值中最小的值所对应的路径就是最佳的切分方案。

(3)输出最优路径上的单字识别结果作为字符串的识别结果。

具体实施方式三：本实施方式以煤气表图像为例，对本发明的仪表液晶数字自动切分和识别方法进行详细说明。

本实施方式中处理的煤气表图像如图6所示。识别程序的开发平台为VS2013，识别程序用C++编写。

采集的煤气表图像需要具备以下特征：

1、图像分辨率为50dpi以上的彩色图像；

2、图像存储格式为24位的jpg格式；

3、图像应包含完整的液晶显示屏区域，倾斜小于±10°。

如果输入的煤气表影像没有达到上述标准可能会降低识别率。

在具体的实施过程中，按照图7所示的流程对煤气表图像进行处理，具体过程如下：

1、图像预处理

拉普拉斯高斯算子(LoG)的大小根据液晶数字的高度确定。图6中煤气表图像液晶数字高度为30，笔画宽度约为3，使用的LoG算子大小为9×9，σ＝1.5，如图8所示。

(1)使用LoG算子对煤气表图像进行滤波处理，滤波后的处理效果如图9所示。

(2)通过对滤波后的图像二值化，得到二值图。

(3)通过hough变换检测液晶屏边缘，并进行倾斜矫正，根据检测到的液晶屏区域，按比例得到液晶数字的大致位置。

(4)通过膨胀、腐蚀，计算连通分量，去掉较小的和过大的，得到连通图如图10所示。

(5)在第(3)步得到的大致位置中通过水平、垂直投影，得到字符区域的准确位置，如图11所示。

2、小数点识别

(1)使用预处理模块用LoG算子滤波后的图像(图9)，用一个较大的阈值(0.8*图像像素点最大灰度值)进行二值化，得到一个仅包含小数点及少数噪点的二值图。

(2)通过计算连通域中心得到小数点可能出现的几个坐标。

(3)通过与图10中的连通图作对比(由于小数点较小，在去除较小的连通分量时小数点会被去掉，因此图10不会出现小数点)，如果点出现在数字上，则认为是数字的一部分而不是小数点并去掉该点坐标。对所有备选坐标筛选，如果剩下一个，则认为小数点出现在该坐标位置，否则不存在小数点。

3、字符切分

(1)采用垂直投影对图像过切分，将图像分割为若干个单个数字的图像，如图12所示。

(2)对于宽度明显较窄的图像，增加一个将相邻两个较窄的图像合并的备选切分方案，得到一个识别路径图，如图13所示，图中每个节点代表一个切分点，每条弧线代表一个单字图像，弧的两端分别代表该切分的起始和结束位置，每条路径代表一种切分方案。例如：图10的第一个“4”被切割成了两块，则有0-＞1-＞2和0-＞2两种切分方案，而5-＞6虽然也很窄但在第(2)步已经识别出为小数点，故不算在内。

4、字符识别

(1)使用已有的单字识别库，对识别路径图中指定的所有可能单字图像(即图10每条弧线对应的图像)进行识别；

(2)对于存在多条路径的识别路径图，计算不同路径下识别的平均距离，得到最佳的切分路径；

(3)输出最优路径上的单字识别结果作为字符串的识别结果。

上述方法在427张煤气表图像上进行实验，其中包括129张3型表，298张Z型表。识别结果为：Z型表完全正确，3型表仅3个错误，其中一个为把7识别成1，一个为投影时错误的丢掉了最后两位数字，还有一个为把5识别成了9。可见本发明对于符合条件的煤气表图像具有较高的识别率。

Claims (10)

1.一种仪表液晶数字自动切分和识别的方法，其特征在于所述方法的具体步骤如下：

一、图像预处理

(1)使用LoG算子对原始图像进行滤波处理；

(2)将滤波后的图像二值化，得到二值图；

(3)通过hough变换检测液晶屏的边缘并进行倾斜矫正；

(4)在检测出液晶屏边缘的基础上，结合字符的高度与液晶屏的高度成固定比例这一约束条件，截取目标字符串大致区域；

(5)对上述截取区域的二值图进行膨胀、腐蚀，然后计算连通分量，去掉较小的和过大的分量，得到连通图，最后对连通图做水平、垂直投影，得到字符区域的准确位置；

二、小数点识别

(1)用一个较大的阈值对LoG算子滤波后的图像二值化，得到一个仅包含小数点及少数噪声的二值图；

(2)分别计算每个连通分量外接矩形的几何中心在图中的相对坐标(x，y)；

(3)与图像预处理过程中得到的连通图作对比，计算每个连通分量的中心坐标在该图中对应的坐标(x′，y′)，如果(x′，y′)位于数字上，则认为是数字的一部分而不是小数点，将该坐标去掉；筛选所有的坐标(x′，y′)，如果还剩下一个，则认为该坐标就是小数点在原图中的相对位置，否则原图不存在小数点；

三、字符切分

(1)采用垂直投影对图像过切分，将图像分割为若干个单个数字的图像；

(2)对于相邻的两张较窄的图像，增加一个合并两张图像的备选切分方案，得到一个识别路径图；

四、字符识别

(1)使用已有的单字识别库，对识别路径图中每段弧线对应的所有可能单字图像进行识别；

(2)对于存在多条路径的识别路径图，计算不同路径下识别的平均距离；

(3)输出最优路径上的单字识别结果作为字符串的识别结果。

2.根据权利要求1所述的仪表液晶数字自动切分和识别的方法，其特征在于所述步骤一(1)中，滤波处理使用的LoG算子大小＝6σ×6σ，且2σ＝图中小数点直径或液晶数字笔画宽度。

3.根据权利要求1所述的仪表液晶数字自动切分和识别的方法，其特征在于所述步骤一(3)中，hough变换检测液晶屏的边缘的方法如下：

二维直角坐标系中经过点(x，y)的直线簇满足下面的约束方程：

x*cosθ+y*sinθ＝r，

其中，r为原点到直线的几何垂直距离，角度θ为垂线r与X轴之间的夹角；

将θ角在-90度到90度的范围里划分为若干个区间，计算图像中所有前景像素点(x，y)的每个θ角对应直线的r的值，统计每条直线(θ，r)上的前景点的个数，当个数高于某个阈值t时就认为图像中有一条明显的直线(θ，r)。

4.根据权利要求3所述的仪表液晶数字自动切分和识别的方法，其特征在于所述阈值通过大津算法计算。

5.根据权利要求1所述的仪表液晶数字自动切分和识别的方法，其特征在于所述步骤一(5)中，膨胀处理过程中使用正方形的结构元素，腐蚀处理过程中使用十字型结构元素；最小连通分量的阈值大于小数点的大小，最大连通分量的阈值至少大于数字“8”的大小。

6.根据权利要求1所述的仪表液晶数字自动切分和识别的方法，其特征在于所述步骤二(1)中，选取图像像素最大值的0.8倍作阈值，或者使用以大津法阈值与图像像素最大值的平均值作阈值。

7.根据权利要求1所述的仪表液晶数字自动切分和识别的方法，其特征在于所述步骤三(1)中，切分的阈值小于液晶数字笔画的宽度；步骤三(2)中，判断图像是否过窄的阈值＝字符高度×字距与字符高度的比例×0.75。

8.根据权利要求1所述的仪表液晶数字自动切分和识别的方法，其特征在于所述步骤四(1)中，单字识别方法为：先对图像提取100维梯度特征，然后采用矢量量化方法进行分类。

9.根据权利要求1所述的仪表液晶数字自动切分和识别的方法，其特征在于所述步骤四(2)中，字符串整体识别使用了识别路径图来获得最佳的切分方法。

10.一种实现权利要求1-9任一权利要求所述仪表液晶数字自动切分和识别的方法的系统，其特征在于所述系统由图像预处理模块、小数点识别模块、字符切分模块、字符识别模块构成。