CN104751187B - 抄表图像自动识别方法 - Google Patents
抄表图像自动识别方法 Download PDFInfo
- Publication number
- CN104751187B CN104751187B CN201510174448.XA CN201510174448A CN104751187B CN 104751187 B CN104751187 B CN 104751187B CN 201510174448 A CN201510174448 A CN 201510174448A CN 104751187 B CN104751187 B CN 104751187B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- pointer
- region
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种图像识别方法,具体涉及一种抄表图像自动识别方法,为解决准确度低、容易出现数字识别错误的技术问题,本发明提供了一种使用简单、方便,能够准确识别表盘图像,准确度高的抄表图像自动识别方法,所采用的技术方案为按照以下步骤进行a、图像采集装置采集表盘的图像;b、粗略定位示数图像;c、精确定位示数区域图像;d、精确定位指针区域图像;e、图像预处理;f、数字分割;g、数字识别;h、指针角度识别;本发明广泛用于远程抄表系统中表盘数字的识别。
Description
技术领域
本发明涉及一种图像识别方法,具体涉及一种抄表图像自动识别方法。
背景技术
随着智能仪表的迅速发展,具有远程自动抄表功能的智能电子表正在逐步走进千家万户,但是受到信号采集、数字识别、价格、功耗等方面的限制,大量民用计量表都还不具有远程自动抄表功能,仍然采用人工读取的方式录入数据,人工读取的方式工作量达、繁琐、容易发生错误。
目前,市场上远程自动抄表功能的智能电子表,由于其在读取到表盘信息后,在后续的信息处理和识别上存在准确性较差,容易出现数字识别错误等问题,制约了远程自动抄表功能的智能电子表的推广和应用。
发明内容
为解决现有技术存在的准确度低、容易出现数字识别错误的技术问题,本发明提供了一种使用简单、方便,能够准确识别表盘图像,准确度高的抄表图像自动识别方法。
为实现上述目的,本发明所采用的技术方案为抄表图像自动识别方法,按照以下步骤进行
a、图像采集装置采集表盘的正面图像;
b、粗略定位示数图像,采用高斯图像金字塔算法、霍夫圆检测算法和HSV颜色空间算法,得到粗略的示数区域图像和指针区域图像;
c、精确定位示数区域图像,采用边缘检测、高斯变换和矩形检测算法,得到精确的示数区域图像;
d、精确定位指针区域图像,采用区域生长算法,得到精确的指针区域图像;
e、图像预处理,采用图像灰度化、二值化及膨胀腐蚀处理,使数字、指针部分分别与图像背景分离,并形成独立的、连通的区域;
f、数字分割,利用单个数字的连通性和水平方向投影的可分离性,将一幅包括多个数字的图像,分割成多个只包括一个独立数字的图像;
g、数字识别,采用数字训练集对数字分类器,进行区分识别0至9十个数字,得到数字值;
h、指针角度识别,利用角点检测算法确定针尖位置,利用霍夫圆检测算法确定指针圆心位置,并将指针像素向中心位置坐标投影,选取出投影像素个数最多的角度作为针尖指向角度,从而识别出指针的示数。
优选的,所述步骤c中采用二阶Laplace算子进行边缘检测,Laplace算子模板:
与现有技术相比,本发明具有以下技术效果:本发明使用简单方便,对采集的表盘图像进行预测裁剪,去除大部分的背景信息;再采用自适应二值化、膨胀腐蚀等预处理技术,过滤对目标有干扰的噪声点,提高有效像素的比例。然后在数字示数识别算法中,首先,基于数字部分的强连通特性,筛选出符合最小面积、高度、宽度的连通区域,实现对数字示数的定位;其次,利用已训练好的SVM分类器,对定位好的数字进行分类,以达到识别功能。在指针示数识别算法中,利用指针的角点特性和圆形刻度线的特殊几何属性,可以确认各指针的精确位置,之后,通过极坐标换算,即可得到与指针位置信息相关的指示参数,从而成功识别指针示数。采用这种方式能准确识别表盘示数和指针示数,保证数字识别的精度,提高系统的准确度。
附图说明
图1为本发明的流程框图。
图2为本发明步骤b中得到的粗略的示数区域图像和指针区域图像示意图。
图3为本发明步骤c中得到精确的示数区域图像示意图。
图4为本发明步骤e中得到的预处理图像示意图。
图5为本发明步骤f中得到的独立数字图像示意图。
图6为本发明步骤h中指针区域示意图。
图7为本发明步骤h中指针区域向中心投影示意图。
图8为本发明步骤h中得到的指针示数示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,抄表图像自动识别方法,按照以下步骤进行
a、图像采集装置采集表盘的正面图像;
b、粗略定位示数图像,采用高斯图像金字塔算法、霍夫圆检测算法和HSV颜色空间算法,得到粗略的示数区域图像和指针区域图像;
其中粗略定位系统为了保证将数字部分纳入矩形框,选取的待定区域通常大于数字显示框区域。目标粗略定位主要包括数字示数定位和指针示数定位两种算法,首先,需要对原图像进行高斯平滑、下采样,生成图像金字塔,以便于之后的形状检测和颜色检测。数字定位利用的是数字框在仪表中的特定位置信息以及其矩形特征:本系统首先采用霍夫圆检测方法确定仪表外框,由于数字框都处于仪表盘的中上部的确定位置,所以一旦获取仪表框的位置,即对数字框进行了粗略定位。指针定位利用的是指针的颜色信息,由于在大部分仪表的设计中指针均为红色,本系统在HSV颜色空间进行基于红色参数的筛选,得到候选的指针像素,再利用指针区域间的不相邻性去除一部分不符合条件的区域,获取指针的粗略位置。
图像金字塔---图像可以用多种不同的分辨率来表示,显然,降低图像的分辨率可以降低处理阵列的尺度,但要失去一些信息,使得信息回复工作比较困难,然而,降低分辨率可以降低对存储器容量和计算速度的要求。图像的层级表示可以使多分辨率表示,即首先在低分辨率下进行图像特性计算,然后再高分辨率上对图像某一选定区域再进行精细计算,能够有效地提高处理速度。
本系统采用的N*M阵列图像的金字塔,包含了原图像和原图像的3个递减图像,其他图像分别是N/2×M/2,N/4×M/4,N/8×M/8阵列。每一次下采样需要将原图像中的四个像素用一个像素代替,系统采用了5×5的高斯卷积核进行平滑,将以待平滑像素为中心的5×5矩阵与5×5的高斯核作矩阵的点乘运算,获得平滑后的像素值作为新图像的像素值。
系统使用的高斯核:
设原图像中以待平滑像素为中心的5×5矩阵阵列为M
平滑算法公式:
注:PN为新图像的像素值,是对原图像周边像素的加权平均
由于原始的高分辨率图像存储容量很大,处理起来时间代价过大,系统首先在下采样后的低分辨率图像上进行霍夫圆检测和HSV颜色空间的检测,获取到相应的坐标位置;再根据低分辨率图像与原图像的坐标变化,确定其在高分辨率图像中相应的坐标位置,作为粗略定位的依据。
霍夫圆检测---霍夫(Hough)变换是使用表决原理的参数估计技术,在Hough变换中,曲线的每一个点可以表决若干参数组合,赢得多数表决票的参数就是胜者。
圆的极坐标方程为:
注:(x,y)表示圆上点坐标,(a,b)表示圆心坐标,r表示圆的半径,θ表示边缘方向角
则圆的参数为:
在边缘点(x,y)处根据周边边缘点给定梯度角θ,计算cosθ和sinθ,从上述方程中消除半径,得到:
b=atanθ-xtanθ+y
对于每一个在(x,y)并具有边缘方向角θ的边缘点来说,其映射到(a,b)空间上是一条直线,如果圆上有n个点,那么这些点对应到参数空间(a,b)就是一个直线族,且所有直线都经过(a,b)上的一点,该点的坐标即为圆心的坐标。系统根据这一结论,将图像中的边缘点都映射到(a,b)空间内,并选取其中局部最密集的点作为图像中的圆中心。
HSV颜色感知模型---为了定量地描述颜色对人眼的视觉作用,可以选用亮度、色调、色饱和度这三个与视觉特征有关的量来计算描述。色调是由物体反射光线中占有优势的波长来决定的,不同的波长产生不同的颜色感觉;颜色的饱和度是指一个颜色的鲜明程度,饱和度越高,颜色越深;亮度是指刺激物的强度作用于感受器所发生的效应,其大小是由物体反射系数来决定的,反射系数越大,物体的亮度愈大,反之愈小。
在对颜色的识别时,HSV颜色空间的识别成功率要大于普通的RGB颜色空间内的识别成功率,因此,首先要将图像由RGB转化为HSV颜色空间。
红色在HSV空间下的表征参数范围:
注:H(Hue)表示色调,S(Saturation)表示饱和度,V(Value)表示亮度。
c、精确定位示数区域图像,采用边缘检测、高斯变换和矩形检测算法,得到精确的示数区域图像;
其中,精确定位目标区域,不仅可以提升数字分割算法的精确度,也可以降低后续算法中对非数字部分处理的时间消耗。根据仪表示数框特殊的矩形特性,系统利用边缘检测和矩形检测技术将示数框的位置识别出来,由此去除数字框外围的多余信息,实现对数字示数框的进一步定位,为数字分割算法提供良好的分割环境。
属于同一物体的像素在相邻位置存在着灰度相似性,处于物体边缘的像素灰度会发生突变,利用边缘的这一特性,可以将边缘和物体内部点分离出来,达到边缘检测的目的;矩形框由相互垂直的两组直线段组成,系统基于该特性,首先采用霍夫变换进行直线检测,再从候选线段中选取具有垂直关系的两组的线段,从而实现了矩形检测的效果。通过边界检测以及矩形检测算法,系统确定了数字示数框的精确位置,为数字分割算法去除了外围环境的干扰,从而提升了分割的成功率。
边缘检测---边缘检测是检测图像局部显著变化的基本运算,其基本思想是检测像素点与邻域像素值在灰度、颜色或其他度量值上的突变。
判别某一像素点是不是边缘,最直接的方法就是用表征图像强度的灰度值做差,根据差值的大小来确定该像素点是否为边缘点。系统采用二阶Laplace算子进行边缘检测
系统采用的Laplace算子模板:
霍夫变换---霍夫(Hough)变换是使用表决原理的参数估计技术,在Hough变换中,曲线的每一个点可以表决若干参数组合,赢得多数表决票的参数就是胜者。
直线的极坐标方程:
ρ=x cosθ+y sinθ
注:(x,y)表示圆上点的坐标,ρ表示圆半径,θ表示直线的斜率
上述方程中,点(x,y)被映射到(ρ,θ)空间上,如果直线上有n个点,那么这些点对应参数空间(ρ,θ),上的一个正弦曲线族,且所有正弦曲线都经过(ρ,θ)上的一点,该点的坐标就反映了(x,y)空间上直线的参数。
这里系统使用直线的极坐标形式,而不是其显示表示,是为了避免直线是垂直线时带来的问题。
矩形检测---矩形是由两组相互垂直的的平行直线构成的,霍夫直线检测是矩形检测的基础。系统在直线检测的结果中选取同时与两条以上直线垂直的直线作为候补集合,如果该集合中的某条直线还能与其他边缘直线平行,即确定这条直线为矩形边。
d、精确定位指针区域图像,采用区域生长算法,得到精确的指针区域图像;
粗略定位系统只提供了指针的大致位置,并没有获取属于指针的每一个像素的位置。系统使用区域生长法在此基础上完成精确定位目标,首先,将粗定位中指针区域的中心像素,即一定属于指针部分的像素,作为生长核,利用区域生长法向四周扩展,在生长核四周的八个像素点中选取灰度值与生长核相近的像素点作为新的生长核,以此类推,即可生长到整个指针的区域,每个生长核的位置都会被记录下来,由此就完成了对仪表图像中指针部分的精确定位。
区域生长法---是根据同一物体区域内像素的相似性质来聚集像素点的方法,从初始区域开始,将相邻的具有同样性质的像素或其他区域归并到当前的区域中从而逐步增长区域,直至没有可以归并的点为止。区域内像素的相似性度量包括平均灰度值、纹理、颜色等信息。
粗定位虽然无法给出指针包含像素的精确位置,但其能够大致确定目标的中心位置,系统利用中心位置的像素点作为种子点,根据平均灰度和颜色的特性来衡量是否将其八邻域内的点归并到当前区域,如果由新的像素点被纳入,就把它定位新的生长核,以此类推,直到没有任何邻域点可以被归入该区域,则生长结束。这样,系统就得到了指针部分包含的所有像素点,即完成了对指针的精确定位。
e、图像预处理,采用图像灰度化、二值化及膨胀腐蚀处理,使数字、指针部分分别与图像背景分离,并形成独立的、连通的区域;
预处理系统主要功能是,消除图像噪声,令前景目标与背景分离,并使数字、指针都形成各自的连通区域。输入图像中的彩色信息在后续处理中将不会被使用到,即属于噪声信息,故利用灰度化进行去噪;由于目标与背景在灰度值上有着较大差别,通过恰当选取用于分类的灰度阈值,达到将前景与背景分离的目的;此时二值图像通常会出现离散的噪声点,且分离后的前景目标(数字和指针)也会形成断裂,即不连通的现象,利用膨胀、腐蚀技术可以消除离散噪声,补充孔洞,形成连通区域。
第一步是灰度化操作,彩色图像通常包含红绿蓝(RGB)三种颜色分量,通过图像灰度化,得到只包含一种灰度值的图像。使用二值化操作的基础是,图像中属于同一物体的像素在灰度值上存在极大相似性,相反,不同物体在灰度值上通常表现为较大差异。因而,本系统通过自动阈值化技术,选取能够充分体现前景和背景差异的分割灰度值,使待识别的数字和指针大致分离出来。最后,利用先腐蚀后膨胀的图像开操作去除离散的噪声点,为了解决此时二值图像中目标部分不连续的问题,本系统采用先膨胀后腐蚀的图像闭操作方式,有效地解决了断裂和孔洞现象。
图像灰度化---如果图像中的颜色信息对应用不再重要,可以利用灰度化方式提高运算速度,滤除无效的颜色信息。灰度化可以将原图像中三通道的表现模式转化为单通道的形式,降低了存储和计算负担,简化了对图像的运算和分析。
系统采用的灰度化公式:
f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j),
注:f(i,j)表示新图像中像素的灰度值,R(Red)表示红色分量值,G(Green)表示绿色分量值,B(Blue)表示蓝色分量值
自动阈值化---使用一定的先验知识并在无人介入的情况下自动选取阈值的方法称为自动阈值化方法,自动阈值化算法通常使用灰度直方图来分析图像中灰度值的分布,并使用特定应用域知识来选取最合适的阈值。灰度直方图就是一种灰度特性,它表示了图像中所有灰度值(通常为0至128)出现的相对频率,由于直方图滤去了像素的位置信息,因而可以用来更直观地分析图像在统计上的特征。
系统采用基于模态的方法实现自动阈值化,由于物体和背景的灰度值相差较大,系统假设物体灰度值和背景灰度值都满足正态分布,即灰度直方图曲线是由两个正态分布函数和叠加而成,图像直方图将会出现两个分离的峰值。在实验中,两个最大值并不是分的很开,通过检测直方图曲线的波谷和波峰,并把阈值设置成波谷对应的像素值,就实现了自动分割图像的功能。
膨胀和腐蚀---膨胀和腐蚀是对图像形态的操作算子,膨胀将图像中的前景向外扩展,腐蚀将前景向内收缩。系统采用的十字型作为膨胀腐蚀的结构元,膨胀过程可以简述为,当结构元原点经过待膨胀的二值图像中所有1像素点时,对应于结构元所有1像素位置的像素均设为一,即将待膨胀的二值图像中所有1像素点的上、下、左、右位置均设定为1;相反,腐蚀过程可以简述为,如果待腐蚀的二值图像中1像素点的上、下、左、右位置存在一个像素值不为1,即设定该1像素点的像素值为0。
图像开、闭操作---用同一结构元腐蚀后再膨胀可去除比结构元小的所有区域像素点,而留下其余部分,这一顺序称为“开”运算,这一运算可以实现抑制细小噪声的功能。相反,膨胀后再腐蚀,称为“闭”运算,这种顺序会填满比结构元小的孔洞和凹状区,利用恰当可以补充图像的断裂和细孔,形成完整的目标图形,这中目标图像的完整行对后续数字分割系统中的连通区域搜索很有必要。
f、数字分割,利用单个数字的连通性和水平方向投影的可分离性,将一幅包括多个数字的图像,分割成多个只包括一个独立数字的图像;
数字识别系统的能够对包含单个数字的图像进行识别,本系统的任务就是将仪表图像中紧挨着的数字示数进行分离,使每一个数字示数都能够形成一张完整的、独立的图像,再将其输入识别系统完成最终的识别任务。
仪表盘中的数字之间都存在着一定程度的间隔,系统利用这一特性,对图像进行水平方向投影。在投影图中,对应于数字本身的投影像素个数会很多,对应于数字间隔部分的投影像素个数就很少,以这些像素个数较少的水平坐标进行分割,就得到了较好的分割效果。在一些特殊的图像中,数字本身区域和间隔区域在水平方向上投影的差异可能会因为图像偏角和噪声点的干扰而不够明显,导致分割失败。此时,系统再利用连通区域搜索的方法进行二次分割。由于单个数字的像素具有位置上的连续性,即连通性,二值图像中数字区域就形成了连通区域;系统在二值图像中对所有连通的区域进行标记,再根据数字连通区域在面积上,形状上的特性,将非数字区域剔除,便获取了每个数字的连通区域;最后,将这些区域从图像中裁剪出来,就可以作为数字识别系统的输入图像进行识别了。
水平方向投影---对于二值图像,对水平方向投影指的是对图像中每列数据阵中非零像素值个数的统计,可以表征出整个图像在水平向上的分布均匀程度。系统采用水平方向的投影图,主要是利用仪表数字字符间存在空隙这一特点,这些空隙位置在水平方向的投影中非零像素个数很少,在投影后曲线中属于波谷,而字符部分的非零像素点较多,在投影后的曲线中,就形成波峰。系统通过在水平方向投影曲线中选取极小值,获得初步的分割位置,然而由于图像中存在噪声的干扰,水平方向投影的分割方法在少数情况下会出现分割失败的情况,系统在分割失败时利用了连通区域搜索法来辅助进行分割。
连通区域搜索---二值图像中相邻的非零值像素可以形成连通区域,本系统采用八连通方式进行搜索,即以当前像素为中心的九宫格中的像素都定为相邻像素,其中的非零值像素就可以纳入连通区域。
系统采用序贯算法进行连通区域标记,即从图像的左上角开始,从左到右、从上到下依次进行搜索。当遇到非零像素时,先检查九宫格内该像素上方三个位置和左边的位置是否已经被标记过,如果被标记过,即说明该像素属于之前的连通区域,就把它也标记为该区域;如果以上四个位置并没有标记为区域,则说明该像素是新的连通区域,就给其设定一个新的区域标记。以此方式将图像中的像素逐次遍历,就得到了若干个连通区域,最后一步是连通区域的合并,系统合并检查的过程,就是要判别候选的连通区域之间是否存在位置上相邻,如果属于两个连通区域的两个像素在位置上相邻,即说明这两个区域属于同一个区域,就需要将其合并为同一区域。这样,系统就能够得到包含区域像素点坐标,区域面积的连通区域特性表,利用数字示数连通区域在面积上限制和坐标上的限制,系统就得到了仅包含单个数字的连通区域,即完成了数字分割的任务。
g、数字识别,采用数字训练集对数字分类器,进行区分识别0至9十个数字,得到数字值;
具体的是利用开源的Tesseract-OCR Engine(一种数字识别引擎)(下文简称Tesseract)完成数字识别的功能。光学字符识别(OCR,Optical Character Recognition)是指对文本资料进行扫描,然后对图像文件进行分析处理,获取文字及版面信息的过程。
Tesseract使用到的静态字符分类器,包含一种特别的设计思想,即分类器训练与分类识别过程的分离。大多数分类器,其训练样本和识别字符具有同样的处理方式,因而,只有当待识别字符与训练样本接近时,识别成功率才能够到保证。Tesseract使用了一种突破性的解决方式,在训练样本集时,系统选取字符的近似多边形段作为特征;而在识别过程中,系统选取属于字符边界的固定长度的短线段作为特征,并使用多对一方式对应于系统的标准特征。
分类任务的第一步主要工作是精选出可能与待定特征匹配的类别,未知字符每一个待识别特征通过查表可以得到一组可能与其匹配类别的向量,系统将这些匹配向量相加,选取出得分最高的几个类别作为最有可能未知字符匹配的名单。
分类任务第二步通过计算相似度确定最终类别,每一个标准字符都由一个逻辑合式代表,由此待识别特征与标准字符的“距离”可以被计算出来。最后,综合得到的具有最短距离的类别,就是与未知字符相似度最高的类别。
因为系统的这种分类设计能够识别受损字符,具有较强的鲁棒性,所以在选取分类器的训练样本时就不需要引入损伤字符。该分类器能够识别94个字符,其训练样本包含单个字符同样大小的8种字体,样本总量是60160个,远远小于其他OCR训练样本集。
h、指针角度识别,利用角点检测算法确定针尖位置,利用霍夫圆检测算法确定指针圆心位置,并求解连接这两点的的直线与图像水平轴的角度,得到指针相对于表盘水平轴的角度值,从而识别出指针的示数。
为了实现指针示数的识别目标,需要对针尖以及指针中心进行精确定位,再根据其连线的倾角换算得出最终的示数值。
针尖识别任务的关键是排除干扰点,由于针尖的尺度和图像中噪声的尺度相近,在提取针尖的过程中很可能会引入很多噪声点。系统在之前已经将指针精确定位,这一先验知识对后续的去噪工作很有帮助。首先,系统根据指针示数框的圆形特征,使用霍夫圆检测方法提取表盘上中的示数框,从而得到了圆心即指针中心位置的坐标。对于针尖位置的确定,系统先利用角点检测技术提取图像中的角点,由于针尖和图像噪声属于同尺度的角点,容易受噪声干扰,在角点检测失效时,系统利用中心投影法实现针尖位置的识别。在精确定位后的二值图像中,系统将整个指针区域分成若干个小扇形并统计其中前景像素的个数,因为包含针尖部分的扇形拥有最多的前景像素,系统根据统计结果的最大值就确定了针尖相对于中心的角度。由此,系统利用指针中心的坐标及针尖的相对位置,可以计算出指针指向的角度,从而达到识别指针示数的功能。
角点检测---角点是局部领域具有两个不同区域不同方向的边界,也可以定位两条边的交点。系统使用直线段逼近边缘点来求出直线段序列,然后计算直线段之间的交点。这一方法补偿了由边缘检测算子对角点的平滑作用而引入的误差,并且比利用局部信息的角点检测算子求出的角点更精确。
已知两条直线的隐函数方程为:
交点坐标为:
如果非常接近零,那么两条直线几乎平行,没有交点。
系统沿着轮廓对相邻的直线段进行拟合,并检测a1b2-a2b1的幅值是否大于设定的阈值,即可确定该直线对是否生成角点。由于指针针尖角点的角度很大,系统设定的阈值要求角点角度必须大于270度。
系统利用霍夫园检测出指针盘的圆心坐标,并与针尖坐标作差,即得到指针的角度,经过单位转化就计算出指针的示数值。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包在本发明范围内。
Claims (7)
1.抄表图像自动识别方法,其特征在于按照以下步骤进行:
a、图像采集装置采集表盘的正面图像;
b、粗略定位示数图像,采用高斯图像金字塔算法、霍夫圆检测算法和HSV颜色空间算法,得到粗略的示数区域图像和指针区域图像;
所述的粗略定位示数图像步骤包括选取的待定区域大于数字显示框区域,首先,对原图像进行高斯平滑、下采样,生成图像金字塔,数字定位利用的是数字框在仪表中的特定位置信息以及其矩形特征:采用霍夫圆检测方法确定仪表外框,数字框处于仪表盘的中上部的确定位置,获取仪表框的位置,对数字框进行了粗略定位;指针定位利用的是指针的颜色信息,在HSV颜色空间进行基于红色参数的筛选,得到候选的指针像素,再利用指针区域间的不相邻性去除不符合条件的区域,获取指针的粗略位置;
c、精确定位示数区域图像,采用边缘检测、高斯变换和矩形检测算法,得到精确的示数区域图像;
所述精确定位示数区域图像的步骤,根据仪表示数框特殊的矩形特性,利用边缘检测和矩形检测技术将示数框的位置识别出来,去除数字框外围的多余信息,实现对数字示数框的进一步定位;
属于同一物体的像素在相邻位置存在着灰度相似性,处于物体边缘的像素灰度会发生突变,利用边缘的这一特性,将边缘和物体内部点分离出来;矩形框由相互垂直的两组直线段组成,首先采用霍夫变换进行直线检测,再从候选线段中选取具有垂直关系的两组的线段,通过边界检测以及矩形检测算法,系统确定了数字示数框的精确位置;
d、精确定位指针区域图像,采用区域生长算法,得到精确的指针区域图像;
所述精确定位指针区域图像的步骤,使用区域生长法,在此基础上完成精确定位目标,首先,将粗定位中指针区域的中心像素,即一定属于指针部分的像素,作为生长核,利用区域生长法向四周扩展,在生长核四周的八个像素点中选取灰度值与生长核相近的像素点作为新的生长核,以此类推,即可生长到整个指针的区域,每个生长核的位置都会被记录下来,完成对仪表图像中指针部分的精确定位;
e、图像预处理,采用图像灰度化、二值化及膨胀腐蚀处理,使数字、指针部分分别与图像背景分离,并形成独立的、连通的区域;
所述图像预处理包括消除图像噪声,将前景目标与背景分离,并使数字、指针都形成各自的连通区域,利用灰度化进行去噪;选取用于分类的灰度阈值,将前景与背景分离,利用膨胀、腐蚀技术消除离散噪声,补充孔洞,形成连通区域;
f、数字分割,利用单个数字的连通性和水平方向投影的可分离性,将一幅包括多个数字的图像,分割成多个只包括一个独立数字的图像;
对图像进行水平方向投影,对像素个数较少的水平坐标进行分割,利用连通区域搜索的方法进行二次分割,二值图像中数字区域形成连通区域;在二值图像中对所有连通的区域进行标记,再根据数字连通区域在面积上、形状上的特性,将非数字区域剔除,便获取了每个数字的连通区域;最后,将这些区域从图像中裁剪出来,就作为数字识别系统的输入图像进行识别了;
g、数字识别,采用数字训练集对数字分类器进行区分识别0至9十个数字,得到数字值;
h、指针角度识别,利用角点检测算法确定针尖位置,利用霍夫圆检测算法确定指针圆心位置,并将指针像素向中心位置坐标投影,选取出投影像素个数最多的角度作为针尖指向角度,识别出指针的示数;
所述指针角度识别的步骤:包括排除干扰点的步骤,首先,根据指针示数框的圆形特征,使用霍夫圆检测方法提取表盘上的示数框,得到圆心即指针中心位置的坐标;对于针尖位置的确定,先利用角点检测技术提取图像中的角点,利用中心投影法实现针尖位置的识别;在精确定位后的二值图像中,将整个指针区域分成若干个小扇形并统计其中前景像素的个数,根据统计结果的最大值确定针尖相对于中心的角度,利用指针中心的坐标及针尖的相对位置,计算出指针指向的角度。
2.根据权利要求1所述的抄表图像自动识别方法,其特征在于:所述的高斯图像金字塔算法为N*M阵列图像的金字塔,包含了原图像和原图像的3个递减图像,其他图像分别是N/2×M/2,N/4×M/4,N/8×M/8阵列,每一次下采样需要将原图像中的四个像素用一个像素代替,采用了5×5的高斯卷积核进行平滑,将以待平滑像素为中心的5×5矩阵与5×5的高斯核作矩阵的点乘运算,获得平滑后的像素值作为新图像的像素值,使用的高斯核:
设原图像中以待平滑像素为中心的5×5矩阵阵列为M,
平滑算法公式:
PN为新图像的像素值,是对原图像周边像素的加权平均;
首先在采样后的低分辨率图像上进行霍夫圆检测和HSV颜色空间的检测,获取到相应的坐标位置;再根据低分辨率图像与原图像的坐标变化,确定其在高分辨率图像中相应的坐标位置,作为粗略定位的依据;
所述的霍夫圆检测方法中圆的极坐标方程为:
(x,y)表示圆上点坐标,(a,b)表示圆心坐标,r表示圆的半径,θ表示边缘方向角,
则圆的参数为:
在边缘点(x,y)处根据周边边缘点给定梯度角θ,计算cosθ和sinθ,从上述方程中消除半径,得到:
b=a tanθ-x tanθ+y,
将图像中的边缘点都映射到(a,b)空间内,并选取其中局部最密集的点作为图像中的圆中心;
在对颜色的识别时,首先要将图像由RGB转化为HSV颜色空间;
红色在HSV空间下的表征参数范围:
H表示色调,S表示饱和度,V表示亮度。
3.根据权利要求1所述的抄表图像自动识别方法,其特征在于:所述步骤c、精确定位示数区域图像中包括边缘检测的方法,将边缘和物体内部点分离出来,具体判断方法:用表征图像强度的灰度值做差,根据差值的大小来确定该像素点是否为边缘点,采用二阶Laplace算子进行边缘检测,Laplace算子模板如下:
霍夫变换中直线的极坐标方程:
ρ=x cosθ+y sinθ,
(x,y)表示圆上点的坐标,ρ表示圆半径,θ表示直线的斜率,
上述方程中,点(x,y)被映射到空间(ρ,θ)上,直线上有n个点,这些点对应参数空间(ρ,θ)上的一个正弦曲线族,且所有正弦曲线都经过(ρ,θ)上的一点,该点的坐标反映了(x,y)空间上直线的参数;
所述矩形检测的算法,矩形是由两组相互垂直的平行直线构成的,在直线检测的结果中选取同时与两条以上直线垂直的直线作为候补集合,如果该集合中的某条直线还能与其他边缘直线平行,即确定这条直线为矩形边。
4.根据权利要求1所述的抄表图像自动识别方法,其特征在于所述步骤d、精确定位指针区域图像如下:
所述区域生长法算法是根据同一物体区域内像素的相似性质来聚集像素点的方法,从初始区域开始,将相邻的具有同样性质的像素或其他区域归并到当前的区域中从而逐步增长区域,直至没有归并的点为止,区域内像素的相似性度量包括平均灰度值、纹理、颜色信息;
利用中心位置的像素点作为种子点,根据平均灰度和颜色的特性来衡量是否将其八邻域内的点归并到当前区域,如果由新的像素点被纳入,就把它定位为新的生长核,以此类推,直到没有任何邻域点被归入该区域,则生长结束。
5.根据权利要求1所述的抄表图像自动识别方法,其特征在于所述步骤e、图像预处理中如下:
第一步是灰度化操作,彩色图像通常包含红绿蓝RGB三种颜色分量,通过图像灰度化,得到只包含一种灰度值的图像,通过自动阈值化技术,选取能够充分体现前景和背景差异的分割灰度值,使待识别的数字和指针分离出来,最后,利用先腐蚀后膨胀的图像开操作去除离散的噪声点;
所述图像灰度化步骤中的灰度化公式:
f(i,j)=0.30R(i,j)+0.59G(i,j)+0.11B(i,j),
f(i,j)表示新图像中像素的灰度值,R表示红色分量值,G表示绿色分量值,B表示蓝色分量值;
所述的自动阈值化步骤,使用一定的先验知识并在无人介入的情况下自动选取阈值的方法称为自动阈值化方法,自动阈值化算法使用灰度直方图来分析图像中灰度值的分布,并使用特定应用域知识来选取最合适的阈值,灰度直方图是一种灰度特性,它表示图像中所有灰度值出现的相对频率,灰度值为0-128,直方图滤去像素的位置信息,分析图像在统计上的特征;
采用基于模态的方法实现自动阈值化,假设物体灰度值和背景灰度值都满足正态分布,即灰度直方图曲线是由两个正态分布函数和叠加而成,图像直方图将会出现两个分离的峰值;通过检测直方图曲线的波谷和波峰,并把阈值设置成波谷对应的像素值,实现图像的自动分割;
所述的膨胀和腐蚀步骤,膨胀和腐蚀是对图像形态的操作算子,膨胀将图像中的前景向外扩展,腐蚀将前景向内收缩,采用的十字型作为膨胀腐蚀的结构元,膨胀过程简述为:当结构元原点经过待膨胀的二值图像中所有1像素点时,对应于结构元所有1像素位置的像素均设为一,即将待膨胀的二值图像中所有1像素点的上、下、左、右位置均设定为1;相反,腐蚀过程简述为,如果待腐蚀的二值图像中1像素点的上、下、左、右位置存在一个像素值不为1,即设定该1像素点的像素值为0;
图像开、闭操作用同一结构元腐蚀后再膨胀可去除比结构元小的所有区域像素点,而留下其余部分,这一顺序称为开运算;相反,膨胀后再腐蚀,称为闭运算,这种顺序会填满比结构元小的孔洞和凹状区,补充图像的断裂和细孔,形成完整的目标图形。
6.根据权利要求1所述的抄表图像自动识别方法,其特征在于所述步骤f、数字分割中如下:
对水平方向投影指的是对图像中每列数据阵中非零像素值个数的统计,表征出整个图像在水平向上的分布均匀程度,采用水平方向的投影图,通过在水平方向投影曲线中选取极小值,获得初步的分割位置,在分割失败时采用连通区域搜索法来辅助进行分割;
连通区域搜索包括二值图像中相邻的非零值像素形成连通区域,采用八连通方式进行搜索,即以当前像素为中心的九宫格中的像素都定为相邻像素,其中的非零值像素纳入连通区域;
采用序贯算法进行连通区域标记,即从图像的左上角开始,从左到右、从上到下依次进行搜索,当遇到非零像素时,先检查九宫格内该像素上方三个位置和左边的位置是否已经被标记过,如果被标记过,即说明该像素属于之前的连通区域,就把它也标记为该区域;如果以上四个位置并没有标记为区域,则说明该像素是新的连通区域,就给其设定一个新的区域标记,以此方式将图像中的像素逐次遍历,就得到了若干个连通区域,最后一步是连通区域的合并,合并检查的过程,就是要判别候选的连通区域之间是否存在位置上相邻,如果属于两个连通区域的两个像素在位置上相邻,即说明这两个区域属于同一个区域,就需要将其合并为同一区域,这样,就能够得到包含区域像素点坐标、区域面积的连通区域特性表,利用数字示数连通区域在面积上限制和坐标上的限制,得到仅包含单个数字的连通区域,即完成了数字分割的任务。
7.根据权利要求1所述的抄表图像自动识别方法,其特征在于所述步骤g、数字识别如下:
先利用开源的Tesseract-OCR Engine完成数字识别的功能,光学字符识别OCR是指对文本资料进行扫描,然后对图像文件进行分析处理,获取文字及版面信息的过程;
Tesseract-OCR Engine包含分类器训练与分类识别过程的分离,在训练样本集时,选取字符的近似多边形段作为特征;而在识别过程中,系统选取属于字符边界的固定长度的短线段作为特征,并使用多对一方式对应于系统的标准特征;
分类识别的第一步是精选出可能与待定特征匹配的类别,未知字符每一个待识别特征通过查表得到一组可能与其匹配的类别向量,系统将这些匹配向量相加,选取出得分最高的几个类别作为最有可能与未知字符匹配的名单;
分类识别第二步通过计算相似度确定最终类别,每一个标准字符都由一个逻辑合式代表,待识别特征与标准字符的“距离”被计算出来;最后,综合得到的具有最短距离的类别,就是与未知字符相似度最高的类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510174448.XA CN104751187B (zh) | 2015-04-14 | 2015-04-14 | 抄表图像自动识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510174448.XA CN104751187B (zh) | 2015-04-14 | 2015-04-14 | 抄表图像自动识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104751187A CN104751187A (zh) | 2015-07-01 |
CN104751187B true CN104751187B (zh) | 2019-04-16 |
Family
ID=53590840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510174448.XA Active CN104751187B (zh) | 2015-04-14 | 2015-04-14 | 抄表图像自动识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104751187B (zh) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106599890B (zh) * | 2015-10-14 | 2019-12-10 | 国网智能科技股份有限公司 | 变电站巡检机器人数字式仪表识别算法 |
CN105844614B (zh) * | 2016-03-15 | 2019-08-23 | 广东工业大学 | 一种基于校对机器人角度的视觉指北方法 |
CN105869085A (zh) * | 2016-03-29 | 2016-08-17 | 河北师范大学 | 一种成绩录入系统及图像处理的方法 |
CN105890531B (zh) * | 2016-06-24 | 2018-10-26 | 温州大学 | 基于传感成像系统的精密通信继电器触点间距检测方法 |
CN106446750B (zh) * | 2016-07-07 | 2018-09-14 | 深圳市华汉伟业科技有限公司 | 一种条形码读取方法及装置 |
CN106101642A (zh) * | 2016-07-19 | 2016-11-09 | 北京工业大学 | 一种基于机器视觉的远程抄表系统 |
CN106228170A (zh) * | 2016-09-20 | 2016-12-14 | 山东省计量科学研究院 | 一种指针式仪表的指针位置提取方法 |
TWI667557B (zh) * | 2017-01-19 | 2019-08-01 | 由田新技股份有限公司 | 影像分析儀表資訊之裝置、系統、方法及電腦可讀取記錄媒體 |
CN107256379B (zh) * | 2017-05-05 | 2021-06-22 | 深圳市科迈爱康科技有限公司 | 基于图像识别的信息采集方法、移动终端及存储介质 |
CN107133623B (zh) * | 2017-05-11 | 2020-03-24 | 安徽慧视金瞳科技有限公司 | 一种基于背景差和圆心定位的指针位置精确检测方法 |
CN107633493B (zh) * | 2017-09-28 | 2021-03-23 | 珠海博明视觉科技有限公司 | 一种适用于工业检测的自适应背景扣除的方法 |
CN107808159B (zh) * | 2017-11-20 | 2019-01-29 | 杭州先锋电子技术股份有限公司 | 一种用于计量仪表机械表盘的数字自动识别抄表方法 |
CN108399416A (zh) * | 2018-01-19 | 2018-08-14 | 武汉科技大学 | 一种有圆弧边界的变电站指针式仪表自动识别方法 |
CN108491838B (zh) * | 2018-03-08 | 2021-08-03 | 南京邮电大学 | 基于sift和hough的指针型仪表示数读取方法 |
CN108460387A (zh) * | 2018-03-26 | 2018-08-28 | 国网安徽省电力有限公司检修分公司 | 智能电力表计抄录计算系统及方法 |
JP7062049B2 (ja) * | 2018-03-30 | 2022-05-02 | 富士フイルム株式会社 | 経皮吸収シート製造用のモールド、針状凸部を有する経皮吸収シートの製造装置及び方法 |
CN108648495A (zh) * | 2018-06-08 | 2018-10-12 | 华南理工大学 | 一种智能实时显示公交车拥挤程度的方法及系统 |
CN108693194B (zh) * | 2018-06-22 | 2021-07-16 | 湖南大学 | 钢板生产线点阵喷码机器视觉自动检测系统 |
CN109086763B (zh) * | 2018-07-23 | 2021-11-26 | 国网辽宁省电力有限公司信息通信分公司 | 一种指针式仪表读取方法及装置 |
CN109344685B (zh) * | 2018-08-03 | 2021-03-09 | 广东工业大学 | 一种智慧托盘及其智能定位追踪方法 |
CN109101969A (zh) * | 2018-08-23 | 2018-12-28 | 深圳市深晓科技有限公司 | 一种基于字符识别的图像处理方法及装置 |
JP6783894B2 (ja) * | 2018-08-30 | 2020-11-11 | 株式会社オージス総研 | メータ読取装置、メータ読取方法及びコンピュータプログラム |
CN109271985A (zh) * | 2018-09-07 | 2019-01-25 | 广东中粤电力科技有限公司 | 一种数字仪表读数图像识别方法及系统 |
CN109242906A (zh) * | 2018-09-14 | 2019-01-18 | 威斯泰(苏州)智能科技有限公司 | 一种微积分累加的目标图像识别算法及方法 |
CN109784257B (zh) * | 2019-01-08 | 2021-10-12 | 北京全路通信信号研究设计院集团有限公司 | 一种变压器温度表检测与识别方法 |
CN109858474B (zh) * | 2019-01-08 | 2021-10-19 | 北京全路通信信号研究设计院集团有限公司 | 一种变压器油面温控器检测与识别方法 |
CN110009800B (zh) * | 2019-03-14 | 2023-04-07 | 北京京东乾石科技有限公司 | 一种识别方法和设备 |
CN110111387B (zh) * | 2019-04-19 | 2021-07-27 | 南京大学 | 一种基于表盘特征的指针表定位及读数方法 |
CN110796139B (zh) * | 2019-10-17 | 2023-06-23 | 中国测试技术研究院辐射研究所 | 测试/检测/校准/检定中指示值图案定位和分割方法 |
CN111292296B (zh) * | 2020-01-20 | 2024-06-18 | 京东方科技集团股份有限公司 | 一种基于眼部识别模型的训练集获取方法及设备 |
CN111598109B (zh) * | 2020-05-07 | 2022-07-22 | 国网四川省电力公司电力科学研究院 | 一种变电站指针仪表读数智能识别方法 |
CN112036393B (zh) * | 2020-07-22 | 2023-08-18 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产单指针仪表读数的识别方法 |
CN112036391B (zh) * | 2020-07-22 | 2023-09-19 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产站场的电子巡检方法及系统 |
CN111931716B (zh) * | 2020-09-22 | 2021-01-19 | 南京嘉环科技股份有限公司 | 基于多维度特征分析的指针式表盘识别方法与系统 |
CN112132142A (zh) * | 2020-09-27 | 2020-12-25 | 平安医疗健康管理股份有限公司 | 文本区域确定方法、装置、计算机设备及存储介质 |
CN112508084B (zh) * | 2020-12-04 | 2022-05-03 | 宁波智能装备研究院有限公司 | 复杂工业环境下基于模糊相似性度量的机器视觉检测方法 |
CN112528992A (zh) * | 2020-12-08 | 2021-03-19 | 极晨智道信息技术(北京)有限公司 | 一种基于ai技术快速识别仪器仪表读数的装置和方法 |
CN112712465B (zh) * | 2020-12-31 | 2023-08-04 | 四川长虹网络科技有限责任公司 | 一种优化拍照式抄表终端通信数据量的方法和系统 |
CN113298768B (zh) * | 2021-05-20 | 2022-11-08 | 山东大学 | 棉花检测分割计数方法及系统 |
CN113486891B (zh) * | 2021-06-22 | 2024-10-01 | 深圳无境创新科技有限公司 | 螺钉图像处理方法、装置、电子设备和存储介质 |
CN114202658A (zh) * | 2021-12-06 | 2022-03-18 | 杭州铭翰科技有限公司 | 水表读数视频识别技术 |
CN114742849B (zh) * | 2022-06-10 | 2022-08-26 | 山东沃能安全技术服务有限公司 | 一种基于图像增强的水准仪距离测量方法 |
CN115439861A (zh) * | 2022-09-30 | 2022-12-06 | 北京中盛益华科技有限公司 | 一种基于ocr的水尺识别方法 |
CN117213717B (zh) * | 2023-11-09 | 2024-01-30 | 江苏省计量科学研究院(江苏省能源计量数据中心) | 一种压力表在线计量系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102799861A (zh) * | 2012-06-29 | 2012-11-28 | 上海大学 | 一种利用颜色快速识别仪表读数的方法 |
CN103136532A (zh) * | 2011-11-22 | 2013-06-05 | 深圳信息职业技术学院 | 表盘数字图像读取装置及方法 |
CN103207987A (zh) * | 2013-02-28 | 2013-07-17 | 华北电力大学 | 一种指针式仪表的示数识别方法 |
CN103955694A (zh) * | 2014-04-09 | 2014-07-30 | 广州邦讯信息系统有限公司 | 图像识别抄表系统及方法 |
-
2015
- 2015-04-14 CN CN201510174448.XA patent/CN104751187B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103136532A (zh) * | 2011-11-22 | 2013-06-05 | 深圳信息职业技术学院 | 表盘数字图像读取装置及方法 |
CN102799861A (zh) * | 2012-06-29 | 2012-11-28 | 上海大学 | 一种利用颜色快速识别仪表读数的方法 |
CN103207987A (zh) * | 2013-02-28 | 2013-07-17 | 华北电力大学 | 一种指针式仪表的示数识别方法 |
CN103955694A (zh) * | 2014-04-09 | 2014-07-30 | 广州邦讯信息系统有限公司 | 图像识别抄表系统及方法 |
Non-Patent Citations (3)
Title |
---|
基于图像识别的表盘读数系统研究;李媛;《中国优秀硕士学位论文全文数据库》;20111215(第S2期);第10页第2.2部分,第14-15页第3.2部分,第27-30页第3.3部分,第41页第4.2.2部分以及第50-53页第5.1-5.4部分 |
基于数字图像处理技术的车牌识别算法研究;杨京忠;《中国优秀硕士学位论文全文数据库》;20070915(第3期);第39页第3段以及第39-40页第4.2部分 |
基于高斯金字塔的运动目标检测;屠礼芬等;《中南大学学报》;20130731;第44卷(第7期);第2779页第1.1部分以及第2782页第1.3部分 |
Also Published As
Publication number | Publication date |
---|---|
CN104751187A (zh) | 2015-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104751187B (zh) | 抄表图像自动识别方法 | |
Garz et al. | Binarization-free text line segmentation for historical documents based on interest point clustering | |
CN102426649B (zh) | 一种简单的高准确率的钢印数字自动识别方法 | |
Patel et al. | Automatic number plate recognition system (anpr): A survey | |
CN110598690B (zh) | 一种端到端光学字符检测识别方法与系统 | |
CN108596166A (zh) | 一种基于卷积神经网络分类的集装箱箱号识别方法 | |
Diem et al. | Text line detection for heterogeneous documents | |
Gruuening et al. | A robust and binarization-free approach for text line detection in historical documents | |
CN106875546A (zh) | 一种增值税发票的识别方法 | |
CN104680130A (zh) | 一种身份证汉字识别方法 | |
CN110020692A (zh) | 一种基于印刷体模板的手写体分离与定位方法 | |
Jiao et al. | A survey of road feature extraction methods from raster maps | |
CN109902618A (zh) | 一种海面船只识别方法和装置 | |
Garz et al. | A binarization-free clustering approach to segment curved text lines in historical manuscripts | |
CN104657980A (zh) | 一种改进的基于Meanshift的多通道图像分割算法 | |
Cheng et al. | Efficient sea–land segmentation using seeds learning and edge directed graph cut | |
Kiessling | A modular region and text line layout analysis system | |
CN113673384A (zh) | Lm滤波器组引导纹理特征自主学习的甲骨文字检测方法 | |
CN116824608A (zh) | 基于目标检测技术的答题卡版面分析方法 | |
Buse et al. | Word recognition using fuzzy logic | |
KR101849933B1 (ko) | 공분산 기술자와 퍼지 모델을 이용한 심볼 인식장치 | |
Boussellaa et al. | Unsupervised block covering analysis for text-line segmentation of Arabic ancient handwritten document images | |
CN114926635A (zh) | 与深度学习方法相结合的多焦图像中目标分割方法 | |
CN111626299A (zh) | 一种基于轮廓的数字字符识别方法 | |
Zambanini et al. | Segmentation of ancient coins based on local entropy and gray value range |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |