CN114241194A - 一种基于轻量级网络的仪表识别及读数方法 - Google Patents

Abstract

本发明公开了一种基于轻量级网络的仪表识别及读数方法，涉及仪表测量技术领域，包括如下步骤：获取具有仪表的原始图像；对原始图像进行仪表目标识别及分类，获得分类仪表图像；采用结合混合注意力剪裁的细粒度分类网络对分类仪表图像进行识别，获取仪表图像的量程信息；基于仪表图像的量程信息，获得仪表读数；本发明通过多尺度特征融合手段提升了模型对图像细节目标的学习能力，通过单尺度的YOLO的计算，提升了算法的运算效率，同时并不降低其仪表目标的检测精度；并且可实现仪表自动识别、读数以及数据存储，为工作人员减除了繁琐的的人工识别及记录工作，提升了工作人员的效率，同时提高了数据的利用率。

Description

一种基于轻量级网络的仪表识别及读数方法

技术领域

本发明涉及仪表测量技术领域，更具体的说是涉及一种基于轻量级网络的仪表识别及读数方法。

背景技术

仪表是用于测定某些物理量的仪器的统称，它可以通过一些物理或者化学原理，将一些难以直观感受的物理量通过刻度或者示数的方式进行直观的展示，例如温度、压力、湿度、流量和电压等等，广泛应用于工业、国防和人民生活等各个方面。尤其是在一些国防军工的重点领域，仪表数据的读取往往需要耗费大量的人工，并且目前这些仪表数据大多以纸质媒介进行保存，难以进一步加以利用。

目前工业界大多采用两种方式进行仪表识别，较为先进且便利的是有电子数据接口的仪表，可以直接通过电子接口对仪表数据进行读取，但目前此种仪表普及程度较低，实际场景中更多的仍是早年间已经铺设好的老旧型号，需要通过视觉方式进行仪表数据的读取。因此在实际场景下，更多的仍然采用人工读取仪表的方式。但是人工读取的方式存在以下几个缺点：某些极端环境下，例如高温，高压，高辐射条件下，采用人工读数的方式具有较大的危险性；如果需要获取大量的实时仪表数据，则需要投入大量的人力，效率低下，性价比较低；人工难以进行24小时的长期不间断监测；人工获取的读数往往通过纸质媒介进行存储，需要进一步转录入电脑，方能够进行下一步的利用，进一步的提高人力耗费。

随着社会的发展，制造业向着智能化发展，利用人工智能等技术提升生产率，解放人工。因此，上述两种方式进行仪表识别无法满足目前的生产方式，因此研究一种可智能识别的仪表识别及读数方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于轻量级网络的仪表识别及读数方法，克服了现有技术的缺点。

为了实现上述目的，本发明提供如下技术方案：

一种基于轻量级网络的仪表识别方法，具体步骤为：

获取具有仪表的原始图像；

通过RegNet轻量级网络对原始图像进行特征提取，获得第一提取特征图；

对第一提取特征图中的特征进行融合，获得融合图像；

对融合图像进行仪表目标识别及分类，获得分类仪表图像。

可选的，融合图像的获取步骤为：将RegNet轻量级网络中第N阶段特征进行两倍上采样后与第N-1阶段特征进行特征融合，其中RegNet轻量级网络包括N个阶段。

可选的，仪表目标分类包括方形指针式仪表、圆形指针式仪表以及数字式仪表。

可选的，在对仪表目标识别及分类过程中的损失函数包括定位损失l_box、分类损失l_cls以及置信度损失l_noobj。

一种基于轻量级网络的仪表读数方法，具体步骤为：

获取分类仪表图像；

采用结合混合注意力剪裁的细粒度分类网络对分类仪表图像进行识别，获取仪表图像的量程信息；

基于仪表图像的量程信息，获得仪表读数。

可选的，获取仪表图像的量程信息的具体步骤为：

S21、通过融合通道注意力模块的特征提取网络对分类仪表图像进行特征提取，获得第二提取特征图；

S22、对第二提取特征图中的特征进行处理，获得多个带有位置信息的注意力图；

S23、利用双线性注意力池化对多个注意力图、第一提取特征图以及第二提取特征图进行融合，并计算交叉熵损失，得到多个注意力图对应的特征矩阵；

S24、基于多个注意力图中的位置信息，对注意力图进行混合剪裁及数据增强，并输入至步骤S11中的融合通道注意力模块的特征提取网络中；

S25、基于特征矩阵，确定仪表图像的量程信息。

可选的，当仪表目标为方形指针式仪表时，仪表读数的方法具体为：

A1、对分类仪表图像进行高斯模糊及图像灰度化处理，获得灰度图像；

A2、对灰度图像进行边缘检测，获得边缘二值图像；

A3、通过直线检测方法对边缘二值图像中的指针进行检测，并通过指针角度校正，获取指针角度；

A4、根据仪表图像的量程信息和指针角度，进行仪表读数计算，获得仪表读数值；

其中，仪表读数值result的计算公式为：

式中，θ₂为方形指针式仪表中指针的倾斜角度，θ₁为方形指针式仪表中图像的水平倾斜角度，range为仪表的量程信息。

可选的，当仪表目标为圆形指针式仪表时，仪表读数的方法具体为：

B1、对分类仪表图像进行高斯模糊及图像灰度化处理，获得灰度图像；

B2、通过局部自适应阈值二值化处理方法对灰度图像进行处理，获得二值化图像；

B3、对二值化图像采用霍夫变换方法进行外轮廓检测；

B4、通过坐标变换将圆形刻度进行化直处理；

B5、采用水平投影的方式确定化直处理后的刻度位置，并根据其长度确定仪表读数；

其中，仪表读数值result的计算公式为：

式中，d₁为零刻度线到指针所在位置的长度，d₂为刻度线的总长度，range为仪表的量程信息。

可选的，当仪表目标为数字式仪表时，仪表读数的方法具体为：

C1、对分类仪表图像进行高斯模糊，并采用基于红色通道的二值化方法提取图像中的数字部分；

C2、采用水平投影方法提取出数字部分中的数字显示区域；

C3、采用垂直投影方法将数字显示区域中的数字进行分割；

C4、利用Lenent-5网络对分割出的数字进行识别。

可选的，所述步骤C3中，当数字显示区域存在需要分割的字符时，采用细化算法对字符进行识别及分割。

经由上述的技术方案可知，本发明公开提供了一种基于轻量级网络的仪表识别及读数方法，与现有技术相比，具有以下有益效果：

(1)本发明在仪表目标及分类过程中，提出了一种结合轻量级网络的单尺度YOLO仪表检测方法，通过多尺度特征融合手段提升了模型对图像细节目标的学习能力，通过单尺度的YOLO的计算，提升了算法的运算效率，同时并不降低其仪表目标的检测精度；

(2)本发明提出了细粒度的图像识别方法进行仪表的量程识别，该算法针对WS-DAN算法中的双线性汇合以及注意力丢弃操作可能带来的过拟合，结合注意力混合裁剪进行数据增强，交换不同图像中的注意力峰值区域以及其真实标记，以使得目标能够处于不同的背景之下，从而使得模型更加关注具有判别性的局部区域，进而增强模型的泛化性能与细粒度图像识别精度。该算法简单直观，可扩展应用于其他算法。

(3)本发明基于前述的仪表识别检测及量程识别方法，综合多种图像处理方法，实现了仪表的自动识别及读数，可以支持方形指针式仪表，圆形指针式仪表以及数字式仪表的全自动识别，全程不需要人工参与。同时，算法计算量较低，对于方形指针仪表与数字式仪表而言，在CPU上可达到200ms左右接近实时的处理速度，同时精度达到较高水平。

(4)本发明提供的仪表识别及读数方法，实现仪表自动识别、读数以及数据存储，为工作人员减除了繁琐的的人工识别及记录工作，提升了工作人员的效率，同时提高了数据的利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的基于轻量级网络的仪表识别方法流程图；

图2为本发明的仪表目标识别及分类方法示意图；

图3为本发明的RegNet轻量级网络结构示意图；

图4为本发明的方形指针式仪表的读数方法流程图；

图5为本发明的圆形指针式仪表的读数方法流程图；

图6为本发明的数字式仪表的读数方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于轻量级网络的仪表读数方法，如图1所示，包括以下步骤：

S1、获取具有仪表的原始图像；

S2、对原始图像中的仪表目标识别及分类，获得分类后的仪表图像；

S3、采用结合混合注意力剪裁的细粒度分类网络对仪表图像进行识别，获取仪表图像的量程信息；

S4、基于仪表图像的量程信息，进行仪表读数。

如图2所示，本实施例的步骤S2具体为：

S21、通过RegNet轻量级网络对原始图像进行特征提取；

S22、将RegNet轻量级网络中最后一阶段特征进行两倍上采样并与倒数第二阶段特征进行特征融合；

S23、将特征融合后的图像输入至单尺度YOLO层进行仪表目标识别及分类，获得分类后的仪表图像。

上述步骤S21中RegNet轻量级网络搜索遵循着结合NAS搜索结果与手工设计的思想，结合了两者的优点，旨在使用手工设计的思想缩小NAS的搜索空间，本实施例中，使用RegNet轻量级网络作为特征提取的基础网络结果，以此降低网络的参数量，同时不降低算法的精确度。如图3所示，RegNet轻量级网络包括依次连接的卷积层、第一RegBlock单元、第二RegBlock单元、第三RegBlock单元和第四RegBlock单元；

所述第一RegBlock单元、第二RegBlock单元、第三RegBlock单元和第四RegBlock单元依次包括1、1、4和7个依次连接的RegBlock层，其通道数依次为24，56，152以及368；

每个所述RegBlock层均包括依次连接的第一1×1卷积层、第一3×3卷积层、第二1×1卷积层和特征融合层，所述第一1×1卷积层的输入端还通过下采样层与所述特征融合层连接；

所述步骤S22中，第四RegBlock单元输出的特征作为最后一阶段特征，第三RegBlock单元输出的特征作为倒数第二阶段特征。

上述RegNet轻量级网络的网络参数如表1所示；

表1：RegNet轻量级网络结构

上述步骤S22中，对于RegNet提取出的图像卷积特征，并不直接将其输入到YOLO层中进行预测，因为在卷积神经网络较浅层含有更丰富的细节信息，而深层则含有更为丰富的语义信息。如果采用将最后一层的输出特征直接输入到YOLO层进行预测则会丢失浅层的丰富的细节信息，因此在该步骤中，采用特征拼接的方式进行特征融合，不但使得浅层特征得到保留，不同尺度特征的融合也有利于网络识别不同尺度的目标。

上述步骤S23中，对于仪表识别而言，仪表的大小尺度变化不大，同时为了保证后续仪表读数的精确度，仪表在图像中的占比一般既不会过大也不会过小。因此，基于这个仪表识别任务的特殊性，提出利用单尺度的YOLO进行仪表识别，仅仅利用中间尺度的特征进行预测。一方面能够降低算法的复杂度，提升算法的运算效率，另一方面，针对仪表识别这种尺度变化不大的任务而言，减少尺度也并不会降低仪表检测准确度。

本实施例的步骤S2中，对仪表目标识别及分类过程中的损失函数包括定位损失l_box，分类损失l_cls以及置信度损失l_noobj；

其中，定位损失l_box用于对预测的精确位置坐标进行校正，其计算公式为：

式中，λ_coord为边界框的坐标常量参数，为原始图像划分为小格的尺寸，B为包围框，

表示原始图像在(i,j)位置处存在仪表目标的控制变量，存在仪表目标则为1，否则为0，w_i为包围框宽度，h_i为包围框高度，x_i为预测得出的仪表目标的中心点横坐标，

为真实仪表目标的中心点横坐标，y_i为预测得出的仪表目标的中心点纵坐标，

为真实仪表目标的中心点纵坐标，w_i为预测得出的仪表目标包围框宽度，

为真实仪表目标的包围框宽度，h_i为预测得出的仪表目标包围框高度，

为真实仪表目标的包围框高度；

本实施例中的分类损失l_cls不使用传统的SoftMax交叉熵损失进行多分类损失的计算，因为同一个物体可能有多个的标记，而使用SoftMax损失会使得网络默认每一个目标都只有一种标记，从而导致误差的产生；因此，该步骤中将分类损失更换为二元的交叉熵损失，通过遍历每个类获得，其计算公式为：

式中，classes为仪表目标分类集合，P_i ^j为预测仪表目标属于某一类别的概率，P_i ^％为仪表目标实际属于某一类别的概率；

置信度损失l_noobj用于监督网络在图像中找到正确的目标，以及给出当前包围框内包含物体的自信程度，其计算公式为：

式中，

为通过预测边界框与真实标记框计算交比得到的置信度，

为置信度，

为当前包围框中存在物体的控制变量，存在物体则为1，否则为0。可以看到该损失由两部分组成，第一部分表示当前有目标的时候对损失的贡献，另一部分则表示当前没有目标的时候对损失的贡献，此时需要乘上一个系数来弱化其对损失的贡献，因为目标检测任务中背景数量远大于前景。

本实施例的步骤S2中，仪表目标分类主要包括方形指针式仪表、圆形指针式仪表以及数字式仪表。

本实施例的步骤S3中，提出了一种结合注意力混合裁剪的细粒度分类网络，对弱监督注意力数据增强网络(WS-DAN,Weakly Supervised Data AugmentationNetwork)进行了改进，利用注意力机制指导改进的混合裁剪数据增强，增强网络对局部区域的学习。基于此，步骤S3具体为：

S31、通过融合通道注意力模块的特征提取网络对当前输入图像进行特征提取；

S32、通过M个1×1卷积层对提取的特征进行处理，获得M个带有位置信息的注意力图；

S33、利用双线性注意力池化对注意力图和提取的特征图进行融合，并通过全连接层计算交叉熵损失，得到多个注意力图对应特征矩阵；

S34、基于注意力图中的位置信息，对图像进行混合剪裁及数据增强，并输入至步骤S31中的融合通道注意力模块的特征提取网络中；

S35、基于当前得到的特征矩阵，确定仪表图像的量程信息。

上述步骤S32具体为：通过卷积神经网络提取到输入图像I的特征图F∈R^H*W*C，其中H，W表示特征图的长和宽，C表识特征图的通道数，之后通过M个1×1卷积核将F转化为注意力图A∈R^H*W*M，M的值为超参数，代表注意力图的数量，注意力图A的计算公式为：

式中，f(F)为1×1卷积操作；

上述步骤S33具体为：对于每一个注意力图A_k，将其逐元素乘到原本的特征图F之上，得到M个强化局部特征的双线性特征图F∈R^1*N，达到增强细粒度识别的效果。同时为了降低特征维度，利用全局平均池化或者全局最大值池化对M个f_k进行判别性局部特征提取，获得M个局部特征向量。最后将这些局部特征拼接起来得到最后的特征矩阵，得到的特征矩阵为：

其中，P代表最后拼接得到的特征矩阵P∈RM*N，⊙符号代表逐元素乘积，g(·)指代全局池化操作，Γ(A,F)则代表对注意力图A的原特征图F的双线性池化操作。由此得出的双线性特征既能够获取图像的二阶特征表示，同时利用1×1卷积对高维的特征图进行通道上的聚合，从而降低特征的维数，减轻了计算量。

上述步骤S34中，对图像进行混合剪裁及数据增强的方法具体为：

对于各自的注意力图A_k，首先下式进行正则化以增强区域的响应对比，转化为特征热力图

式中，对于特征热力图

在32个通道求平均值，得到对于该图片响应最强烈的位置信息，之后根据给定阈值θ计算出裁剪区域掩膜M_ci，具体来说对于特征热力图

的每个位置响应值若其大于θ，则掩膜M_ci对应位置为1，反之则0。计算公式为：

式中，(m,n)表示为特征热力图或者掩膜的横纵坐标值。

之后可以根据掩膜M_ci求出一个能够包围所有大于阈值区域的包围框Bi，而根据此包围框坐标即可从原图中裁剪出目标图片x_c1、x_c2。之后将x_c1调整大小为x_c2的大小得到

x_c2调整大小为x_c1的大小得到

最后分别将

填充到x₂的B₂位置，将

填充到x₁的B₁位置，即完成了对图像的混合裁剪，计算公式为：

式中，R(A,B)表示将A图片调整为B图片(掩膜)的大小，

和

分别表示由x₁,x₂得到的新图片。

对应的，不同于原本的混合裁剪数据增强采用根据面积比值求加权和的方式，根据注意力引导的混合裁剪会将图片最主要最具判别性的特征全部裁剪掉，并进行交换，因此将两张图片的真实标记y₁，y₂进行交换，如下式：

式中，

和

分别对应

和

的图像标记。

之后将得到的

重新送入网络进行训练，增强网络对局部区域的学习，同时降低网络对环境的过拟合可能性。

本实施例的步骤S4中，在获取到图像中仪表的具体位置以及仪表量程信息之后，需要对识别到的不同仪表采用针对性的算法进行仪表读数，本实施例中主要包括对方形指针式仪表、圆形指针式仪表以及数字式仪表进行仪表读数。

具体地，当仪表目标为方形指针式仪表时，仪表读数的方法如图4所示，具体为：

A1、对仅具有仪表目标的仪表图像进行高斯模糊及图像灰度化处理，获得灰度图像；

A2、对灰度图像进行边缘检测，获得边缘二值图像；

A3、通过直线检测方法对边缘二值图像中的指针进行检测，并进行指针角度校正，获取指针角度；

A4、根据仪表图像的量程信息和指针角度，进行仪表读数计算，获得仪表读数值。

上述步骤A1中，利用高斯滤波对仪表图像进行模糊处理，避免图像中噪声点的影响，高斯滤波是一种平滑线性滤波器，使用一个模板，通过滑动窗口的方式对图像中的所有像素进行扫描，而模板内部有着高斯分布的加权值，根据加权值对模板内像素进行加权平均之后得到模板中心点的元素的最终值。

在进行图像灰度化处理时，采用待识别指针为红色的颜色特点，进行基于红色通道的灰度化处理，并将红色通道分量作为最终的灰度值。这样得到的灰度图像相比与标准灰度图像，指针在图像中的特征更加明显，更有利于后续步骤的进行。

上述步骤A2中，在得到灰度图像后，需要对图像进行边缘检测，本实施例采用Canny边缘检测算法，其具有低错误率，边缘点定位准确，无重复响应的优点。

上述步骤A3中，通过直线检测方法进行指针检测，本实施例中利用霍夫变换进行直线的检测，霍夫变换将图像中间转化到参数空间，从而将直线检测问题转化为参数空间求峰值。具体地，通过霍夫直线检测在图像中检测出多条直线时，进一步的利用条件约束对直线进行过滤包括仪表的边缘直线以及仪表的指针。其中，仪表的边缘直线的约束条件包括：1)长度足够长：通过目标检测得到的仪表局部图片中，边缘应当是与图像的宽度相当的，因此在检测到的所有直线中，边缘直线应当是足够长的；2)处于图像的边缘：于目标检测已经将仪表图像裁剪出来，因此仪表的边缘也应当出现在图像的边缘；3)斜率应当处在±0.5以内，为了防止与指针直线进行混淆，检测到的边缘直线应当是接近水平的。对于仪表的指针，为了获取最终的读数，需要检测到图像中的指针，之后通过指针的偏转角度来计算最后的读数。对于指针的约束同样也采取三个约束条件：首先是指针的偏转角度应当在45°～135°，而为了排除拍摄图片的偏转设置一定的误差范围，因此对于指针直线的斜应当大于0.8或者小于-0.8。其次是指针有自己的偏转中心，根据仪表特点，将该中心设置为图像中心向下1/4位置。因此，指针所在的直线应当是所有直线中距离该点最近的，所以通过计算点到直线的距离进行直线的过滤。

上述步骤A4中，经过前述步骤可以获取两条直线，进而计算出其斜率k1和k2，进而通过反三角函数计算出两个角度信息，其一为图像的水平倾斜角度θ₁，其二为指针的倾斜角度θ₂；进而得出仪表读数值result的计算公式为：

式中，θ₂为方形指针式仪表中指针的倾斜角度，θ₁为方形指针式仪表中图像的水平倾斜角度，range为仪表的量程信息。

当仪表目标为圆形指针式仪表时，仪表读数的方法如图5所示，具体为：

B1、对仅具有仪表目标的仪表图像进行高斯模糊及图像灰度化处理，获得灰度图像；

B2、通过局部自适应阈值二值化处理方法对灰度图像进行处理，获得二值化图像；

B3、对二值化图像采用霍夫变换方法进行外轮廓检测；

B4、对外轮廓内仪表目标，通过坐标变换将圆形刻度进行化直处理；

B5、通过水平投影的方式确定化直处理后的刻度位置，并根据其长度确定仪表读数；

上述步骤B1中的高斯处理及图像灰度化处理方式与前面的方形指针式仪表相同。

上述步骤B2中的局部自适应阈值二值化是指对于图像中的某一像素点，具体起其二值化结果的阈值是由一个固定大小邻域内的所有像素点共同决定的，而该自适应阈值的取值可由平均灰度或者高斯加权进行计算，本实施例中使用高斯加权的方式进行计算，从而能够获取准确的圆形指针式仪表的轮廓、指针以及刻度等关键特征。

上述步骤B3中，通过霍夫变换进行圆形的检测其原理类似于直线检测。三个点可以确定一个唯一的圆，同样也是将图像空间中的圆形映射到参数空间中。对于图像空间中的圆形方程：

而将a，b，r视为变量之后，该方程即转化为参数空间的表示，其几何意义为三维空间中的一条曲线。即将图像空间中的经过某一点的所有圆形，转化为了三维参数空间中的一条曲线。进而通过投票算法即可计算出曲线交点的峰值，进而求解出潜在圆形的方程式。而由于三维空间中的峰值统计耗时较高，为了尽可能的提升计算速度，采用了快速霍夫变换。该方法将三维的霍夫空间转化到了二维的霍夫空间，从而将运算速率提升了一个数量级，大大提升了霍夫圆检测的效率。之后对于在仪表图像中搜索出的多个圆形方程，同样通过条件约束的方式过滤出对仪表轮廓拟合最好的一个。具体的约束条件为：在所有圆心处于图像中部的圆中，直径最大的。理由如下：对于仪表检测得出的仪表图像，其图像中心与仪表中心较为接近；其次，其直径也应当是与图像宽度相当的。因此根据上述两个约束条件可以过滤出对于仪表轮廓拟合最好的圆形。

上述步骤B4中，通过将笛卡尔坐标系下的仪表转换到极坐标系下，由此方形的仪表盘即可被拉直，即将角度问题转化为了长度问题。

上述步骤B5中，对于二值图像的指针定位，采用水平投影的方式，来寻找二值图中黑色像素的水平投影的峰值，因为转换极坐标系的转换中心为仪表的中心，也是指针的旋转中心，因此转换之后的指针应当是水平的一条线，通过水平投影之后求出黑色像素的峰值，即可确认指针所在的位置。水平投影是指，对于一张二值图像，对每一行的黑色像素的个数进行统计，即可得到一个大小为图像高度的数组，而数组的对应位置即为图像中某一行的黑色像素个数。

类似的利用投影图的特征，也可以找到零刻度线的位置，从而可以计算出零刻度线到指针所在位置的长度d₁，根据先验知识，可以取得刻度线的总长度d₂。因此，得到的仪表读数值result的计算公式为：

式中，d₁为零刻度线到指针所在位置的长度，d₂为刻度线的总长度，range为仪表的量程信息。

当仪表目标为数字式仪表时，仪表读数的方法如图6所示，具体为：

C1、对仅具有仪表目标的仪表图像进行高斯模糊，并采用基于红色通道的二值化方法提取图像中的数字部分；

C2、采用水平投影方法提取出数字部分中的数字显示区域；

C3、采用垂直投影方法将数字显示区域中的数字进行分割；

C4、利用Lenent-5网络对分割出的数字进行识别，完成仪表读数。

上述步骤C1中，高斯模糊处理方式与前两种仪表的处理方式相同。

上述步骤C3中，垂直投影方法进行数字分割是指在二值化的图像中，目标物体在纵向或者垂直方向的目标颜色像素点的计数有一个的特征，利用该特征就可以知道物体的横纵坐标，进而将其从原图像中分割出来。

当数字显示区域存在需要分割的字符时，采用细化算法对字符进行识别及分割；具体地，通过细化算法保证字符之间存在一定的孔隙，以免字符切割到多个字符，本实施例中使用了经典的快速并行细化算法，保证效率与准确率，算法分为两个阶段，第一个阶段扫描所有前景像素点，将满足三个条件的像素点标记为删除点。首先是八邻域内的0像素点数量在二到六之间的像素点，其次是八邻域内的依次序像素变化次数为1，然后是四邻域上右下或者左右下方向上至少有一个为0。而第二个阶段与第一个阶段的前两个步骤相同，区别在于第三个步骤中的四邻域上右下或者左右下方向上至少有一个像素为0更改为了四邻域上左右或者上左下方向上至少有一个像素为0。循环两个步骤，直到没有像素可以被删除，即完成了细化过程。

上述步骤C4中，Lenet-5由两个卷积层，两个下采样层，以及三个不同连接方式的全连接层组成，是经典的用于手写数字识别的网络，拥有计算量较低，结构简单，鲁棒性较高的特点。

实施例2：

本实施例中在Intel(R)Core(TM)i7-8700 CPU上对上述仪表识别及读数方法的运行效率进行了测试分析，测试的指标包含了各阶段耗时，总耗时，以及读数精度。所谓读数精度是指，在人工判别读数之后，若仪表识别系统给出的读数在最小单位刻度的范围之内，将其视为正确读数，反之则视为错误读数。计算识别正确的与总识别数之比，记为读数精度，详见表2。

表2：仪表识别及读数系统性能分析

可以看出，应用本发明提出的仪表识别及读数方法可以在很短的时间内完成仪表的检测任务，即使不使用GPU进行加速，仍然能在70ms以内完成仪表检测。而细粒度识别量程亦能够在110ms左右完成。而仪表读数耗时则根据不同类型仪表的读数方式不同差异较大，方形指针仪表由于没有使用计算量较大的算法，因此仪表读数耗时较低，能够接近5FPS(Frame per Second，每秒帧数)的识别速率。而圆形指针式仪表由于使用到了霍夫圆检测这一耗时操作因此总耗时已经接近1秒钟。而对于数字型仪表，其不需要进行细粒度量程识别操作，但是对于裁剪出的每一个数码管数字均需要串行的通过Lenet-5，因此识别速率与方形指针相当，能够接近5FPS的处理速率。而读数精度上来说，数字型仪表的识别精度最高，达到了98％，而方形指针由于受到手持拍摄的抖动，或者拍摄角度造成的角度形变等等，读数精度为92％，而圆形指针的读数精度则达到了94％。

总体而言，该系统在CPU环境下，达到了接近实时的处理速度，同时识别精度较高，能够满足实际生产中的需要。同时，由于其低计算量，能够迁移到各种计算能力受限的实际场景之中，具有广泛的应用前景。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于轻量级网络的仪表识别方法，其特征在于，具体步骤为：

获取具有仪表的原始图像；

通过RegNet轻量级网络对原始图像进行特征提取，获得第一提取特征图；

对第一提取特征图中的特征进行融合，获得融合图像；

对融合图像进行仪表目标识别及分类，获得分类仪表图像。

2.根据权利要求1所述的一种基于轻量级网络的仪表识别方法，其特征在于，融合图像的获取步骤为：将RegNet轻量级网络中第N阶段特征进行两倍上采样后与第N-1阶段特征进行特征融合，其中RegNet轻量级网络包括N个阶段。

3.根据权利要求1或2所述的一种基于轻量级网络的仪表识别方法，其特征在于，仪表目标分类包括方形指针式仪表、圆形指针式仪表以及数字式仪表。

4.根据权利要求3所述的一种基于轻量级网络的仪表识别方法，其特征在于，在对仪表目标识别及分类过程中的损失函数包括定位损失l_box、分类损失l_cls以及置信度损失l_noobj。

5.一种基于轻量级网络的仪表读数方法，其特征在于，具体步骤为：

获取分类仪表图像；

采用结合混合注意力剪裁的细粒度分类网络对分类仪表图像进行识别，获取仪表图像的量程信息；

基于仪表图像的量程信息，获得仪表读数。

6.根据权利要求5所述的一种基于轻量级网络的仪表读数方法，其特征在于，获取仪表图像的量程信息的具体步骤为：

S21、通过融合通道注意力模块的特征提取网络对分类仪表图像进行特征提取，获得第二提取特征图；

S22、对第二提取特征图中的特征进行处理，获得多个带有位置信息的注意力图；

S23、利用双线性注意力池化对多个注意力图、第一提取特征图以及第二提取特征图进行融合，并计算交叉熵损失，得到多个注意力图对应的特征矩阵；

S24、基于多个注意力图中的位置信息，对注意力图进行混合剪裁及数据增强，并输入至步骤S21中的融合通道注意力模块的特征提取网络中；

S25、基于特征矩阵，确定仪表图像的量程信息。

7.根据权利要求5或6所述的一种基于轻量级网络的仪表读数方法，其特征在于，当仪表目标为方形指针式仪表时，仪表读数的方法具体为：

A1、对分类仪表图像进行高斯模糊及图像灰度化处理，获得灰度图像；

A2、对灰度图像进行边缘检测，获得边缘二值图像；

A3、通过直线检测方法对边缘二值图像中的指针进行检测，并通过指针角度校正，获取指针角度；

A4、根据仪表图像的量程信息和指针角度，进行仪表读数计算，获得仪表读数值；

其中，仪表读数值result的计算公式为：

式中，θ₂为方形指针式仪表中指针的倾斜角度，θ₁为方形指针式仪表中图像的水平倾斜角度，range为仪表的量程信息。

8.根据权利要求5或6所述的一种基于轻量级网络的仪表读数方法，其特征在于，当仪表目标为圆形指针式仪表时，仪表读数的方法具体为：

B1、对分类仪表图像进行高斯模糊及图像灰度化处理，获得灰度图像；

B2、通过局部自适应阈值二值化处理方法对灰度图像进行处理，获得二值化图像；

B3、对二值化图像采用霍夫变换方法进行外轮廓检测；

B4、通过坐标变换将圆形刻度进行化直处理；

B5、采用水平投影的方式确定化直处理后的刻度位置，并根据其长度确定仪表读数；

其中，仪表读数值result的计算公式为：

式中，d₁为零刻度线到指针所在位置的长度，d₂为刻度线的总长度，range为仪表的量程信息。

9.根据权利要求5或6所述的一种基于轻量级网络的仪表读数方法，其特征在于，当仪表目标为数字式仪表时，仪表读数的方法具体为：

C1、对分类仪表图像进行高斯模糊，并采用基于红色通道的二值化方法提取图像中的数字部分；

C2、采用水平投影方法提取出数字部分中的数字显示区域；

C3、采用垂直投影方法将数字显示区域中的数字进行分割；

C4、利用Lenent-5网络对分割出的数字进行识别。

10.根据权利要求9所述的一种基于轻量级网络的仪表读数方法，其特征在于，所述步骤C3中，当数字显示区域存在需要分割的字符时，采用细化算法对字符进行识别及分割。

Images